使用scrapy框架爬取网站《乌龟量化》的股票信息遇到的一些问题即暂时的解决方案

1.登陆过程中遇到的问题

本人想采用第一种登陆方式登陆账号，点击《登陆方式一：账号密码》，就会出现账号密码的输入框。但是网页的网址没有任何改变。所以想使用post请求直接将账号密码传送过去，但是却直接被决绝访问了。返回的是’服务器明白我的意思，但是拒绝访问‘。没办法，只能采用万能的方法了，使用selenium登陆之后再传回cookie进行登陆之后的页面解析行为。

2.cookie的传递过程中遇到的问题

传递了cookie之后，红色框框的数据全部都能访问到（不传递cookie的话只能访问部分），但是黄色框框内的数据无法正确访问，返回的是空列表。估计又是采用AJAX技术的网页。不会分析接口，因为是个小白。所以只能采用比较笨的办法采用了splash技术，可以获得经过渲染之后的网站HTML。
尝试过全程都使用splash，但是在登陆的时候选中了输入框，然后使用send_text（’aaaa‘）的时候账号密码一直无法输入进去。所以也只能采用selenium来实现模拟登陆了。

3.splash中的cookie传递（目前是手动解决的）

通过webdrive传过来的cookie是字典类型的，形式大概是这样。

[