- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 scrapy中Post不成功的解决办法
有时候在爬取数据分析目标网站的过成功，会发现F12中，请求的数据类型为post，发送的数据位FormData，可是自己已经按照post请求的FormRequest做了请求，data数据也按照F12中的格式填写完毕了。但请求的结果要不就请求不到，一直堵塞着，要不就是无论换成多少页数，返回的数据都是第一页的数据。当有这种情况的时候，只需要一步验证就能解决。那就是用postman或者在浏览器中直接...
2018-10-26 10:46:47
1971
1
原创 scrapy中Request请求使用Request payload参数 json或text
今天做爬虫，又被payload的参数坑了一次，还是要记录下，否则下次还是容易忘。如下图所示，在这个请求中，payload中有个参数在F12中有个‘str’=null的参数，在大家需要写的时候，如果真的在dict中也这么写，很容易会出现问题的。要不返回400，要不没有数据。那么在这里详细的说下在scrapy中payload参数的构成方式。首先要明确下：1、在F12中虽然提示的是post请求，...
2018-10-24 10:06:18
4349
1
原创 scrapy_splash动态ip代理和请求头的动态修改
在使用过程中，不可以常规的scrapy使用习惯来进行splash的ip代理替换和请求头的替换。经过我的测试，直接在SplashRequest中进行二者替换都是会使程得到错误的返回结果。经过我的使用确保正确的ip代理替换方式有两种：1.脚本里ip替换：splash:on_request(function(request)request:set_proxy{host = “112.195....
2018-10-23 11:28:38
3286
1
原创 python scrapy.Request传递给parse参数的方法
爬虫在使用中，难免会遇到需要将在start_request中的某个关键在，传给parse，然后通过item存入数据库中，那么怎么才能呢？如上图，在callback中，使用lambda函数例子：callback=lambda response,port=1,port_2=2: self.parse(response,port,port_2)def parse(self,response,po...
2018-10-15 15:12:27
3880
kafka初尝试.7z
2019-09-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人