scrapy
文章平均质量分 76
Daisy_Yejia
好好学习,天天向上,过段时间,自己回头看看,希望看到自己的进步
展开
-
scrapy 简单爬取知乎
1.首先先模拟登录,主要目的是获取cookies方法1:常规利用request方法进行模拟登录,获取cookieJar,利用requests.utils.dict_from_cookiejar(cookiesjar)方法,将cookiehar转化为dict类型,并传入scrapy.FormRequest中进行数据提交(切记加上headers),实现模拟登录,最后callback回去start_url原创 2017-08-20 21:29:04 · 1510 阅读 · 0 评论 -
scrapy简单的反爬虫方法总结
反爬虫,1.UA, 2.proxy ,3.延时, 4.打码原创 2017-09-02 18:31:16 · 1875 阅读 · 0 评论 -
scrapy拓展
信号器(signals)中间件(middlewares)延时器计数器原创 2017-10-04 11:48:32 · 619 阅读 · 1 评论 -
Scrapy问题记录(不定期更新)
scrapy问题反馈原创 2017-10-04 14:56:32 · 396 阅读 · 0 评论