![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
-----Scrapy
文章平均质量分 59
GeekLeee
这个作者很懒,什么都没留下…
展开
-
安装Scrapy出现的问题
Scrapy 是一个为了爬取网站数据,提取结构性数据而编写的应用框架。安装twsited过程出现问题,2.7,3.5,pycharm等等安装都不行。 在试过众多方法后,终于在一个Microsoft官方类似社区的发现了答案。安装visualcppbuildtools_full.exe但是出现错误提示要求安装Microsoft .NET Framework 4.5.1以上,我直接安装的是Microso原创 2016-10-02 10:40:05 · 1525 阅读 · 0 评论 -
scrapy-redis 和 scrapy 有什么区别?
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~不妖自来~我刚刚接触scrapy的时候,也看过这个项目,奈何对scrapy本身就不怎么熟悉,所以当时怎么也想不明白,直到后来开始看scrapy 的源代码,才渐渐明白。这里提一下我的看法,水平有限,不敢保证完全正确,欢迎指正。一、scrapy和scrapy-redis的原创 2016-10-06 18:09:04 · 1969 阅读 · 0 评论 -
scrapy爬去过程遇到的问题的解决办法
真的不要纠结2还是3,对于爬虫来讲,感觉不到区别,这些都不是事儿,除了编码和print。而且requests和bs4都支持吧(待我确定下)。那什么是事儿呢?1 限制ip用requests代理,买代理,或者网上免费代理2 伪装成浏览器requests切换user agent3 先登录,保存cookiesrequests用session先post拿到cookies,再爬4 URL参数太多,不明白什么意思原创 2016-10-06 18:12:26 · 1617 阅读 · 0 评论 -
Srapy - Architecture overview【Data flow】
#Data flow The data flow in Scrapy is controlled by the execution engine, and goes like this:The Engine gets the initial Requests to crawl from the Spider.The Engine schedules the Requests in the原创 2016-10-06 17:41:24 · 872 阅读 · 0 评论