![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
马行处
改变思维方式,从产品,项目本身开始
展开
-
反爬的方式
1.不返回网页,如不返回内容和延迟网页返回的时间 2.返回数据非目标网页,如返回错误页,返回空白页和爬去多页时均返回同一页 3.增加获取数据的难度,如登陆才可以查看和登陆时设置验证码 ...原创 2019-04-17 15:46:42 · 221 阅读 · 1 评论 -
Scrapy安装报错:Microsoft Visual C++ 14.0 is required
当前环境win7,python_3.6.0,64位。 在windows7下,在dos中运行pip install Scrapy报错: building 'twisted.test.raiser' extension error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build ...原创 2019-04-20 11:33:51 · 184 阅读 · 0 评论