爬虫
马行处
改变思维方式,从产品,项目本身开始
展开
-
反爬的方式
1.不返回网页,如不返回内容和延迟网页返回的时间2.返回数据非目标网页,如返回错误页,返回空白页和爬去多页时均返回同一页3.增加获取数据的难度,如登陆才可以查看和登陆时设置验证码...原创 2019-04-17 15:46:42 · 247 阅读 · 1 评论 -
Scrapy安装报错:Microsoft Visual C++ 14.0 is required
当前环境win7,python_3.6.0,64位。在windows7下,在dos中运行pip install Scrapy报错:building 'twisted.test.raiser' extensionerror: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build ...原创 2019-04-20 11:33:51 · 192 阅读 · 0 评论