PythonSpiders
Foyn_
这个作者很懒,什么都没留下…
展开
-
记录我的爬虫之路2-- headers的修改 && 控制访问频率
一. 修改headers——————————————————————————————————————————————————1. 方法一: 通过字典的形式参数传给request:因为咱们的爬虫访问网站留下的useragent是pythonxxx,人一看就知道是爬虫了~万一网站采取反爬措施呢?咱们该怎么办呢?今天就介绍一下 userAgent的修改→修改headers用上个博客的爬取有道翻译...原创 2018-09-18 09:13:45 · 2303 阅读 · 0 评论 -
记录我的爬虫之路1--爬虫起步的urlib.request Python写一个不用Scrapy框架的裸奔小幼儿爬爬
这几天得知保研失败了….刚好卡在保研名额外一名…虽然最近写什么东西都忍不住碎碎念叨这一句话 =。=,但是好像也觉得能找到喜欢的东西了~比如现在打算认真学的爬虫了~今天刚把小甲鱼入门python的爬虫部分学完,利用scrapy框架能顺利地爬出dmoztools的一点小东西了,所以先做个回顾,具体的写一些最近学习的知识,便于下一阶段的学习! 不管怎么样,希望能快快找到实习~新生活还是得开始的嘛! ...原创 2018-09-13 21:46:01 · 521 阅读 · 0 评论