python爬虫
文章平均质量分 80
宝兰
这个作者很懒,什么都没留下…
展开
-
python爬虫教程-第一个爬虫
第一天原创 2019-04-10 15:46:58 · 392 阅读 · 0 评论 -
python爬虫教程 遍历所有网页
第二天: 遍历网页内的所有链接上一节中有一个小问题, 我们需要注意一下, 很多网站为了反爬会检测用户代理, 所以我们需要设置用户代理, 来停止爬虫失效.设置用户代理默认情况下, urllib2使用python-urllib2/2.7作为用户代理下载网页内容, 其中2.7是python的版本号. 但是这样存在一个问题, 有些网站可能会封掉你使用的默认代理, 如果我们能自己设置代理, 就可...原创 2019-04-12 16:44:43 · 6907 阅读 · 0 评论