python爬虫
学习爬虫遇到的困难,心路历程记录
黑甲懒虫
这个作者很懒,什么都没留下…
展开
-
抓取ip代理网免费ip构建ip代理池
本人刚刚学习python想碰到的问题做成笔记,顺便复习,本人的第一个爬虫代码不一定简洁,第一次写文章格式也不一定OK。有不好的地方请赐教此项目的目的是为了抓取测试各代理免费IP,并测试提供可使用的IP给其他爬虫使用coding=utf-8import requestsimport reimport randomimport timeimport osfrom functo...原创 2020-02-24 12:09:29 · 639 阅读 · 0 评论 -
拉勾网访问显示操作太频繁解决思路,用session获取cookie添加到请求头(报文)里
拉勾网的职位界面使用ajax技术,在原网页代码无法获取搜索的职位信息。1.抓包分析 ,!通过反复观察,找到了信息职位的界面,根据这个数据包的信息制作头部信息 headers = {'User-Agent': random_user, #随机用户"Referer":"https://www.lagou.com/jobs/list_python/",# 从某页访问过来"X-Ani...原创 2020-02-24 13:19:07 · 1512 阅读 · 1 评论