python
文章平均质量分 92
学习才能变得强大
这个作者很懒,什么都没留下…
展开
-
爬虫智联招聘
爬虫ajax请求方式拿数据爬虫有2中方式拿数据1是用driverweb,2就是直接请求ajax接口,请求ajax接口效率高,不用开个浏览器消耗大量资源,不过缺点就是得分析它的ajax的url是怎么构造的。在18.9月左右写过一次这个代码后来发现他大概是在11这样接口加密了一下,其实也只是小意思,分享下代码,能直接复制张贴就能用,填入3个数据 1城市名,2市,3必须加个区(没实现不加区哈)首先...原创 2018-12-15 16:31:55 · 4938 阅读 · 2 评论 -
Python爬虫爬取开源IP
因为玩爬虫经常要换一些IP,之前写了个爬取IP的小玩具,用的是redis来存取IP地址,同时使用打分机制验证,使用异步IO(asyncio+aiohttp)同时批量使用IP请求一个测试网址,检测携带该IP是否能正常请求成功主要包括4个py文件 爬取的IP地址是http://www.xicidaili.com/wt 国内一个不太稳定的ip免费提供网crawl.py中主要就是怼爬取的网址进行数...原创 2019-06-15 12:38:54 · 909 阅读 · 0 评论