爬虫
MingT-L
这个作者很懒,什么都没留下…
展开
-
Selenium+Browsermob-Proxy获取浏览器Network请求和响应
写在前面尝试使用Selenium和Browsermob-Proxy把network里面的数据扒下来。个人觉得这样扒数据又全又清晰,遂写下本文记录扒拉勾网数据时的踩坑过程。还用于个人回顾或给正在坑里的朋友提供一丢丢一丢丢的帮助。Selenium安装驱动,建议把驱动放在python.exe同级目录下,使用时可以不用写驱动地址驱动要与自己的chrome浏览器版本相适应Chrome Selenium驱动下载Browsermob-ProxyBrowsermob-Proxy Github下载原创 2020-10-26 22:24:33 · 8032 阅读 · 11 评论 -
爬取拉钩网60条招聘信息并存入数据库
郑重声明我也不晓得黑客能不能通过下面的信息攻击我,里面为了把每一句都解释清除,文件地址、数据库的名字密码什么的都有写下来我电脑上真的啥也没有,我就是一穷学生????信息提取说明:1、将驱动放在python.exe同级目录下,模拟浏览器时不需要写驱动地址2、查找搜索框元素,向其中传入keys3、查找搜索按钮,用click方法模拟点击4、sleep 8秒,确保异步加载的信息加载完毕5、获取异步加载信息,page_source为str类型数据6、模拟鼠标滚轮向下动作7、brosver搜索加载更原创 2020-10-26 22:13:29 · 739 阅读 · 1 评论