![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
CJ-404
这个作者很懒,什么都没留下…
展开
-
模拟浏览器selenium使用方法
在爬虫时有时会有遇到输入验证码或其他一些反爬虫机制,所以有一种自动化测试工具包selenium会帮助我们完成部分工作。在使用selenium时会根据使用的浏览器不同要求你安装驱动,本文针对最常用的三种浏览器,记录驱动下载安装使用方法。 1:下载三大浏览器驱动driver 使用谷歌浏览器的需要下载chromedriver驱动,下载地址:chromedriver驱动下载地址 使用Firefox火狐浏...原创 2019-07-30 21:15:01 · 140 阅读 · 0 评论 -
动态渲染页面Ajax数据爬取分析
现在的大多数网页数据都是通过动态渲染加载的,即常说的Ajax方式,在这类网站中爬取数据通常无法在网页加载数据中获得,一般都是找到动态加载页面再获取数据,本文就通过分析今日头条网站,对关键字搜索获取搜索页面的图片和标题,最后通过简单的多线程下载保存在本地。 1:打开头条首页,网址:今日头条首页 在页面右上角有个搜索框,搜索关键字可以加载关键字信息。 2:分析页面 点击搜索后,页面重新加载,返回一个关...原创 2019-07-30 22:47:58 · 790 阅读 · 0 评论