![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
Chasing__Dreams
这个作者很懒,什么都没留下…
展开
-
pyppeteer:比 selenium 更高效的爬虫利器
pyppeteer简介转载 2020-05-20 09:19:23 · 404 阅读 · 0 评论 -
如何正确移除Selenium中window.navigator.webdriver的值
有不少朋友在开发爬虫的过程中喜欢使用Selenium + Chromedriver,以为这样就能做到不被网站的反爬虫机制发现。 先不说淘宝这种基于用户行为的反爬虫策略,仅仅是一个普通的小网站,使用一行Javascript代码,就能轻轻松松识别你是否使用了Selenium + Chromedriver模拟浏览器。 我们来看一个例子。 使用下面这一段代码启动Chrome窗口: 现在,在这个窗口中打开开发者工具,并定位到Console选项卡,如下图所示。 from selenium.webdriver impor转载 2020-05-20 09:09:53 · 1005 阅读 · 2 评论 -
爬虫——cookie模拟登陆
cookie适用于抓取需要登录才能访问的页面网站 cookie和session机制 http协议为无连接协议,cookie: 存放在客户端浏览器,session: 存放在Web服务器 人人网登录案例 方法一:登录网站手动抓取Cookie 1、先登录成功1次,获取到携带登陆信息的Cookie 登录成功 - 个人主页(http://www.renren.com/971989504/profile)...转载 2019-10-22 11:22:41 · 282 阅读 · 0 评论