需求:爬取一些网站的最新资讯,每日查阅一遍存入数据库即可,而不是暴力爬取,即使没有这个爬虫, 每天也会通过手动去点击查阅相关资讯
尝试办法
1. 直接上来肯定采用简单暴力的方式, requests
直接使用requests.get(url)的方式返回 412错误,
打开F12(浏览器控制台工具)通过查看请求列表可以发现, 第一次发送的请求被服务器拒绝 返回码为412 并且直接跳转到JS ,第三次请求才会正常访问到html内容,
上图为第一次访问请求与返回信息
上图为第二次正式请求html的请求头与返回头
我们发现这第二次的请求头中多了Cookie信息
猜想第一次返回412肯定与没有携带cookie有关, 然后使用requests携带cookie(从浏览器控制台中复制的cookie)的方式进行访问,果然能正常获取到html,但是过了一会 我再运行一样的代码, 发现无法继续获取到html了。这个cookie是有时效性的。
2. 使用selenium进行抓取
使用大名鼎鼎的selenium+chrome的方式进行爬取, 发现每次打开浏览器都是一片空白,估计是监听到了selenium打开了浏览器, 这个网站的反扒做的还不错啊!
检测 Selenium 的 JavaScript 代码
webdriver = window.navigator.webdriver;
if (webdriver) {
console.log('模拟浏览器')
} else {
console.log('正常浏览器')
}
使用selenium我也放弃了
3. 使用pyppeteer进行抓取
pyppepteer相对selenium来说对用户更加友好,环境一件部署,会自动下载chromium程序,不好的就是支持浏览器单一(或许是我没有研究透彻)
刚开始发现也是返回白色页面,查阅相关文章发现 使用pyppeteer不使用enable-automation可以反侦察, 那么我一劳永逸 直接在site-packages/pyppeteer/launcher.py中进行参数屏蔽
这里就不放代码了, 有兴趣wechat