爬虫
无惧代码
这个作者很懒,什么都没留下…
展开
-
python selenium安装
Python办公自动化第三方库的安装:pip install selenium -i https://pypi.doubanio.com/simple查看Google版本信息首先打开 **Chrome 浏览器**,依次点击浏览器右上角的 **三个点** - **帮助** - **关于 Google Chrome**。下载对应浏览器版本驱动https://npm.taobao.org/mirrors/chromedriver安装将下载好的 chromedriver 解压缩,Windows原创 2021-11-06 17:24:20 · 113 阅读 · 0 评论 -
selenium之反反爬虫
大多数情况下,检测的基本原理是检测当前浏览器窗口下的 window.navigator 对象是否包含 webdriver 这个属性。在正常使用浏览器的情况下,这个属性是 undefined,然后一旦我们使用了 selenium,这个属性就被初始化为 true,很多网站就通过 Javascript 判断这个属性实现简单的反 selenium爬虫。反反爬虫解决措施:from selenium import webdriverfrom selenium.webdriver.chrome.options im原创 2021-08-04 13:10:04 · 4299 阅读 · 3 评论 -
爬虫模拟登录和发表评论
import requestsheaders = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36 Edg/85.0.564.63'}login_data={'log': 'codetime','pwd': 'shanbay520','wp-submit': '登录','redirec原创 2020-09-27 23:29:42 · 175 阅读 · 0 评论 -
爬取QQ音乐热度值
import requestsheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36 Edg/85.0.564.63'}params = { "-":"getUCGI19999754670462822", "g_tk":"5381", "sign":"zzakabs5d原创 2020-09-27 00:56:55 · 798 阅读 · 0 评论 -
爬取qq音乐评论信息
import timeimport requestsfrom bs4 import BeautifulSoupheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36 Edg/85.0.564.63'}lasthotcommentid = ''for pagenum in r原创 2020-09-27 00:22:45 · 395 阅读 · 0 评论