python爬虫
when-go
一个好的开始
展开
-
python 使用selenuim模拟浏览器, 获取请求头
某些网站请求数据需要一些加密的参数,所以使用selenuim模拟访问 获取 selenuim 中 请求自动生产的 加密参数 from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities caps = { &n...原创 2019-12-04 23:08:43 · 3549 阅读 · 0 评论 -
python 爬虫的一些常用代理
目的:编写爬虫时,为防止ip被封,使用动态代理ip 写法: # requests 请求 proxyMeta = "http://%(host)s:%(port)s" % { "host": self.ip, # ip "port": self.port, # 端口号 } proxies = { ...原创 2019-12-04 23:03:12 · 195 阅读 · 0 评论 -
python selenuim 整合 browsermob-proxy (chrome/firfox)
目的:获取模拟浏览器时请求的参数,把参数带入headers 中,使用requests 请求数据 #把browsermob-proxy-2.1.4 放入自己的电脑中,我放入的是F盘 server = Server(r'F:\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat') server.start() proxy = server.creat...原创 2019-11-28 17:06:49 · 2077 阅读 · 0 评论