爬虫
qq_38609065
这个作者很懒,什么都没留下…
展开
-
python requests多次重定向获取头信息
请求网页后, requests 会自动帮我们重定向到最终页面这时候会有一个 requests.history 属性里面包含了所有重定向后的内容.(一个列表) 如果需要查看location 可以自行查看是第几个的location 直接拿出来就行了例子url = ‘text.com’response = requests.get(url, headers=headers)history_...原创 2019-04-22 15:05:58 · 2930 阅读 · 0 评论 -
python requests 下载zip包
继续学习中…最近的需求是下载一个东西,但是请求后返回的都是zip包下载页面,因此了解了一下首先要找到zip包请求的url, 一般响应头的content-type 格式应为zip, 这就是所需要的请求路径,然后利用postman去请求,看对方需要验证的字段有哪些, 一般都是referer, 然后把返回数据写下来就行了例子import requestsfrom lxml import etr...原创 2019-04-26 15:34:45 · 4595 阅读 · 0 评论 -
pyppeteer操控已有浏览器
由于pyppeteer官方文档上说最好用适配浏览器来操作,因此这里选用chromium翻文档,发现文档中这么写着pyppeteer.browser.BrowserConnect to the existing chrome.browserWSEndpoint option is necessary to connect to the chrome. The format is ws://{...原创 2019-06-21 15:01:54 · 3435 阅读 · 0 评论