![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式爬虫
汤愈韬
沉默是金
展开
-
模拟用户登录网址-post请求之后携带cookie
参考代码import urllib.requestfrom http import cookiejarfrom urllib import parse# cookiejar 自动保存cookie""" 直接获取 个人中心页面 1.代码登录 登录成功(Cookie有效) 2.自动带着cookie去请求个人中心"""# 1. 登录的网址 # 1....原创 2019-08-24 20:38:48 · 3277 阅读 · 0 评论 -
原生携带cookie访问网页
import urllib.request""" 直接获取 个人中心页面 手动黏贴 复制到 PC 抓包的cookie 放在请求头里面"""url = 'https://www.douban.com/'# 请求头headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWe...原创 2019-08-25 08:51:02 · 863 阅读 · 0 评论 -
使用Requests携带cookies访问网页
import requestsheaders = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"}# 请求数据的urlmemurl = 'https://www.yaozh...原创 2019-08-25 08:53:11 · 5816 阅读 · 0 评论 -
使用Requests携带cookie登录访问页面
import requestsheaders = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"}# 1.代码登录login_url = 'https://www.yaoz...原创 2019-08-25 09:10:05 · 5993 阅读 · 0 评论 -
爬虫实战-爬取网站的评论和链接
爬取网站的评论数据和每条评论对应的链接,然后存在本地原创 2019-08-25 16:22:15 · 1677 阅读 · 0 评论 -
Python连接MongoDB,Redis,MySql数据库代码
Python代码连接MongoDB,Redis,MySQL,并实现数据库的操作原创 2019-08-27 10:50:58 · 361 阅读 · 0 评论 -
多线程使用正则抓取啊猫眼Top100
多线程使用正则抓取猫眼Top100原创 2019-08-28 08:16:00 · 112 阅读 · 0 评论 -
selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PAT
selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH原创 2019-08-28 09:27:36 · 387 阅读 · 0 评论