cookie模拟登录

我这里使用的是python中的requests.get(url,headers,cookies).

其中headers和cookies都是字典形式。headers作用是模拟浏览器,告诉服务器我不是爬虫。cookies作用是模拟用户,告诉服务器我不是机器人,我是某某用户。

以知乎为例,headers可以用模板:

headers = {
'Host': 'www.zhihu.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
'Accept-Encoding': 'gzip, deflate',
'Referer': 'http://www.baidu.com',
'Connection': 'keep-alive',
 'Cache-Control': 'max-age=0',

}

然后就是cookies,cookies我是先在浏览器中登录,然后去找cookie,并把内容复制到txt中,到时候爬虫直接去读取txt,并转换成字典。具体过程如下(以google浏览器为例):

1、登录知乎:http://www.zhihu.com

2、打开浏览器设置--->高级--->隐私设置和安全性-->内容设置-->cookie-->查看所有cookie和网站数据

3、搜索zhihu,得到下图


打开zhihu.com那个,如下图


这四个就是cookie的键,打开向下的箭头里面有值,根据这个建立字典即可。(注意:有的值包含着双引号,不能搞丢了)

访问时,html=requests.get("https://www.zhihu,com",headers=headers,cookies=cookies)

content=html.text

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值