python爬虫——cookie（模拟浏览器登陆人人网）

一.cookie是什么？

cookie是键值对形式存储的少量信息。平时上网都是使用无状态的http协议传出数据，这意味着客户端与服务器在数据传输完成后会终端连接。这时，我们需要一个一直保持会话连接的机制，cookie就充当了这个角色，帮助我们跟踪会话。一般该信息记录用户身份。

二.cookie登陆

1. 使用抓包工具fiddler抓取人人网登陆过程

2.找到登陆的post请求

3.查看body中的数据

4.

5.代码实现

import urllib.request
import urllib.parse

post_url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2020131225349 '

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36',
}
formdata = {
    'email': '1377280xxxx',
    'icode': '',
    'origURL': 'http://www.renren.com/home',
    'domain': 'renren.com',
    'key_id': '1',
    'captcha_type':	'web_login',
    'password':	'042a2db9de38f4a37adfbfcf9d0f365b8030bad0360b731ac2a4e00ad6xxxxxx',# 密码是经过加密的
    'rkey': 'd81decdbc8a74b6603a765b48d9d312b',
    'f': 'http%3A%2F%2Fwww.renren.com%2F973629245%2Fnewsfeed%2Fphoto'
}
# 创建请求
request = urllib.request.Request(url=post_url, headers=headers)
# 转换数据
formdata = urllib.parse.urlencode(formdata).encode()
# 发送请求
response = urllib.request.urlopen(request, data=formdata)
print(response.read().decode())

三.添加cookie，登陆并获取登录后的某一界面

登陆并 获取登录后‘我的主页’页面

import urllib.request
import urllib.parse
import http.cookiejar

# 真实的模拟浏览器，当发送完post请求的时候，将cookie保存到代码中
# 创建一个cookiejar对象
cj=http.cookiejar.CookieJar()
# 通过cookiejar创建一个handler
handler=urllib.request.HTTPCookieProcessor(cj)
# 根据handler创建一个opener
opener=urllib.request.build_opener(handler)

post_url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2020131225349 '

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36',
}
formdata = {
    'email': '13772804203',
    'icode': '',
    'origURL': 'http://www.renren.com/home',
    'domain': 'renren.com',
    'key_id': '1',
    'captcha_type':	'web_login',
    'password':	'042a2db9de38f4a37adfbfcf9d0f365b8030bad0360b731ac2a4e00ad631a6a0',
    'rkey': 'd81decdbc8a74b6603a765b48d9d312b',
    'f': 'http%3A%2F%2Fwww.renren.com%2F973629245%2Fnewsfeed%2Fphoto'
}
# 创建请求
request = urllib.request.Request(url=post_url, headers=headers)
# 转换数据
formdata = urllib.parse.urlencode(formdata).encode()
# 发送请求
response = opener.open(request, data=formdata)
print(response.read().decode())
print('-'*50)

# 获取登录后‘我的主页’页面
get_url = 'http://www.renren.com/973629245/profile'

request = urllib.request.Request(url=get_url,headers=headers)

response = opener.open(request)

print(response.read().decode())