爬虫学习第四天
第一个模块
cookie的使用
cookie:指某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据(通常经过加密)。定义于 RFC2109 和 2965 中的都已废弃,最新取代的规范是 RFC6265
问题没有遇到就只是几个粗心的小细节而已。
代码如下:
from urllib.request import Request,build_opener,HTTPCookieProcessor
from fake_useragent import UserAgent
from http.cookiejar import MozillaCookieJar
from urllib.parse import urlencode
login_url = "登录地址"
#登录获取cookie,保存cookie在cookie.txt里面
def get_cookie():
headers = {
"User-Agent": UserAgent().chrome
}
form_data = {
"email": "用户名",
"passwd": "密码"
}
f_data = urlencode(form_data).encode("utf-8")
request = Request(login_url, headers=headers, data=f_data)
cookie_jar = MozillaCookieJar()
handler = HTTPCookieProcessor(cookie_jar)
opener = build_opener(handler)
re