urllib内置库存取cookie

最新推荐文章于 2024-05-22 08:20:18 发布

爬虫探索者

最新推荐文章于 2024-05-22 08:20:18 发布

阅读量340

点赞数 4

文章标签：爬虫 python

本文链接：https://blog.csdn.net/qq_42283061/article/details/136678529

版权

urllib库进阶用法1

1.cookie存储

import urllib.request
import http.cookiejar


filename = 'cookie.txt'
cookie = http.cookiejar.LWPCookieJar(filename)
cookie_handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(cookie_handler)
result = opener.open('https://www.baidu.com')
# ignore_expires 忽略过期的
# ignore_discard 忽略抛弃的
cookie.save(ignore_expires=True, ignore_discard=True)

在这里插入图片描述

2.读取cookie

import urllib.request
import http.cookiejar

cookie = http.cookiejar.LWPCookieJar()
cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(cookie)
# build_open函数可以传递proxy代理，cookie...
opener = urllib.request.build_opener(handler)
result = opener.open('http://www.baidu.com')
print(result.read().decode('utf-8'))