这篇博客介绍了如何使用Python的urllib库进行微博的Cookie登录，以便在数据采集时绕过登录步骤。博主指出，登录页面需要特定的编码设置，否则可能会出现错误。文中展示了如何定制请求对象，模拟浏览器发送请求，并获取并解码响应数据，最后将数据保存到本地HTML文件中。
* coding : utf-8 *
@Time : 2021/11/25 15:14
@Author : Harken
适用场景：数据采集时候，绕过登录
个人信息页面是ut-8 但是还报错， 因为并没有进入个人信息页面
登录页面不是utf-8 所以报错
import urllib.request
url = ‘https://weibo.com/5638695973/L37xPeSDk’
headers = {
‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36’
‘cookie’:‘XSRF-TOKEN=dapugYbDpR5gJ5pmGYI4bUPO; login_sid_t=3ee02dfc1f9454a1f39d19069cdd5164; cross_origin_proto=SSL; WBStorage=5fd44921|undefined; _s_tentry=weibo.com; wb_view_log=1920*10801; Apache=324687385244.0557.1637824675544; SINAGLOBAL=324687385244.0557.1637824675544; ULV=1637824675584:1:1:1:324687385244.0557.1
最低0.47元/天 解锁文章
5690
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
