爬虫-微博个人主页的获取

最新推荐文章于 2024-12-03 13:30:34 发布

不会射门的18号

最新推荐文章于 2024-12-03 13:30:34 发布

阅读量1.3k

点赞数 1

文章标签：爬虫

本文链接：https://blog.csdn.net/qq_52351946/article/details/131850092

版权

文章讲述了在使用Python爬虫抓取微博个人主页内容时，必须获取并设置Cookie才能成功访问。通过示例代码展示了如何在请求头中添加Cookie信息，以避免被重定向到登录页面。抓取后的HTML文件可以直接在浏览器中打开查看。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我们在利用爬虫爬取微博个人主页的时候，我们需要获取到个人页面的cookie才能进入到微博的个人主页，否则的话将会是一直跳转到登录页面而导致不能进入个人主页。

import urllib.request
url = ''#自己微博个人主页的源代码
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82',
    'Cookie':'XSRF-TOKEN=g0FF-Ky4ISDWHSpw0syth_7Y; login_sid_t=d2f25f9ffe79e4253d810e203384aa7f; cross_origin_proto=SSL; WBStorage=4d96c54e|undefined; _s_tentry=weibo.com; Apache=1422875234826.102.1689914268411; SINAGLOBAL=1422875234826.102.1689914268411; ULV=1689914268412:1:1:1:1422875234826.102.1689914268411:; wb_view_log=1536*8641.25; appkey=; PC_TOKEN=496b26f766; WBtopGlobal_register_version=2023072112; SUB=_2A25JvnzWDeRhGeFJ71cV-CnKyDmIHXVqyukerDV8PUNbmtANLUj3kW9Nf8mRspTt9Vt2jzdjG9A2yOGzQNKZ9NWd; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9WWHEn1u_FrFxcuTWJSni9_45