如何用python爬取下载微博视频_Python通过抓包和使用cookie爬取微博完全讲解（附视频）-阿里云开发者社区...

最新推荐文章于 2023-08-19 21:53:57 发布
最新推荐文章于 2023-08-19 21:53:57 发布
阅读量460 收藏
点赞数
文章标签： 如何用python爬取下载微博视频

今天给大家录制了一个爬新浪微博的爬虫，也用到了抓包分析网址，但相较于以前，单纯的使用抓包分析网址在新浪微博是无效的。

cookie是什么

某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据(通常经过加密)。目前有些 Cookie 是临时的，有些则是持续的。临时的 Cookie 只在浏览器上保存一段规定的时间，一旦超过规定的时间，该 Cookie 就会被系统清除。持续的 Cookie 则保存在用户的 Cookie 文件中，下一次用户返回时，仍然可以对它进行调用。

注意：

微博中的cookie有时间限制，如果运行有问题，可以更换下cookie

如何使用cookie

Cookie = {‘Cookie’: ’UM_distinctid=15ab64ecfd6592-0afad5b368bd69-1d3b6853-13c680-15ab64ecfd7b6;

remember_user_token=W1sxMjEzMTM3XSwiJDJhJDEwJHhjYklYOGl2eTQ0Yi54WC5seVh2UWUiLCIxNDg5ODI2OTgwLjg4ODQyODciXQ%3D%3D---ac835770a030c0595b2993289e39c37d82ea27e2;

CNZZDATA1258679142=559069578-1488626597-https%253A%252F%252Fwww.baidu.com%252F%7C1489923851’}

我们要构造成字典格式，如上。这样应用到请求网址的时候添加到请求头中去即可(不懂也没关系，继续往下看，有视频讲说的)。

requests库

rquests is an elegant and simple HTTP library for Python, built for human beings.Requests是一个优雅简洁的Python HTTP库，给人类使用。

使用方法如下：

r=requests.get(url,cookiess = Cookie)

实战分析

那么我们打开开发者工具，抓包分析下网址验证我们的网址规律思路

抓包分析

接下来我只是测试下，抓孔庆东微博博文的标题，如下图红色方框对应的html标签是h4

代码及运行图部分

本文视频讲解如下：

原文发布时间为：2017-03-21

本文作者：邓旭东

本文来自云栖社区合作伙伴“Python中文社区”，了解相关信息可以关注“Python中文社区”微信公众号

weixin_39917791
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python爬取微博视频
03-20
可以自行输入想要爬取的博主的用户名，下载主页的视频，可以自行输入想要爬取的博主的用户名，下载主页的视频
微博--图片，视频，评论抓取
CXY00000的博客
10-11 650
把微博扒了个底掉
爬虫项目十一：用Python爬下微博博主所有视频、所有微博数据、获取评论数据
weixin_47163937的博客
03-31 9352
文章目录前言一、微博数据1.分析页面2.分析url3.解析数据4.实现翻页 前言 用Python爬下微博博主的所有微博数据，下载所有视频，爬下单个微博的评论数据，以papi酱为例 提示：以下是本篇文章正文内容，下面案例可供参考 一、微博数据 用python爬下papi酱的所有原创微博数据，有标题、点赞数、评论数、转发数 1.分析页面 我们打开页面观察页面，向下滑动可以发现有部分数据属于动态加载 我尝试利用requests单纯的访问页面并且保存到本地html文件，发现一条数据都没有 所以对于爬取微博.
新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频.zip
最新发布
08-24
本资源中的源码都是经过本地编译过可运行的，下载后按照文档配置好环境就可以运行。资源项目源码系统完整，内容都是经过专业老师审定过的，基本能够满足学习、使用参考需求，如果有需要的话可以放心下载使用。
用Python采集微博视频，随时随地发现新鲜事~
python56123的博客
03-21 1777
前言 本次目的：用Python采集微博视频 随时随地发现新鲜事!微博带你欣赏世界上每一个精彩瞬间,了解每一个幕后故事. 分享你想表达的,让全世界都能听到你的心声!今天我们通过python去采集微博当中好看的视频. 知识点： requests 第三方模块 pip install requests post请求方式 开发者工具的使用 开发环境: 版 本:python 3.8 编辑器:pycharm 2021.2 思路分析 https://www.weibo.com/tv/api/componen
Python爬虫谷歌Chrome F12抓包过程原理解析
09-16
Python爬虫在获取网络数据时，常常需要借助于浏览器的开发者工具进行辅助，尤其是谷歌Chrome浏览器的F12功能。...因此，深入学习和使用Chrome开发者工具对于Python爬虫开发者来说，是一项必不可少的技能。
Python抓包并解析json爬虫的完整实例代码
12-16
本实例将详细讲解如何利用Python抓包并解析JSON数据进行爬虫操作。 首先，理解抓包的概念。抓包是网络诊断的一种技术，它允许我们捕获网络上的数据包，查看其内容，包括发送的目标、源地址、数据类型等信息。在...
各大网站登陆方式，有的是通过selenium登录，有的是通过抓包直接模拟登录-python
06-18
本文将深入探讨两种常见的模拟登录方法：使用Selenium库和通过网络抓包。这两种技术都是为了绕过人工交互，自动化地完成登录过程，特别是在处理需要验证码或复杂交互的网站时。 **一、Selenium库** Selenium是一款...
利用python爬虫(part15)–cookie模拟登陆
12-21
首先，你需要使用网络抓包工具（如Chrome的开发者工具）来捕捉登录过程中的网络请求。当你在猫耳FM或其他网站上登录时，观察网络面板中的请求。通常，登录请求完成后，服务器会返回包含登录信息的Set-Cookie响应头...
利用Python的requests实现SCU的登录获取Cookie
12-21
通过使用网络抓包工具（如Firefox的FD或Chrome的开发者工具），我们可以发现登录请求是POST到`http://zhjw.scu.edu.cn/j_spring_security_check`这个URL。 ### 第二步：验证码的获取 登录时通常需要验证码，对于...
fetch-video-weibo:下载微博视频
05-14
获取视频微博 从微博下载视频文件 用法 python video_weibo.py videourl
Python下载各视频网站视频的教程.doc
06-15
利用python中的youget下载各视频网站的视频，内涵python的安装，youget的安装及详细使用教程
python写网络爬虫微博用户发布的视频
xu_ailier的博客
04-10 741
用户发布在奉天承芸超话的视频： def run(self): s = requests.Session() #暂时先抓self.TotalPage=200页 for i in range(1,self.TotalPage): time.sleep(1) if self.end_flag : break if i == 1: self....
利用python下载加密视频
m0_74883730的博客
08-19 142
f = open(r"C:\Users\Administrator\Desktop\8.txt","r") #设置文件对象。data = f.readlines() #直接将文件中按行读到list里，效果与方法2一样。# 用Crupto库里的AES进行解密。# 提取key和ts的链接地址进行访问与获取文本。# 解密完成之后就可以写入了。
微博视频爬虫
Candance_star的博客
07-14 1746
说在前面的一点话~ 我本职工作是做爬虫开发的，最近开始爬视频网站了。 大大小小也爬了好多网站，也破解了好多网站，常规的视频网站基本上都爬了，还有一些短视频app也… 看我有心情写几篇博客吧，哈哈哈 有一个专刊，当然专栏里博客数量也不多，就专门放我爬的视频网站吧 一、思路： 以微博视频VLOG为例，我爬的是热门推荐这部分（url就不贴了） 第一步：先看网页源代码中有有.mp4或其他视频格式结尾的链接（大多数情况是没有的） 第二步：抓包，查看XHR类型的请求返回的数据 第三步：加密破解 二、实战 我用的sc.
Python之模拟登录微博下载视频
qq_37971227的博客
03-08 390
最近看到很多博主下载资源，其中有人就问:我们是搞程序出生的，能不能写段代码来实现微博下载视频资源呢? 当然，可以了，下面我使用python，来做一下演示。
python微博视频爬取
weixin_43596589的博客
12-29 2164
微博视频爬取 在前文爬取图片的基础上，过滤其中的url便可以 def get_pics_url(self): i = 1 url_list=[] while True: url = self.start_url + '&page={}'.format(i) headers = {'User-Agent': get_ua()} r = requests.get(url, he
python之视频下载
萧海的博客
07-31 87
替换视频id即可下载。
Python下载新浪微博视频（流式下载）
人生如梦，浮华一瞬间的专栏
05-05 5201
import requests print("开始下载") url = 'https://f.video.weibocdn.com/mMgApeOYlx07CJarSuxq01041200Yve80E010.mp4?label=mp4_720p&template=1280x720.25.0&trans_finger=1f0da16358befad33323e3a1b7...
python爬取微博评论_详解用python写网络爬虫-爬取新浪微博评论
06-10
好的，我知道你想了解如何用 Python 爬取新浪微博评论。以下是一些步骤供您参考： 1. 安装必要的库 在使用 Python 爬取微博评论前，您需要安装一些必要的库。其中，requests 和 BeautifulSoup 库是必不可少的。 您可以使用以下命令在终端中安装它们： ``` pip install requests pip install beautifulsoup4 ``` 2. 登录微博并获取 cookie 在爬取微博评论之前，您需要登录您的微博账号并获取 cookie。 您可以使用 Chrome 浏览器登录您的微博账号。然后，按 F12 打开开发者工具，切换到“Network”选项卡并刷新页面。在“Filter”栏中输入“comment”，然后点击“XHR”选项卡。 接下来，您可以在“Headers”选项卡中找到“Request Headers”部分，复制“Cookie”字段的值。 3. 构造请求 URL 在获取 cookie 后，您需要构造请求 URL。以下是一个示例 URL：https://weibo.cn/comment/Jf3bhk1V5?uid=123456&page=1 其中，Jf3bhk1V5 是微博的 ID，123456 是用户的 ID，page 是评论的页数。 您可以使用 requests 库发送 GET 请求并传递 cookie、微博 ID 和页数参数。 以下是一个示例代码： ``` import requests from bs4 import BeautifulSoup cookie = 'your_cookie_here' url = 'https://weibo.cn/comment/Jf3bhk1V5?uid=123456&page=1' headers = { 'Cookie': cookie } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') # 解析评论 ``` 4. 解析评论 最后，您需要解析页面上的评论。您可以使用 BeautifulSoup 库来解析 HTML。 以下是一个示例代码： ``` comments = soup.find_all('div', class_='c') for comment in comments: # 获取评论内容 content = comment.find('span', class_='ctt').text # 获取评论时间 time = comment.find('span', class_='ct').text # 获取评论用户 user = comment.find('a', class_='nk').text # 输出评论信息 print(f'{user}({time}): {content}\n') ``` 以上就是用 Python 爬取新浪微博评论的一些步骤。请注意，爬取微博评论可能会违反微博的使用协议，因此请谨慎使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值