如何用python爬取下载微博视频_Python通过抓包和使用cookie爬取微博完全讲解（附视频）-阿里云开发者社区...

最新推荐文章于 2024-06-26 22:22:01 发布
最新推荐文章于 2024-06-26 22:22:01 发布
阅读量460 收藏
点赞数
文章标签： 如何用python爬取下载微博视频

今天给大家录制了一个爬新浪微博的爬虫，也用到了抓包分析网址，但相较于以前，单纯的使用抓包分析网址在新浪微博是无效的。

cookie是什么

某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据(通常经过加密)。目前有些 Cookie 是临时的，有些则是持续的。临时的 Cookie 只在浏览器上保存一段规定的时间，一旦超过规定的时间，该 Cookie 就会被系统清除。持续的 Cookie 则保存在用户的 Cookie 文件中，下一次用户返回时，仍然可以对它进行调用。

注意：

微博中的cookie有时间限制，如果运行有问题，可以更换下cookie

如何使用cookie

Cookie = {‘Cookie’: ’UM_distinctid=15ab64ecfd6592-0afad5b368bd69-1d3b6853-13c680-15ab64ecfd7b6;

remember_user_token=W1sxMjEzMTM3XSwiJDJhJDEwJHhjYklYOGl2eTQ0Yi54WC5seVh2UWUiLCIxNDg5ODI2OTgwLjg4ODQyODciXQ%3D%3D---ac835770a030c0595b2993289e39c37d82ea27e2;

CNZZDATA1258679142=559069578-1488626597-https%253A%252F%252Fwww.baidu.com%252F%7C1489923851’}

我们要构造成字典格式，如上。这样应用到请求网址的时候添加到请求头中去即可(不懂也没关系，继续往下看，有视频讲说的)。

requests库

rquests is an elegant and simple HTTP library for Python, built for human beings.Requests是一个优雅简洁的Python HTTP库，给人类使用。

使用方法如下：

r=requests.get(url,cookiess = Cookie)

实战分析

那么我们打开开发者工具，抓包分析下网址验证我们的网址规律思路

抓包分析

接下来我只是测试下，抓孔庆东微博博文的标题，如下图红色方框对应的html标签是h4

代码及运行图部分

本文视频讲解如下：

原文发布时间为：2017-03-21

本文作者：邓旭东

本文来自云栖社区合作伙伴“Python中文社区”，了解相关信息可以关注“Python中文社区”微信公众号

weixin_39917791
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python爬取抖音用户数据_使用python爬取抖音视频列表信息
weixin_39596835的博客
11-23 2743
如果看到特别感兴趣的抖音vlogger的视频，想全部dump下来，如何操作呢？下面介绍介绍如何使用python导出特定用户所有视频信息抓包分析Chrome Deveploer Tools Chrome 浏览器开发者工具在抖音APP端，复制vlogger主页地址， 比如： http://v.douyin.com/kGcU4y/ ， 在PC端用chrome浏览器打卡，并模拟手机，这里选择iPhone，...
python爬取付费音乐包_用Python代码来下载任意指定网易云歌曲（超详细版）
weixin_39783915的博客
11-24 4475
前两天教了大家如何在控制台上找到真实的mp3播放地址，但是不可以下载付费的，因为只能下载可播放的歌曲。至于怎样下载付费网易云音乐，还是开个会员吧，要知道免费是最贵的的这个道理。有粉丝看了前两天文章想用代码来装逼，我就为了满足他，特意去折腾了两天，终于写出来了，迫不及待与大家分享一把。不得不说，这里面坑很大，遇到几个大坑在那里折腾了几个小时，分享出来让大家想装逼的少踩点坑。废话不多说，开始今天主题！...
Python通过抓包和使用cookie爬取微博完全讲解（附视频）
weixin_33811539的博客
03-14 800
今天给大家录制了一个爬新浪微博的爬虫，也用到了抓包分析网址，但相较于以前，单纯的使用抓包分析网址在新浪微博是无效的。 cookie是什么 某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据（通常经过加密）。目前有些 Cookie 是临时的，有些则是持续的。临时的 Cookie 只在浏览器上保存一段规定的时间，一旦超过规定的时...
python怎么爬取新浪微博数据中心_Python爬取国家数据中心环境数据（全国城市空气质量小时报）并导入csv文件...
weixin_33900697的博客
02-20 328
1.开发环境:python 3.5 + fiddler 4 (抓包工具)+ 火狐浏览器 + idea2.分析要爬取的页面2.1 首页数据中心 点击 全国城市空气质量小时报 查看 fiddler4表格中的内容就是要抓取的对象分析fiddler 4 看出请求的方式 请求参数 以及 返回的响应对象注意：一定要抓 返回带有 上述表格 的url (直接请求的url 不含该表格 可以通过浏览...
pythonrequests爬取知乎个人信息_【python爬虫01】使用requests库模拟登录知乎-Go语言中文社区...
weixin_39779530的博客
01-29 180
最近入坑python爬虫…简单记录一下我的爬虫经历。一开始是因为经常在知乎上看到各种关于爬虫的资料，于是自己也想尝试一下，既然这个念头是在知乎上产生的，那么我的爬虫之旅就从爬取知乎开始吧。：)要开始写爬虫首先需要掌握以下几点：①网站的请求，响应等基本知识。②学会分析网站，各种抓包工具的使用，方便我们分析网站的交互。由于我们是要登录知乎，自然需要知道请求的参数以及该向哪个url发送请求，...
python爬取aspx动态页面_科学网—python爬取aspx动态页面的基本思想。 - 崔学皓的博文...
weixin_39631953的博客
12-04 522
最近要统计市里建筑企业的基本信息，人工数个数，真是很伤眼睛啊。再说人工数太low！！scrapy 还不是肯熟悉框架，还是用最笨的requests 慢慢弄，虽然慢但自由灵活。以山东省建筑特种作业查询网为例目标：通过输入企业名称完成查询，并对数据进行清洗统计。在chrome中打开页面，开启开发者页面。一共存在6条页面文件。其中后缀gif的两个文件不用看。selectCert.aspx页面中存有查询页面...
python爬虫爬取微博特定词汇的帖子1
weixin_62640246的博客
06-26 972
微博爬虫
【Python 网络爬虫】使用 urllib 爬取网页源码、图片和视频
小发菜
12-21 3000
本文主要介绍了使用urllib结合基础知识爬取网页源代码，图片和视频。
python抓包库_python抓包_python 抓包_python 抓包库 - 云+社区 - 腾讯云
weixin_39614834的博客
12-02 1062
广告关闭提供包括云服务器，云数据库在内的50+款云计算产品。打造一站式的云产品试用服务，助力开发者和企业零门槛上云。用python抓包实现知乎的私信发送功能！?...作者：elliot，一个有着全栈幻想的新零售产品经理github：https:github.combkidydida_spider说起python爬虫，很多人第一个反应可能会是scrapy或者pyspider，但是今天文章里用到是py...
Python爬虫谷歌Chrome F12抓包过程原理解析
09-16
Python爬虫在获取网络数据时，常常需要借助于浏览器的开发者工具进行辅助，尤其是谷歌Chrome浏览器的F12功能。...因此，深入学习和使用Chrome开发者工具对于Python爬虫开发者来说，是一项必不可少的技能。
Python抓包并解析json爬虫的完整实例代码
12-16
本实例将详细讲解如何利用Python抓包并解析JSON数据进行爬虫操作。 首先，理解抓包的概念。抓包是网络诊断的一种技术，它允许我们捕获网络上的数据包，查看其内容，包括发送的目标、源地址、数据类型等信息。在...
各大网站登陆方式，有的是通过selenium登录，有的是通过抓包直接模拟登录-python
06-18
本文将深入探讨两种常见的模拟登录方法：使用Selenium库和通过网络抓包。这两种技术都是为了绕过人工交互，自动化地完成登录过程，特别是在处理需要验证码或复杂交互的网站时。 **一、Selenium库** Selenium是一款...
利用python爬虫(part15)–cookie模拟登陆
12-21
首先，你需要使用网络抓包工具（如Chrome的开发者工具）来捕捉登录过程中的网络请求。当你在猫耳FM或其他网站上登录时，观察网络面板中的请求。通常，登录请求完成后，服务器会返回包含登录信息的Set-Cookie响应头...
利用Python的requests实现SCU的登录获取Cookie
12-21
通过使用网络抓包工具（如Firefox的FD或Chrome的开发者工具），我们可以发现登录请求是POST到`http://zhjw.scu.edu.cn/j_spring_security_check`这个URL。 ### 第二步：验证码的获取 登录时通常需要验证码，对于...
mpu6050陀螺仪使用方法开发教程文档.docx
07-30
mpu6050陀螺仪使用方法
【SCI顶级】龙格库塔算法RUN-CNN-LSTM-Multihead-Attention温度预测【含源码 5747期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Mutilhead-Attention回归预测
大模型的数学之魂：统计学习理论精要
07-30
大型机器学习模型，通常简称为“大模型”，是指具有数十亿甚至数千亿参数的深度神经网络模型。这些模型因为其庞大的参数量和复杂的计算结构，能够处理非常复杂的任务和数据，展现出强大的表达能力和预测性能。大模型在自然语言处理、计算机视觉、语音识别和推荐系统等多个领域都有广泛的应用。 大模型的设计目的是通过训练海量数据来学习复杂的模式和特征，从而具备强大的泛化能力，能够对未见过的数据做出准确的预测。与参数较少、层数较浅的小模型相比，大模型虽然需要更多的计算资源和时间来训练和推理，但它们展现出了一种被称为“涌现能力”的特性，即从原始训练数据中自动学习并发现新的、更高层次的特征和模式。 大模型的发展历程可以分为几个阶段，从早期的卷积神经网络模型发展到以Transformer为代表的全新神经网络模型，再到当前以GPT为代表的预训练大模型阶段。Transformer架构因其自注意力机制而成为大模型的核心技术，它使得模型能够更好地理解和处理文本数据中的长距离依赖关系。 大模型的分类主要包括语言大模型（NLP）、视觉大模型（CV）和多模态大模型。语言大模型专注于处理文本数据和理解自然语言，而视觉大模型用
唯美淡雅四页.zip
最新发布
07-30
【简历模板】工作总结、商业计划书、述职报告、读书分享、家长会、主题班会、端午节、期末、夏至、中国风、卡通、小清新、岗位竞聘、公司介绍、读书分享、安全教育、文明礼仪、儿童故事、绘本、防溺水、夏季安全、科技风、商务、炫酷、企业培训、自我介绍、产品介绍、师德师风、班主任培训、神话故事、巴黎奥运会、世界献血者日、防范非法集资、3D快闪、毛玻璃、人工智能等等各种样式的ppt素材风格。 设计模板、图片素材、PPT模板、视频素材、办公文档、小报模板、表格模板、音效配乐、字体库。 广告设计：海报，易拉宝，展板，宣传单，宣传栏，画册，邀请函，优惠券，贺卡，文化墙，标语，制度，名片，舞台背景，广告牌，证书，明信片，菜单，折页，封面，节目单，门头，美陈，拱门，展架等。 电商设计：主图，直通车，详情页，PC端首页，移动端首页，钻展，优惠券，促销标签，店招，店铺公告等。 图片素材：PNG素材，背景素材，矢量素材，插画，元素，艺术字，UI设计等。 视频素材：AE模板，会声会影，PR模板，视频背景，实拍短片，音效配乐。 办公文档：工作汇报，毕业答辩，企业介绍，总结计划，教学课件，求职简历等PPT/WORD模板。
python爬取微博评论_详解用python写网络爬虫-爬取新浪微博评论
06-10
好的，我知道你想了解如何用 Python 爬取新浪微博评论。以下是一些步骤供您参考： 1. 安装必要的库 在使用 Python 爬取微博评论前，您需要安装一些必要的库。其中，requests 和 BeautifulSoup 库是必不可少的。 您可以使用以下命令在终端中安装它们： ``` pip install requests pip install beautifulsoup4 ``` 2. 登录微博并获取 cookie 在爬取微博评论之前，您需要登录您的微博账号并获取 cookie。 您可以使用 Chrome 浏览器登录您的微博账号。然后，按 F12 打开开发者工具，切换到“Network”选项卡并刷新页面。在“Filter”栏中输入“comment”，然后点击“XHR”选项卡。 接下来，您可以在“Headers”选项卡中找到“Request Headers”部分，复制“Cookie”字段的值。 3. 构造请求 URL 在获取 cookie 后，您需要构造请求 URL。以下是一个示例 URL：https://weibo.cn/comment/Jf3bhk1V5?uid=123456&page=1 其中，Jf3bhk1V5 是微博的 ID，123456 是用户的 ID，page 是评论的页数。 您可以使用 requests 库发送 GET 请求并传递 cookie、微博 ID 和页数参数。 以下是一个示例代码： ``` import requests from bs4 import BeautifulSoup cookie = 'your_cookie_here' url = 'https://weibo.cn/comment/Jf3bhk1V5?uid=123456&page=1' headers = { 'Cookie': cookie } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') # 解析评论 ``` 4. 解析评论 最后，您需要解析页面上的评论。您可以使用 BeautifulSoup 库来解析 HTML。 以下是一个示例代码： ``` comments = soup.find_all('div', class_='c') for comment in comments: # 获取评论内容 content = comment.find('span', class_='ctt').text # 获取评论时间 time = comment.find('span', class_='ct').text # 获取评论用户 user = comment.find('a', class_='nk').text # 输出评论信息 print(f'{user}({time}): {content}\n') ``` 以上就是用 Python 爬取新浪微博评论的一些步骤。请注意，爬取微博评论可能会违反微博的使用协议，因此请谨慎使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值