Python爬取新浪微博评论数据，了解一下？

最新推荐文章于 2024-09-26 17:30:41 发布
最新推荐文章于 2024-09-26 17:30:41 发布
阅读量1.3k 收藏 3
点赞数 1
文章标签： python 爬虫 爬虫教程 python爬虫 python教程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NNNJ9355/article/details/108553076
版权
本文介绍如何使用Python模拟登录新浪微博移动端，抓取特定微博的评论数据。通过解析网页接口，获取每页评论，并利用相关模块如requests、jieba等处理数据。示例代码展示了详细步骤，包括登录、请求评论数据、处理反爬策略以及数据保存。最后，还展示了如何绘制评论词云。
摘要由CSDN通过智能技术生成

开发工具

**Python版本：**3.6.4
相关模块：
argparse模块；
requests模块；
jieba模块；
wordcloud模块；

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

原理简介

一. 爬虫目标

爬取某条微博底下的评论数据。

二. 模拟登录

爬像新浪微博这样的大网站，不用想就知道不登录肯定是爬不了多少数据的(事实就是不登录的话只能爬第一页的评论数据)。

这里为方便起见，我们选择用微博的移动端接口进行模拟登录。即：

https://passport.weibo.cn/sig…

界面如下：

简单抓包可以发现登录链接为：

最低0.47元/天 解锁文章
工程师大胖
关注
python爬取微博评论（无重复数据）
Python_sn的博客
09-29 3339
python爬取微博评论（无重复数据） 前言 一、整体思路 二、获取微博地址 1、获取ajax地址2、解析页面中的微博地址3、获取指定用户微博地址 三、获取主评论 四、获取子评论 1、解析子评论2、获取子评论 五、主函数调用 1、导入相关库2、主函数执行3、结果 写在最后 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，
python 抓取微博评论破亿_利用python实现爬取微博评论的方法
weixin_34329963的博客
02-03 2729
利用python实现爬取微博评论的方法发布时间：2021-01-15 17:18:42来源：亿速云阅读：79作者：Leah本篇文章为大家展示了利用python实现爬取微博评论的方法，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。第一步：确定评论用户的id#-*-coding:utf-8-*-importrequestsimportreimport...
python爬虫爬取微博评论--完整版(超详细，大学生不骗大学生)
热门推荐
m0_68325382的博客
04-06 2万+
​​​​​​​。
使用python爬取微博热点话题数据
最新发布
qq_63735384的博客
09-26 1211
华夏时报,03月20日 16:23,展开c@东方财经#沪上阿姨崩了##沪上阿姨回应小程序崩了或因张杰联名##沪上阿姨回应小程序崩了#,2,评论,5。王海燕-Anna,03月20日 20:08,#沪上阿姨2024张杰巡演上海站##沪上阿姨 张杰#张杰超话#沪上阿姨崩了#,转发,评论,1。梨视频,03月20日 18:27,展开c@沪上阿姨#沪上阿姨崩了##沪上阿姨紧急补货##沪上阿姨就系统崩溃致歉#,43,212,2496。
【Python爬虫】一键获取微博评论，轻松实现舆情分析！
weixin_51167671的博客
11-18 1万+
无需修改，上手即用！大幅度降低微博评论的爬取限制！基于微博API调用爬取！克服了在网页端爬取时，对于每条微博限制爬取200条左右的评论，并且在数据预处理方面，通过API调用也更简洁，对新手十分有利。
python抓取新浪微博数据
04-08
python作为人工智能或者大数据的宠儿，我自然要学习，作为一个小白，第一个实现的工能就是爬虫，爬数据，收集数据，我以我爬微博的事情为例子，附上代码，大家一起学习
python爬虫之微博评论爬取
罗罗攀
01-11 640
最近喜欢看《火星情报局》，搞笑中也不缺内涵。记得2016年的最后一期，里面说到，年终总结只需一个字，而沈梦辰给自己的是一个黑字，2016的她如此招黑，那今天我爬取她2017年的一篇微博评论，看看2017有什么变化呢？ 提交Cookie信息模拟微博登录 需要爬取登录之后的信息，大家都是望而止步，不要担心，今天呢，给大家提供一个超级简单的方法，就是提交Cook...
python爬虫爬取微博评论案例详解
01-01
前几天，杨超越编程大赛火了，大家都在报名参加，而我也是其中的一员。 在我们的项目中，我负责的是数据爬取这块，我主要是把对于杨超越 的每一条评论的相关信息。 数据格式：{“name”:评论人姓名,”comment_time”:评论时间,”comment_info”:评论内容,”comment_url”:评论人的主页} 以上就是我们需要的信息。 爬虫前的分析： 以上是杨超越的微博主页，这是我们首先需要获取到的内容。 因为我们需要等到这个主页内这些微博详情页 的链接，但是我们向下刷新，会发现微博的主页信息是ajax动态加载出来的， 这张图片就是我们向下刷新获取到 的新的链接，这个就是我们需要获取
新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频.zip
08-24
在本资源中，我们主要探讨的是如何利用Python编程语言实现一个针对新浪微博的网络爬虫，目的是抓取微博数据，包括微博的文字内容、图片以及视频。爬虫是数据挖掘的重要工具，它能自动化地从互联网上收集信息，对于...
新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频
05-02
新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频 连续爬取一个或多个微博用户的数据，并将结果信息写入文件。写入信息几乎包括了用户微博的所有数据，主要有用户信息和微博信息两大类，前者包含...
新浪微博爬虫，用python爬取新浪微博数据.zip
02-03
【标题】：“新浪微博爬虫，用python爬取新浪微博数据” 【描述】：“此项目是关于如何使用Python编程语言构建一个爬虫，以抓取并分析新浪微博上的数据。爬虫技术在大数据时代对于获取社交媒体信息、进行网络数据...
新浪微博爬虫，用python爬取新浪微博数据
02-07
本程序可以连续爬取一个或多个新浪微博用户（如胡歌、迪丽热巴、郭碧婷）的数据，并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据，包括用户信息和微博信息两大类。因为内容太多，这里不再赘述，...
python爬虫手把手教你抓取微博评论（完整代码）
12-22
python爬虫手把手教你抓取微博评论（完整代码）
微博评论爬取（仅供学习）.py
06-09
学习Python，一定要学习爬虫，因为这会解决你很多数据获取的问题，不仅仅对于市场信息，对于个人获取新闻资讯也一样可以。所以这里通过Python，实现对某一资源的爬虫获取，同时也设计了对某一账号的评论消息的获取。
Python，爬取微博评论，再也不怕女朋友让你变成青蛙王子了?
Ugyfyv的博客
11-28 1237
提交Cookie信息模拟微博登录 需要爬取登录之后的信息，大家都是望而止步，不要担心，今天呢，给大家提供一个超级简单的方法，就是提交Cookie信息登录微博，首先，我们找到某明星的微博网址：http://m.weibo.cn/u/1732927460 这里是登录的移动端，你会发现，你点击网址会自动跳转到登录微博的界面（没有跳转的注销掉自己的账号），如下图所示： 然后登录自己的账号密码，这时记得打开Fiddler进行抓包，如图所示，提取Cookie做为请求某明星微博网址的请求头即可。 异步加载数据如何爬取
Python爬虫—爬取微博评论数据
z099164的博客
04-16 2658
电脑访问手机端微博_https://m.weibo.cn/_：打开一条微博_https://m.weibo.cn/detail/4907031376694279_：URL地址中的_49070__31376694279_就是需要爬取的微博ID：将ID填写到_main_下即可，也支持同时填写多个。
爬虫实战-微博评论爬取
陶陶name
12-28 1723
【爬虫实战】爬取微博评论数据，一键获取指定微博的评论内容，包括评论内容，评论id,评论ip,评论者的账号信息，包括性别，关注人数，粉丝人数等等……
python爬取微博数据存入数据库_Python爬取新浪微博评论数据，写入csv文件中
05-14
首先，使用Python爬取新浪微博评论数据需要以下步骤： 1. 登录微博开放平台，创建应用并获取App Key和App Secret。 2. 使用App Key和App Secret获取access_token。 3. 使用access_token获取微博的API接口。 4. 使用API接口获取微博评论数据。 5. 将数据存入数据库或写入csv文件中。 下面是一个简单的示例代码，演示如何使用Python爬取新浪微博评论数据并存入数据库中： ```python import os import sys import time import json import pymysql import requests from urllib.parse import quote_plus from datetime import datetime from dotenv import load_dotenv load_dotenv() app_key = os.getenv("APP_KEY") app_secret = os.getenv("APP_SECRET") access_token = os.getenv("ACCESS_TOKEN") # 数据库配置 db_host = os.getenv("DB_HOST") db_port = os.getenv("DB_PORT") db_user = os.getenv("DB_USER") db_password = os.getenv("DB_PASSWORD") db_name = os.getenv("DB_NAME") # 连接数据库 db = pymysql.connect(host=db_host, port=int(db_port), user=db_user, password=db_password, db=db_name, charset="utf8mb4") cursor = db.cursor() # 微博接口配置 base_url = "https://api.weibo.com/2/comments/show.json" max_count = 200 since_id = None max_id = None while True: # 构造API请求参数 params = { "access_token": access_token, "source": app_key, "count": max_count, "since_id": since_id, "max_id": max_id, } # 发送API请求 response = requests.get(base_url, params=params) if response.status_code != 200: print("Failed to get comments data from Weibo API.") sys.exit(1) # 解析API响应数据 data = json.loads(response.text) comments = data["comments"] # 遍历评论数据并存入数据库 for comment in comments: created_at = datetime.strptime(comment["created_at"], "%a %b %d %H:%M:%S +0800 %Y") text = comment["text"] user_id = comment["user"]["id"] user_name = comment["user"]["name"] mid = comment["mid"] sql = "INSERT INTO comments (created_at, text, user_id, user_name, mid) VALUES (%s, %s, %s, %s, %s)" try: cursor.execute(sql, (created_at, text, user_id, user_name, mid)) db.commit() except: db.rollback() # 更新API请求参数 if len(comments) == 0: break else: since_id = comments[0]["id"] max_id = comments[-1]["id"] # 控制API请求频率 time.sleep(5) ``` 以上代码中使用了dotenv库来读取环境变量，因此需要在项目根目录下创建一个名为“.env”的文件，并在其中添加以下配置项： ```text APP_KEY=your_app_key APP_SECRET=your_app_secret ACCESS_TOKEN=your_access_token DB_HOST=your_db_host DB_PORT=your_db_port DB_USER=your_db_user DB_PASSWORD=your_db_password DB_NAME=your_db_name ``` 注意：上述代码中的“comments”和“comments_data”均为示例数据库表名，需要根据实际情况修改。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值