爬虫爬取微博评论--中---结构化接收数据(超详细教程，大学生不骗大学生)

已于 2024-04-06 19:34:11 修改
阅读量1.5k 收藏 33
点赞数 16
文章标签： 服务器 运维 python 爬虫 新浪微博
于 2024-04-01 16:19:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_68325382/article/details/137234661
版权

目录

四、格式化输出

2.1 了解存储格式

2.2 单独取出内容

2.3 取出所有评论内容

2.4 格式化读取信息

五、导出成表格形式(完整代码直接看这)

上个文章讲到我们已经可以用文字的方式得到网页的信息(如果没看上一篇文章的可以先看一下)

​​​​​​https://blog.csdn.net/m0_68325382/article/details/137212689?spm=1001.2014.3001.550​​​​​​1

这个是多页爬取，也就是下

爬虫爬取微博评论--下--多页爬取(超详细教程，大学生不骗大学生)-CSDN博客

四、格式化输出

那么接下来，我们想要将这些数据更加规整的输出​​​​​​​

4.1 了解存储格式

1.那么我们首先要观察这些数据的存储方式

打开网页 -> 单击右键 -> 审查元素 -> 搜索一条评论 -> 点击预览(preview) -> 点击data旁边的小箭头 -> 点击 0 旁边的小箭头​​​​​​​

那么在这林我们可以看到这里存有很多关于评论的数据，例如text_raw是评论的文本内容，source是发表评论人的ip来源地，id是发表评论人的id等等等

4.2 单独取出内容

那么我们先将第一个评论的text_raw用代码取出来试一下

import requests
# 请求头
headers = {
    # 用户身份信息
    'cookie' : 'XSRF-TOKEN=KVMLznKAi1u5t7UavCDVyD0I; _s_tentry=weibo.com; Apache=3869338173200.8403.1711845564842; SINAGLOBAL=3869338173200.8403.1711845564842; ULV=1711845565244:1:1:1:3869338173200.8403.1711845564842:; PC_TOKEN=dcbe0bd978; SUB=_2A25LDMCxDeRhGeFJ71sS8CvLzTmIHXVoYFx5rDV8PUNbmtB-LVD9kW9Nf6JZvhCZ3PGanwgbD1yc6zGrHhnf6wrq; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9W586R5s7_p1VykF21DkOu3L5JpX5o275NHD95QNS0B4e05fS0qfWs4DqcjAMJv09CH8SE-4BC-RSFH8SCHFxb-ReEH8SFHFBC-RBbH8Sb-4SEHWSCH81FHWxCHFeFH8Sb-4BEHWB7tt; ALF=1712450401; SSOLoginState=1711845601; WBPSESS=7dB0l9FjbY-Rzc9u1r7G0AeIukWsnj2u9VSmMssaP8z8nNdVQm3MrakDKiijTO3Y_iL6pEDJ8mgGw5Ql6jIh-aVUQoUZdu9LfLYmAiNsLqi43OBU2ZJdNYv4zIWorgKZiAz8JGn2kAugZwnStCVYKw==',
    # 防盗链
    'referer' : 'https://weibo.com/2810373291/O7pPo1Ptb',
    # 浏览器基本信息
    'user-agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.95 Safari/537.36'
}
url = 'https://weibo.com/ajax/statuses/buildComments?is_reload=1&id=5017675820436181&is_show_bulletin=2&is_mix=0&count=10&uid=2810373291'
# 1.发送请求
response = requests.get(url=url,headers=headers)
#2.打印网页数据
# .text:获取文本数据
# .json():json字符串数据
# .content:获取二进制数据
# 这里如果我们想要单独取出数据，我们需要用json格式，它是一个格式化的数据
# 用json格式获取数据后我们要找到第一条评论的内容
# 我们把preview界面看作一个文件夹，那么我们首先打开的是 data ，然后是 0 ，然后是 text_raw
# 这里注意 data、text_raw 是字符串要加单引号，但是 0 是整数不用单引号
# 最后用类似于数组的方式访问
print(response.json()['data'][0]['text_raw'])

运行一下

可以看到我们顺利取到了第一条评论的内容

4.3 取出所有评论内容

接下来我们将所有的评论内容都取出来，但是我们也不能一条一条写01234，所以，这里我们会用到循环

import requests
# 请求头
headers = {
    # 用户身份信息
    'cookie' : 'XSRF-TOKEN=KVMLznKAi1u5t7UavCDVyD0I; _s_tentry=weibo.com; Apache=3869338173200.8403.1711845564842; SINAGLOBAL=3869338173200.8403.1711845564842; ULV=1711845565244:1:1:1:3869338173200.8403.1711845564842:; PC_TOKEN=dcbe0bd978; SUB=_2A25LDMCxDeRhGeFJ71sS8CvLzTmIHXVoYFx5rDV8PUNbmtB-LVD9kW9Nf6JZvhCZ3PGanwgbD1yc6zGrHhnf6wrq; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9W586R5s7_p1VykF21DkOu3L5JpX5o275NHD95QNS0B4e05fS0qfWs4DqcjAMJv09CH8SE-4BC-RSFH8SCHFxb-ReEH8SFHFBC-RBbH8Sb-4SEHWSCH81FHWxCHFeFH8Sb-4BEHWB7tt; ALF=1712450401; SSOLoginState=1711845601; WBPSESS=7dB0l9FjbY-Rzc9u1r7G0AeIukWsnj2u9VSmMssaP8z8nNdVQm3MrakDKiijTO3Y_iL6pEDJ8mgGw5Ql6jIh-aVUQoUZdu9LfLYmAiNsLqi43OBU2ZJdNYv4zIWorgKZiAz8JGn2kAugZwnStCVYKw==',
    # 防盗链
    'referer' : 'https://weibo.com/2810373291/O7pPo1Ptb',
    # 浏览器基本信息
    'user-agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.95 Safari/537.36'
}
url = 'https://weibo.com/ajax/statuses/buildComments?is_reload=1&id=5017675820436181&is_show_bulletin=2&is_mix=0&count=10&uid=2810373291'
# 1.发送请求
response = requests.get(url=url,headers=headers)
# 2.打印网页数据
# 定义一个json_data来存储 response.json()的数据
json_data = response.json()
# 定义一个data_list取出所有data中的数据
data_list = json_data['data']
# 定义一个data数据，让它便利data_list里面的对象
# 这里怎么理解呢，data_list看作一个数组，我让data等于数组的第一个数
# 然后执行操作，执行完之后返回for，我们再另data等于数组的第二个数执行操作
# 循环往复
for data in data_list:
    # 这里 data 代表着 data_list的第一个数也就是 ['data'][0]
    text_raw = data['text_raw']
    print(text_raw)

运行一下

4.4 格式化读取信息

可以看到我们已经取出了所有的评论，那么可能大家还需要爬取这个评论的其他数据，例如发评论人的id，昵称和该条评论的点赞数量

import requests
# 请求头
headers = {
    # 用户身份信息
    'cookie' : 'XSRF-TOKEN=KVMLznKAi1u5t7UavCDVyD0I; _s_tentry=weibo.com; Apache=3869338173200.8403.1711845564842; SINAGLOBAL=3869338173200.8403.1711845564842; ULV=1711845565244:1:1:1:3869338173200.8403.1711845564842:; PC_TOKEN=dcbe0bd978; SUB=_2A25LDMCxDeRhGeFJ71sS8CvLzTmIHXVoYFx5rDV8PUNbmtB-LVD9kW9Nf6JZvhCZ3PGanwgbD1yc6zGrHhnf6wrq; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9W586R5s7_p1VykF21DkOu3L5JpX5o275NHD95QNS0B4e05fS0qfWs4DqcjAMJv09CH8SE-4BC-RSFH8SCHFxb-ReEH8SFHFBC-RBbH8Sb-4SEHWSCH81FHWxCHFeFH8Sb-4BEHWB7tt; ALF=1712450401; SSOLoginState=1711845601; WBPSESS=7dB0l9FjbY-Rzc9u1r7G0AeIukWsnj2u9VSmMssaP8z8nNdVQm3MrakDKiijTO3Y_iL6pEDJ8mgGw5Ql6jIh-aVUQoUZdu9LfLYmAiNsLqi43OBU2ZJdNYv4zIWorgKZiAz8JGn2kAugZwnStCVYKw==',
    # 防盗链
    'referer' : 'https://weibo.com/2810373291/O7pPo1Ptb',
    # 浏览器基本信息
    'user-agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.95 Safari/537.36'
}
url = 'https://weibo.com/ajax/statuses/buildComments?is_reload=1&id=5017675820436181&is_show_bulletin=2&is_mix=0&count=10&uid=2810373291'
# 1.发送请求
response = requests.get(url=url,headers=headers)
# 2.打印网页数据
json_data = response.json()
data_list = json_data['data']

for data in data_list:
    text_raw = data['text_raw']
    id = data['id'] # 发表评论人的id
    created_at = data['created_at'] # 评论发表在什么时候
    like_counts = data['like_counts'] # 该评论的点赞数量
    total_number = data['total_number'] # 该条评论被别人回复的数量
    screen_name = data['user']['screen_name'] # 发表评论人的昵称
    print(id,screen_name,text_raw,like_counts,total_number,created_at)

运行一下

可以看现在的输出数据已经很规整了

五、导出成表格形式(完整代码直接看这)

我们将输出的数据导出成表格形式，更加方便我们观察与使用

import requests
import csv

f = open('评论.csv',mode='a',encoding='utf-8-sig',newline='')
csv_write = csv.writer((f))
csv_write.writerow(['id','screen_name','text_raw','like_counts','total_number','created_at'])
# 请求头
headers = {
    # 用户身份信息
    'cookie' : 'XSRF-TOKEN=KVMLznKAi1u5t7UavCDVyD0I; _s_tentry=weibo.com; Apache=3869338173200.8403.1711845564842; SINAGLOBAL=3869338173200.8403.1711845564842; ULV=1711845565244:1:1:1:3869338173200.8403.1711845564842:; PC_TOKEN=dcbe0bd978; SUB=_2A25LDMCxDeRhGeFJ71sS8CvLzTmIHXVoYFx5rDV8PUNbmtB-LVD9kW9Nf6JZvhCZ3PGanwgbD1yc6zGrHhnf6wrq; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9W586R5s7_p1VykF21DkOu3L5JpX5o275NHD95QNS0B4e05fS0qfWs4DqcjAMJv09CH8SE-4BC-RSFH8SCHFxb-ReEH8SFHFBC-RBbH8Sb-4SEHWSCH81FHWxCHFeFH8Sb-4BEHWB7tt; ALF=1712450401; SSOLoginState=1711845601; WBPSESS=7dB0l9FjbY-Rzc9u1r7G0AeIukWsnj2u9VSmMssaP8z8nNdVQm3MrakDKiijTO3Y_iL6pEDJ8mgGw5Ql6jIh-aVUQoUZdu9LfLYmAiNsLqi43OBU2ZJdNYv4zIWorgKZiAz8JGn2kAugZwnStCVYKw==',
    # 防盗链
    'referer' : 'https://weibo.com/2810373291/O7pPo1Ptb',
    # 浏览器基本信息
    'user-agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.95 Safari/537.36'
}
url = 'https://weibo.com/ajax/statuses/buildComments?is_reload=1&id=5017675820436181&is_show_bulletin=2&is_mix=0&count=10&uid=2810373291'
# 1.发送请求
response = requests.get(url=url,headers=headers)
# 2.获取数据

# 3.提取数据
json_data = response.json()
data_list = json_data['data']

for data in data_list:
    text_raw = data['text_raw']
    id = data['id']
    created_at = data['created_at']
    like_counts = data['like_counts']
    total_number = data['total_number']
    screen_name = data['user']['screen_name']
    print(id,screen_name,text_raw,like_counts,total_number,created_at)
    # 4.保存数据
     csv_write.writerow([id,screen_name,text_raw,like_counts,total_number,created_at])

运行一下

我们可以看到，有一个格式是 .csv 的文件生成了，我们可以在访问中打开它

打开表格

好了！！！！到这我们就成功咯

太棒啦能看到这里！！！！！！！（加油加油加油）

OK！！！！咱们明天说怎么爬取连续几页的评论

因为其实它这个评论是分页的，我们一次是爬不完嘟明天说

wyw在路上
关注
  • 16
    点赞
  • 踩
  • 33
    收藏
    觉得还不错? 一键收藏
  • 12
    评论
某条微博评论数据爬取
好好学习,天天向上的博客
08-01 2029
1,微博网页版爬取难度较大，本次爬取手机版评论数据：m.weibo.cn; 2,评论网页为动态的，查看方式network----XHR----请求对应的url 注：url中的id,mid与微博地址中的后缀一致，评论往下滑，20条之后，会出现新的url,新的url中多了max_id,该参数类似分页参数，在preview的data下面有，该max_id即下一条url中的max_id import requests import json import pprint import pandas as pd
新浪微博爬虫，用python爬取新浪微博数据-python
06-18
在IT领域，网络爬虫是一种自动化获取网页信息的工具，对于数据分析、市场研究和个人兴趣有着广泛的应用。在Python中，由于其丰富的库支持，编写网络爬虫变得相对简单。本项目"新浪微博爬虫"就是一个很好的例子，它...
爬取微博数据_爬取微博_python爬虫_爬取微博数据并可视化_数据开发_微博分析_
10-02
爬取微博数据，分析各地区情感数据，并用html可视化
【Python爬虫实例学习篇】——5、【超详细记录】从爬取微博评论数据（免登陆）到生成词云
小术快跑呀
03-11 8717
【Python爬虫实例学习篇】——5、从爬取微博评论数据到生成任意形状词云的超详细记录 近段时间新型冠状病毒的问题引起了全国人民的广泛关注，对于这一高传染性的病毒，人们有着不同的声音，而我想通过大数据看看大多数人是怎么想的。 工具： Python 3.6 requests 库 目录： 爬取微博评论数据 生成任意形状词云 1、爬取微博篇论数据 以央视新闻官方微博置顶的第一条微博为例，爬取其评...
2024年Python爬虫入门教程28：爬取微博热搜榜并做动态数据展示，2024年最新面试官凶
最新发布
2401_84140547的博客
05-10 863
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。f = open(‘热榜.csv’, mode=‘a’, encoding=‘utf-8’, newline=‘’)‘标题’: title,‘热度’: hot,
python爬虫手把手教你抓取微博评论（完整代码）
12-22
前几天周子瑜捐款的事情引发粉丝和黑子大战，突然想了解其中的对话 不想看的朋友可以直接跳到最后拿代码 开始工作 第一步引入库 import time import base64 import rsa import binascii import requests import re from PIL import Image import random from urllib.parse import quote_plus import http.cookiejar as cookielib import csv import os 第二步：一些全局变量的设置 comment_path = '
微博评论数据爬取思路及代码分享
qq_43814415的博客
08-02 5682
很久没有发帖了，之前做了有关微博的数据分析，现在将爬取微博评论的思路和代码分享出来，写得有些粗糙，欢迎批评指正。 一、获取bid和uid 就是网址https://weibo.cn/comment/KrsH5tpeY?uid=2000016880&rl=0&gid=10001#cmtfrm 其中KrsH5tpeY的bid，2000016880是uid 这个就可以将博文唯一地标识出来了。 二、爬取一个博文的评论数据 包括用户ID、用户名、评论内容和时间。 首先是单条评论数据。 观察到用户名和id
使用python实现微博评论分词与关键词提取（从MySQL数据库中读取数据）
qq_40379132的博客
05-16 2220
data_full.dat、data_keywords.dat 的具体内容如下，分别是分词结果和关键词提取结果，每个文件中有25行数据，对应五个表中的五个id。（2）在该文件下写入代码，jieba 安装包可在终端处用命令 pip install pymysql 导入 ，如果速度很慢，可以多试几次，或者用镜像下载。（3）在该文件下写入代码，pymysql 安装包在终端处用命令 pip install pymysql 导入 , 运行后即可向数据库db1中插入数据。可以看到新的数据库已加入到数据库列表中。
Web Scraper 10分钟爬取微博评论实践(进阶教程)
weixin_46449236的博客
10-13 1864
用完这个工具，你会发现，根本不用像python一样模拟登陆，敲一大堆代码，平均获取一页数据在1.5秒左右，简单轻松上手。
weibo-comment-crawler-master_爬取微博评论_微博分析_评论情感分析
09-11
该项目名为“weibo-comment-crawler-master”，主要涉及的是利用编程技术爬取微博的评论数据，进行分析，并对评论的情感进行评估。以下将详细介绍这个过程涉及的主要知识点。 首先，爬虫技术是整个项目的基础。在...
详解用python写网络爬虫-爬取新浪微博评论
12-26
单独编写了字符优化函数，解决微博评论中的嘈杂干扰字符 本函数是用python写网络爬虫的终极目的，所以采用函数化方式编写，方便后期优化和添加各种功能 # -*- coding:gbk -*- import re import requests import ...
微博数据爬取demo ,解析微博评论数，点赞数，图片链接等
03-31
微博数据爬取demo ,解析微博评论数，点赞数，图片链接等
新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频.zip
08-24
本资源中的源码都是经过本地编译过可运行的，下载后按照文档配置好环境就可以运行。资源项目源码系统完整，内容都是经过专业老师审定过的，基本能够满足学习、使用参考需求，如果有需要的话可以放心下载使用。
利用爬虫爬取微博用户微博,对所发微博文本进行可视化、文本分析
07-08
实现根据给定目标用户的微博UID,得到目标用户微博个人资料,保存到本地 依据目标用户微博UID抓取一定时期...设置评论数阈值,爬取目标用户热门微博下热评 统计目标用户热门微博下热评次数较多用户,挖掘目标用户狂热粉丝
8.（地图数据篇）腾讯地图矢量瓦片数据爬取--java代码.zip
06-28
3. 8.（地图数据篇）腾讯地图矢量瓦片数据爬取--java代码.png - 这是一个图片文件，可能展示了爬取和解析后的矢量瓦片数据在地图上的视觉效果，或者可能是爬取过程中的关键步骤截图。 综合以上信息，要实现腾讯地图...
【Python爬虫】一键获取微博评论，轻松实现舆情分析！
weixin_51167671的博客
11-18 1万+
无需修改，上手即用！大幅度降低微博评论的爬取限制！基于微博API调用爬取！克服了在网页端爬取时，对于每条微博限制爬取200条左右的评论，并且在数据预处理方面，通过API调用也更简洁，对新手十分有利。
python爬虫爬取微博评论--完整版(超详细，大学生不骗大学生)
热门推荐
m0_68325382的博客
04-06 1万+
​​​​​​​。
douban_book_yyq_爬虫数据-豆瓣图书的爬取结果_
09-28
在这个特定的案例中，爬虫被用来自动化地收集豆瓣图书页面的数据，生成了XML文件，这是一种结构化数据存储格式，用于方便数据交换和处理。 描述中提到“此压缩包里文件为xml”，这暗示了文件的内容是以XML...
python爬取微博评论_详解用python写网络爬虫-爬取新浪微博评论
06-13
好的，我可以为您解答关于Python爬取微博评论的问题。 首先，我们需要获取微博的评论接口地址。可以通过浏览器开发者工具查看微博页面的网络请求，找到评论接口的url地址。 接下来，我们可以使用Python中的requests库发送网络请求，获取评论数据。在请求中，需要设置请求头信息，模拟浏览器的请求。 获取到评论数据后，我们可以使用Python中的json库将数据解析成字典或列表，方便后续数据处理和存储。 在处理数据时，需要注意微博评论的分页问题。可以通过分析接口返回的数据，获取评论总数和每页评论数量，从而计算出需要请求的页数，逐页获取评论数据。 最后，我们可以将获取到的评论数据存储到本地或数据库中，方便后续的数据分析和使用。 以上就是大致的Python爬取微博评论的流程，具体实现细节可以根据实际情况进行调整和优化。
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值