python 抓取微博评论破亿_利用python实现爬取微博评论的方法

利用python实现爬取微博评论的方法

发布时间：2021-01-15 17:18:42

来源：亿速云

阅读：79

作者：Leah

本篇文章为大家展示了利用python实现爬取微博评论的方法，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。

第一步：确定评论用户的id# -*- coding:utf-8 -*-

import requests

import re

import time

import pandas as pd

urls = 'https://m.weibo.cn/api/comments/show?id=4073157046629802&page={}'

headers = {'Cookies':'Your cookies',

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6)

AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'}

第二步：找到html标签tags = re.compile('?\w+[^>]*>')

第三步：设置提取评论functiondef get_comment(url):

j = requests.get(url, headers=headers).json()

comment_data = j['data']['data']

for data in comment_data:

try:

第四步：利用正则表达式去除文本中的html标签comment = tags.sub('', data['text']) # 去掉html标签

reply = tags.sub('', data['reply_text'])

weibo_id = data['id']

reply_id = data['reply_id']

comments.append(comment)

comments.append(reply)

ids.append(weibo_id)

ids.append(reply_id)

第五步：爬取评论df = pd.DataFrame({'ID': ids, '评论': comments})

df = df.drop_duplicates()

df.to_csv(&#