python爬取微博评论

最新推荐文章于 2024-05-21 15:39:16 发布
最新推荐文章于 2024-05-21 15:39:16 发布
阅读量159 收藏
点赞数 2
文章标签： python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41901089/article/details/138709878
版权

直接cv可用，具体登录没做，需要自己复制token到代码中。
这里首先搜索关键字，然后获取所有搜索出的用户，并获取所有用户下的评论。

import requests
import pandas as pd
from retrying import retry

df=pd.DataFrame(columns=["评论时间",'用户主页','第一条微博'])

keyword='美妆博主'
# keyword=input('请输入关键词：\n')
# need_page=int(input('请输入需要爬取的页数：\n'))
need_page=2
# cookie=input('请输入cookie：\n')
wait_tiime=3  #等待时间
retry_time=3 #重试次数


totla_count=0
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:124.0) Gecko/20100101 Firefox/124.0",
    "Accept": "application/json, text/plain, */*",
    "Accept-Language": "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2",
    "Accept-Encoding": "gzip, deflate, br",
    "Referer": "https://m.weibo.cn/search?containerid=100103type%3D1%26q%3D%E7%BE%8E%E5%A6%86%E5%8D%9A%E4%B8%BB",
    "X-Requested-With": "XMLHttpRequest",
    "MWeibo-Pwa": "1",
    "X-XSRF-TOKEN": "5a892a",
    "Sec-Fetch-Dest": "empty",
    "Sec-Fetch-Mode": "cors",
    "Sec-Fetch-Site": "same-origin",
    "Connection": "keep-alive",
    'Cookie': 'SINAGLOBAL=6563893439405.94.1660570802061; ULV=1712841158625:23:1:1:8893962698404.082.1712841158625:1708182769914; UOR=,,cn.bing.com; login_sid_t=6e01672ae1e55c60e10ce087039052bf; cross_origin_proto=SSL; _s_tentry=-; Apache=8893962698404.082.1712841158625; ALF=1715433175; SUB=_2A25LE5GHDeRhGeBJ6lcV8yrIwz-IHXVoUKtPrDV8PUJbkNB-LWHMkW1NRk_GU0_vPwzQDxoFWKtGaoYWksRRvwGT; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9WFzAPTmlKnvDNKwZEKFzmg75JpX5KzhUgL.FoqNeK-Xe0BX1he2dJLoI7HSSsSEe5tt',
    # 'Cookie': cookie,

}
cookies = {
    # "__bid_n": "18577bed0f17a38cc84207",
    # "FEID": "v10-9c49e416195bef3c56a332640aa1034f0ce925f6",
    # "__xaf_fpstarttimer__": "1672751272214",
    # "__xaf_thstime__": "1672751272292",
    # "FPTOKEN": "TWz+AoUOLbjxVkzAcaXmWeWRjg1Cpj7nMtnqSuL0qvW4sV1SqRpbcpSdpuWOZabQnrBw/S+h/6W97xd9yAPQe8/ntWBXqbjwa5Cf8TbylfxfhiBVwT9PIoRWvJShQshdp/tEQtOGg8/NU0/XOwJLkSXzrllYeJnYZ9Ppk6VAUEjBAXH8C8gPBsZwkvIQBNvftDDOA6Tzj/DnY7XTOq83EK/Gvgp5sYhJ9oFaFbykBL/6Ch0q+yID03T4fInC9tLd1OaYcef0iLZXKY+CQ4xZNNzoSjfXyRo00D/VWVAg19iJs8GXl+LwhU3GGXiZUPC8oCntdrOzsq6DNWgH0shHnMYtWG186JHhH/k+9Iuczh+kCEcurvvQts7qAny8jp1yEN6CWkotYJH1huZxytiL/Q==|8+E3gOZcAmOVpi7ea3QlJRSsJ0ULjhsUFmB065iQigw=|10|c0eed64372a5fbfc54cb9fc06908830f",
    # "__xaf_fptokentimer__": "1672751272345",
    # "SCF": "Aub0wSTSBdAh-qetZ_dbidtgpyDMR-T5-QTqgdtUpTxLs551Br27cdCAjAuQv5_ayfHZFGirz3ZPLm_jy3PjmgA.",
    # "_T_WM": "28503866524",
    # "WEIBOCN_FROM": "1110006030",
    # "MLOGIN": "1",
    # "SUB": "_2A25LE5GHDeRhGeBJ6lcV8yrIwz-IHXVoUKtPrDV6PUJbktANLXf8kW1NRk_GUxCZ9TTX7crWIRvqKmYZTrKtpIe2",
    # "SUBP": "0033WrSXqPxfM725Ws9jqgMF55529P9D9WFzAPTmlKnvDNKwZEKFzmg75JpX5KzhUgL.FoqNeK-Xe0BX1he2dJLoI7HSSsSEe5tt",
    # "SSOLoginState": "1712841175",
    # "ALF": "1715433175",
    # "XSRF-TOKEN": "5a892a",
    # "M_WEIBOCN_PARAMS": "uicode%3D10000011%26fid%3D100103type%253D3%2526q%253D%25E7%25BE%258E%25E5%25A6%2586%25E5%258D%259A%25E4%25B8%25BB%2526t%253D"
}



@retry(stop_max_attempt_number=retry_time)
def main(weibo_id):
    global totla_count
    global df
    url = "https://weibo.com/ajax/statuses/buildComments"
    params = {
        "is_reload": "1",
        "id": weibo_id,
        "is_show_bulletin": "2",
        "is_mix": "0",
        "count": "20",
        "type": "feed",
        "uid": user_id,
        "fetch_level": "0",
        "locale": "zh-CN"
    }
    response = requests.get(url, headers=headers, cookies=cookies, params=params,timeout=wait_tiime)
    comment_data = response.json()
    for comment in comment_data['data']:
        need_user_id = comment['user']['id']
        weibo_user_url = f"https://weibo.com/u/{need_user_id}"
        time = comment['created_at']
        url = "https://m.weibo.cn/api/container/getIndex"
        params = {
            "type": "uid",
            "value": need_user_id,
            # "containerid": "1076035881204733"
            # "since_id":weibo_json['data']['cardlistInfo']['since_id']
        }
        response = requests.get(url, headers=headers, cookies=cookies, params=params,timeout=wait_tiime)
        need_containerid_data = response.json()

        url = "https://m.weibo.cn/api/container/getIndex"
        params = {
            "type": "uid",
            "value": need_user_id,
            "containerid": need_containerid_data['data']['tabsInfo']['tabs'][1]['containerid']
            # "since_id":weibo_json['data']['cardlistInfo']['since_id']
        }
        response = requests.get(url, headers=headers, cookies=cookies, params=params,timeout=wait_tiime)
        need_weibo_json = response.json()

        for wwweibo in need_weibo_json['data']['cards']:
            if need_weibo_json['data']['cards'][0]['card_type'] == 9:
                need_weibo_url = f"https://weibo.com/{need_user_id}/{wwweibo['mblog']['id']}"
                totla_count += 1
                print({"评论时间": time, '用户主页': weibo_user_url, '第一条微博': need_weibo_url},
                      f'目前条数{totla_count}')
                df = df._append({"评论时间": time, '用户主页': weibo_user_url, '第一条微博': need_weibo_url},
                                ignore_index=True)
                break
        # print()
    while True:
        url = "https://weibo.com/ajax/statuses/buildComments"
        params['max_id'] = comment_data['max_id']
        response = requests.get(url, headers=headers, cookies=cookies, params=params,timeout=wait_tiime)
        comment_data = response.json()
        if comment_data['ok']:
            for comment in comment_data['data']:
                need_user_id = comment['user']['id']
                weibo_user_url = f"https://weibo.com/u/{need_user_id}"
                time = comment['created_at']
                url = "https://m.weibo.cn/api/container/getIndex"
                params = {
                    "type": "uid",
                    "value": need_user_id,
                    # "containerid": "1076035881204733"
                    # "since_id":weibo_json['data']['cardlistInfo']['since_id']
                }
                response = requests.get(url, headers=headers, cookies=cookies, params=params,timeout=wait_tiime)
                need_containerid_data = response.json()

                url = "https://m.weibo.cn/api/container/getIndex"
                params = {
                    "type": "uid",
                    "value": need_user_id,
                    "containerid": need_containerid_data['data']['tabsInfo']['tabs'][1]['containerid']
                    # "since_id":weibo_json['data']['cardlistInfo']['since_id']
                }
                response = requests.get(url, headers=headers, cookies=cookies, params=params,timeout=wait_tiime)
                need_weibo_json = response.json()
                for wwweibo in need_weibo_json['data']['cards']:
                    if need_weibo_json['data']['cards'][0]['card_type'] == 9:
                        need_weibo_url = f"https://weibo.com/{need_user_id}/{wwweibo['mblog']['id']}"
                        totla_count += 1
                        print({"评论时间": time, '用户主页': weibo_user_url,
                               '第一条微博': need_weibo_url}, f'目前条数{totla_count}')
                        df = df._append({"评论时间": time, '用户主页': weibo_user_url,
                                         '第一条微博': need_weibo_url}, ignore_index=True)
                        break
        else:
            break
        if len(comment_data['data']) == 0:
            break
        # print(response.text)
    # dataframe去重
    df = df.drop_duplicates()
    df['评论时间'] = pd.to_datetime(df['评论时间']).apply(lambda x: x.replace(tzinfo=None))
    df['评论时间'] -= pd.Timedelta(hours=8)  # .tz_localize(None)
    df.to_excel(f'{keyword}.xlsx', index=False)


for page in range(1,need_page+1):
    url = "https://m.weibo.cn/api/container/getIndex"
    print(f'=================page{page}===============================================')
    params = {
        "containerid": f"100103type=3&q={keyword}&t=",
        "page_type": "searchall",
        "page": page
    }
    response = requests.get(url, headers=headers, cookies=cookies, params=params)
    page_data=response.json()
    for card in page_data['data']['cards']:
        if card['card_type']==11:
            for user in card['card_group']:
                user_id=user['user']['id']
                print(f'============================={user_id}===================================')
                weibos=[]

                url = "https://m.weibo.cn/api/container/getIndex"
                params = {
                    "type": "uid",
                    "value": user_id,
                    # "containerid": "1076035881204733"
                    # "since_id":weibo_json['data']['cardlistInfo']['since_id']
                }
                response = requests.get(url, headers=headers, cookies=cookies, params=params)
                containerid_data = response.json()

                url = "https://m.weibo.cn/api/container/getIndex"
                params = {
                    "type": "uid",
                    "value": user_id,
                    "containerid": containerid_data['data']['tabsInfo']['tabs'][1]['containerid']
                    # "since_id":weibo_json['data']['cardlistInfo']['since_id']
                }
                response = requests.get(url, headers=headers, cookies=cookies, params=params)
                weibo_json=response.json()
                weibos+=weibo_json['data']['cards']
                if 'since_id' in weibo_json['data']['cardlistInfo']:
                    params = {
                        "type": "uid",
                        "value": user_id,
                        "containerid": containerid_data['data']['tabsInfo']['tabs'][1]['containerid'],
                        "since_id": weibo_json['data']['cardlistInfo']['since_id']
                    }
                    response = requests.get(url, headers=headers, cookies=cookies, params=params)
                    weibo_json = response.json()
                    weibos += weibo_json['data']['cards']
                else:
                    pass
                if len(weibos)>=17:
                    all_weibos=weibos[2:18]

                else:
                    all_weibos=weibos[2:]

                for weibo in all_weibos:
                    # try:
                    weibo_id=weibo['mblog']['id']

                    main(weibo_id)
                    # except Exception as e:
                    #     print(e)
            break
            # print(response)
幽夜莫知途
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
python爬虫实例评论_python爬取微博评论的实例讲解
weixin_34138673的博客
02-21 3384
python爬虫是程序员们一定会掌握的知识，练习python爬虫时，很多人会选择爬取微博练手。python爬虫微博根据微博存在于不同媒介上，所爬取的难度有差异，无论是python新入手的小白，还是已经熟练掌握的程序员，可以拿来练手。本文介绍python爬取微博评论的代码实例。一、爬虫微博与QQ空间爬虫类似，可以爬取新浪微博用户的个人信息、微博信息、粉丝、关注和评论等。爬虫抓取微博的速度可以达到 1...
python爬取微博评论_python爬虫抓取新浪微博数据
weixin_39684052的博客
11-20 274
需求分析微博主页抓取的内容包括：微博发布的时间，正文(仅提取文字)，转发数，评论数，点赞数抓取的内容数据是怎么加载的新浪微博的数据是用ajax异步下拉加载的，在chrome的调试模式下可捕捉到相应的请求：xhr请求分析这些url的规律：https://m.weibo.cn/api/container/getIndex?type=uid&value=1665372775&containerid=10...
Python爬虫—爬取微博评论数据
白帽阿叁的博客
12-09 6339
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。：电脑访问手机端微博_https://m.weibo.cn/_
吃瓜群众：Python爬取微博评论区
Trb701012的博客
02-23 655
网页地址：https://weibo.com/2871868031/MEhZwrDay步骤：1.进入微博首页，搜索相关内容，进入评论区，在此页面右键，点击“检查”2.点击“网络”，然后刷新页面，搜索评论”如小斯赛前说的“，找到评论所在的真实网址。
python爬取微博评论点赞数_爬取新浪微博评论及点赞数并存储为excel的.csv格式
weixin_31493023的博客
02-10 3199
1、获取cookie，先进入微博页面登陆微博，如进入https://m.weibo.cn/status/4173028302302955后登陆，再使用chrome的F12可方便地获取自己的cookie，获取Cookie所需的选择项如下图所示，往下拉会看到自己的Cookie。 2、写爬虫，代码如下，可以爬取诸如用户名 评论时间 点赞数 评论内容等等，保存为.py文件。本文参考了一些博客，但由于时间问...
python爬取微博关键词搜索博文
03-17
python爬取微博关键词搜索博文，只需要修改cookie和url参数
python爬取微博视频
03-20
可以自行输入想要爬取的博主的用户名，下载主页的视频，可以自行输入想要爬取的博主的用户名，下载主页的视频
Python爬取微博评论代码
04-26
给定微博id和爬取评论数量，爬取对应微博的评论，便于下一步的分词和词频统计
python爬取微博网页数据
01-21
提供代码框架，读者们稍作修改就可以用了，本文爬取的是某舆情热门事件的发文ID、点赞数、转发数、评论量
python学习-使用pandas库分析excel表，并导出所需的表
SixSix的自留地
05-16 390
使用pandas库分析excel表中多个子表的数据
使用Python操作excel单元格——在单元格中插入公式
xll_007的博客
05-16 597
使用Python操作excel单元格——在单元格中插入公式。 通过使用Python的openpyxl库，来操作excel单元格，在单元格中插入公式的操作。把学习的过程分享给大家。大佬勿喷！
python数据分析numpy基础之intersect1d求数组交集
sinat_34735632的博客
05-19 333
python的numpy库的intersect1d(x,y)函数，计算x和y的公共元素，并返回去重后的有序结果。相当于求两个数组中的交集，并且进行去重和排序。numpy.intersect1()查找两个数组的公共元素，并且返回去重后的有序结果。ar1，ar2：必选，列表、元组、数组；如果是多维则自动转一维数组；assume_unique：可选，bool，默认False，若为True则可以加快计算素材，此时ar1和ar2需为元素唯一的数组，否则结果不会去重；
python 图论最短路径
weixin_42490599的博客
05-16 284
在图论中，有许多算法可以用来求解最短路径问题，其中最著名的算法之一是Dijkstra算法。Dijkstra算法用于求解从一个顶点到其他所有顶点的最短路径，它适用于有向无环图（DAG）或无负权边的图。在上面的示例中，dijkstra函数接受一个图（以字典形式表示）和一个起始节点作为参数，然后使用Dijkstra算法来计算从起始节点到其他所有节点的最短距离。最终返回一个包含最短距离的字典。
geopandas快速入门报错1
weixin_45213317的博客
05-19 293
报错：CRSError: Invalid projection: EPSG:4326: (Internal Proj Error: proj_create: no database context specified)解决方法：重新下载适合自己Python版本的pyproj安装。
Gradio 案例——将 dicom 文件转为 nii文件
蒋含竹的博客
05-15 496
Gradio 的WEB界面案例：利用 SimpleITK 库，将 dicom 文件转为 nii文件
Python常用标准库模块及查询方法
最新发布
par@ish的博客
05-21 841
也可以通过python官网查看各个版本自带的标准模块及用法：https://docs.python.org/3.11/library/index.html。Python 自带了许多标准库（模块），这些模块在安装Python时就已经包含在内，无需额外安装即可使用。这只是Python标准库中的一部分模块，实际上Python的标准库非常丰富，覆盖了网络编程、文本处理、数据压缩、GUI编程等多个领域。
python EEL + vue3.js 简单示例
bigcarp的专栏
05-15 269
eel官方示例中暴露的js函数是全局函数，vue中的自定义函数作用域通常都是组件范围内。要让eel.js调用，需要将其升为全局可用。一般方法有 app.config.globalProperties 或 mixin等。
Python求n以内最大的k个素数c
youyouxiong的博客
05-16 221
请注意，这个实现在n很大时可能效率不是很高，因为它需要从n开始递减检查每个数。对于更高效的实现，可以考虑使用埃拉托斯特尼筛法（Sieve of Eratosthenes）先找出n以内的所有素数，然后从列表末尾取最大的k个素数。在Python中，要求一个数n以内最大的k个素数，可以通过编写一个函数来实现。这个函数将首先生成一个素数列表，然后从该列表中选择最大的k个素数。函数用于找出n以内最大的k个素数。它通过从n开始递减检查每个数，并将素数添加到列表中，直到列表长度达到k。函数用于判断一个数是否为素数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值