WCI指数相关数据半自动化统计

最新推荐文章于 2024-06-14 11:20:52 发布
最新推荐文章于 2024-06-14 11:20:52 发布
阅读量1k 收藏 25
点赞数 14
文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72582234/article/details/135774937
版权

前言

学校部门要求计算学校公众号的wci指数，而这首先需要获取公众号一段时间内消息的阅读量、点赞数、在看数、以及是否为头条。学校历年都是让学生人力去统计，我试着人力统计了一下，真是又费时又费力，于是尝试整一个爬虫用来获取这几个指标。

参考文章：爬取微信公众号发布的所有文章（包括阅读数，在看数，点赞数）_爬取微信公众号文章-CSDN博客

工具

微信无法像浏览器一样直接通过控制台查看网络通信，因此需要抓包软件，这里使用的是Fiddler,其他抓包软件，类似burpSuit，应该也可以

关键

本次抓包的关键在于：在哪里可以抓到包？

微信内容的展示分两处，如图

左边的是在微信内置浏览器中展示，而右边的是在微信app的框架中展示

其中，左边展示的内容是可以抓到包的，而右边不行（可能也只是我的技术没到）

因图1
此最主要的一点就是如何在左边（微信内置浏览器中）查看公众号的消息列表

如何获取在内置浏览器中打开公众号的消息列表

经过我的实验，所有公众号消息列表的url的格式为

https://mp.weixin.qq.com/mp/profile_ext?action=home&__biz=MzkwMTUxMzEwMw==&uin=&key=&devicetype=Windows+11+x64&version=6309062f&lang=zh_CN&a8scene=7&session_us=

而唯一的差异，在于链接中的参数__biz，只要获取每个公众号自身的__biz，然后根据该__biz重铸其链接，而__biz，只需在打开公众号的任意一篇文章，该文章都会在内置浏览器中打开，并且链接中附带其所属公众号的__biz
图2

根据此值重构链接，然后把链接发送给微信好友，就可以在内置浏览器中打开公众号的消息列表了

图3

然后就可以开始研究抓哪些包了

整理思路

通过fiddler抓取进入消息列表的包，并且通过上下滑动内容使得页面加载更多数据，借此推理出前端的逻辑，抓取到的包如下
图4
通过观察每个包中的内容，可以推理出：

“3”：第一次打开时的整个界面，包括网页框架以及公众号的前十条内容

“7”：作用不详，据其url中的action为“urlcheck”，猜测其是检测该url是否正确

“8”，“38”，“44”，“90”：json文件，其中部分包含文章信息，部分不包含

观察包含文章信息的json文件的url，发现样式比较统一，并且可以直接使用浏览器进行访问 @

图5

抓取多个公众号的多条消息，大致分析出url的如下信息

1.使用GET方法，链接为/mp/profile_ext

2.具有值的参数如下

名称值意义备注
actiongetmsg获取消息不变
__biz不固定公众号id更换公众号时改变
fjson编码格式不变
offset10偏移量可不变
count10接受消息数量可不变
is_ok1是否完成？不变
uin不固定账户凭证之一？更换账号后可能要改变
key不固定密匙更换公众号、重新登陆后都要重新设定
pass_ticket不固定账户凭证之一？更换公众号、重新登陆后都要重新设定
appmsg_token不固定账户凭证之一？更换公众号、重新登陆后都要重新设定
x50未知不变

根据以上信息，只需获取一个公众号消息的原始请求，就可以在配置后使用爬虫获取其所有的历史消息

接着分析这个json文件

图6

可以看到，消息相关的信息在该json文件的general_msg_list，且该general_msg_list为一个list，每一个元素对应一条消息，属性如图
图7

比较重要的有

属性名意义
content_url消息链接
title标题
datetime时间戳

以上是对于消息列表的处理，接下来是对单个消息的处理，

打开任意一篇公众号的文章，抓包，发现对于点赞、观看、在看数来源于/mp/getappmsgext的链接

图8

这个请求使用的是post方法，在url中的有意义参数有

名称值意义备注
fjson编码格式不变
uin不固定用户标识同之前
key不固定账户凭证之一同之前
pass_ticket不固定账户凭证之一同之前
wxtoken777位置固定
devicetypeWindows%26nbsp%3B11%26nbsp%3Bx64使用设备可固定
clientversion6309062f微信版本？可固定
__biz不固定公帐号凭证同之前
appmsg_token不固定账户凭证之一不固定

由于是post,所有除url的参数外，还需要注意param,参考文章爬取微信公众号发布的所有文章（包括阅读数，在看数，点赞数）_爬取微信公众号文章-CSDN博客中提到的请求设置方式，再加上相关的cookie和data

基于以上信息，就可以开始着手写爬虫了

代码编写

import requests
import json
import re
from openpyxl import Workbook
from datetime import datetime
import time

#结果保存在文件同目录下的result.xlsx
#------------------------以下为自定义配置部分---------------
# 时间间隔
starttime = "2023-1-1" #统计开始时间,年月日以-分割
endtime = "2024-1-1"   #统计结束时间，格式同上,置空时即视为程序执行时间

# 起始的偏移量，如未理解代码逻辑，则置0即可
offset = 0

#url配置，请将公众号抓到的包的链接复制于此处
#（请确保基础路径是https://mp.weixin.qq.com/mp/profile_ext）
# 此处的链接在浏览器直接打开的结果如图5
all_link = "https://mp.weixin.qq.com/mp/profile_ext?action=getmsg&__biz=MzkwMTUxMzEwMw==&f=json&offset=10&count=10&is_ok=1&scene=&uin=MTEyNOTI4N%3D%3D&key=72871c9ef4aa822373d071fa2aac825d375ec78c6c11ba412f14bbcb2533af3c8b7f6156ec356de127f71e88dd0b64c2af109cee96acefd0544e6aeb52bcb3d74df69647c26b0fcdf3091d3816d66a5f70b977da97c9a7aec5052af9a10d664dba18e9cc1a69c8d7cc4a00f26004bcbe7215c90ecf0ced786113b3b320277f1c&pass_ticket=4EIV4uG5foBxl%2Bm02hTwXzNCw2wJk%2BBqp%2Fi%2BAYopOIgLccQ%2FY52S9WZHwjQ9YThxlxLyDgD2Gs5AvWQJtxzb2g%3D%3D&wxtoken=&appmsg_token=1253_ldTkMaQxVEVucYqTFt6Iamcqsjr6pqOkukOsFg~~&x5=0&f=json"

#---------------若未理解程序代码逻辑,以下部分请勿修改-----------------
#通过all_link获取链接
def get_url(link):
    pattern = r'(.+?)&offset=(\d+)(.+)$'
    match = re.match(pattern,link)
    before = ""
    after = ""
    if match:
        before = match.group(1)
        before += "&offset="
        after = match.group(3)
    return before,after

def get_base_info(url):
    __biz = ""
    uni = ""
    key = ""
    pass_ticket = ""
    appmsg_token = ""
    # 定义正则表达式
    regex = re.compile(r'__biz=([^&]+).*?uin=([^&]+).*?key=([^&]+).*?pass_ticket=([^&]+).*?appmsg_token=([^&]+)')

    # 匹配正则表达式
    match = regex.search(url)

    # 提取参数值
    if match:
        __biz = match.group(1)
        uni = match.group(2)
        key = match.group(3)
        pass_ticket = match.group(4)
        appmsg_token = match.group(5)
    return __biz,uni,key,pass_ticket,appmsg_token

def get_passage_info(url):
    mid = ""
    idx = ""
    sn = ""
    # 定义正则表达式
    regex = re.compile(r'mid=(\d+).*?idx=(\d+).*?sn=([^&]+)')
    # 匹配正则表达式
    match = regex.search(url)
    # 提取参数值
    if match:
        mid = match.group(1)
        idx = match.group(2)
        sn = match.group(3)
    return mid,idx,sn

#TODO:测试变量
complete_num=0
def get_result(url,Cookies,params):
    #请求头
    headers = {
        "Cookie":Cookies,
        "User-Agent": "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 NetType/WIFI MicroMessenger/7.0.20.1781(0x6700143B) WindowsWechat(0x6309062f) XWEB/8519 Flue"
    }
    data = {
        "is_only_read": "1",
        "is_temp_url": "0",
        "appmsg_type": "9",
        'reward_uin_count': '0'
    }
    params["mid"],params["idx"],params["sn"]=get_passage_info(url)

    # post请求提交后，将返回的respone转为json
    url = "http://mp.weixin.qq.com/mp/getappmsgext"
    time.sleep(2) #请求频繁频率 2s：无频繁; 1s：34条后显示频繁;1.5: 35条后显示频繁；1.75s:37条后出现问题
    obj = requests.post(url, headers=headers, data=data, params=params).json()
    # print(obj)
    try_time=1 #用来防止死循环
    if not("appmsgstat" in obj) :
        print("进行"+str(complete_num)+"条后出现问题")
        while((not("appmsgstat" in obj))and try_time<10): #有时会请求频繁导致请求失败则需要先暂停一段时间
            print("发生错误，响应结果为:"+str(obj))
            print("进程将于20秒后尝试重新请求")
            time.sleep(20)
            print("第"+str(try_time)+"次尝试")
            obj = requests.post(url, headers=headers, data=data, params=params).json()
            try_time+=1
    if try_time==10:
        return "这一条请人工检测","这一条请人工检测","这一条请人工检测"
    # 获取到阅读数
    read_num = obj['appmsgstat']['read_num']
    # 获取到点赞数
    like_num = obj["appmsgstat"]["old_like_num"]
    # 获取到在看数
    reading_num = obj["appmsgstat"]["like_num"]
    return read_num,like_num,reading_num

if __name__ == '__main__':
    #构建url
    # url = baseurl + "&__biz=" + __biz + "&f=json&offset=" + offset + "&count=" + count + "&is_ok=1&scene=&uin=" + uni + "&key=" + key + "&pass_ticket" + pass_ticket + "&wxtoken=&appmsg_token=" + appmsg_token + "&x5=0&f=json"
    #url1+offset值+url2即为最终使用url
    __biz,uni,key,pass_ticket,appmsg_token=get_base_info(all_link)
    pre_url,aft_url = get_url(all_link)

    Cookies = "pgv_pvid=9348645722; wxuin=1127839285; lang=zh_CN; rewardsn=; wxtokenkey=777; devicetype=Windows11x64; version=6309062f; appmsg_token="+appmsg_token+"; pass_ticket="+ pass_ticket+"; wap_sid2=CLXs5ZkEEooBeV9ISEwtOXlldXJXMG9HMzhLdzQtLWxvQ3llSmJ4aTFpV0doTXl4VUZ6VklTd3RRNzk1aXh6ancySHc3VkRzVldsbWw2OVQzQ21NaDVzMW5oaEZnRFJNT2luSk10dGFqVU1ITVJQZFN2RTJhczZDVUttYmsxUTZWQTRFUXpndkhUMmdzTVNBQUF+MILUvK0GOA1AAQ=="
    params = {
        "__biz": __biz,
        "mid": "",
        "sn": "",
        "idx": "",
        "key": key,
        "pass_ticket": pass_ticket,
        "appmsg_token": appmsg_token,
        "uin": uni,
        "wxtoken": "777"
    }

    #构建时间戳
    start_time_stamp = int(datetime.strptime(starttime,"%Y-%m-%d").timestamp())
    if endtime :
        end_time_stamp = int(datetime.strptime(endtime,"%Y-%m-%d").timestamp())
    else :
        end_time_stamp = int(datetime.now().timestamp())

    # 创建Excel文件和工作表
    workbook = Workbook()
    worksheet = workbook.active

    # 添加表头
    worksheet.append(["offset","标题", "URL", "时间","是否为头条","阅读量","点赞数","在看数"])

    flag = True #是否继续循环
    # 发送GET请求
    while(flag):
        url = pre_url + str(offset) + aft_url
        print("正在进行的offset为"+str(offset))
        # print(data)
        time.sleep(1)
        response = requests.get(url)

        # 解析JSON响应
        data = response.json()
        if data.get("general_msg_list", "")=="":
            print("请求出现错误,可能是url错误或过期")
            print("目前offset为"+str(offset))
            flag = False
            break

        # 提取所需数据
        msg_list = json.loads(data.get("general_msg_list", ""))
        entries = msg_list.get("list", [])
        # 如果遍历完了该公众号所有的内容，那么其entries长度就为0
        if len(entries)==0:
            flag = False
            break

        # 遍历每个条目并写入Excel
        for entry in entries:
            app_msg_ext_info = entry.get("app_msg_ext_info", {})
            comm_msg_info = entry.get("comm_msg_info", {})

            title = app_msg_ext_info.get("title", "")
            content_url = app_msg_ext_info.get("content_url", "")
            datetime_str = comm_msg_info.get("datetime", "")

            # 将datetime字符串转换为datetime对象
            if datetime_str:
                datetime_obj = datetime.fromtimestamp(int(datetime_str))
                tempstamp =datetime_obj.timestamp()
                datetime_str = datetime_obj.strftime("%Y-%m-%d")
                if tempstamp>end_time_stamp:
                    print("文章的时间为:"+ datetime_str +",不在要求时间")
                    continue
                if tempstamp<start_time_stamp:
                    flag = False
                    break
                if content_url!="": #有时候出现一些为0的项，难以理解
                    read_num,like_num,reading_num = get_result(content_url,Cookies,params)
                    #添加当日头条
                    worksheet.append([offset,title,content_url,datetime_str,"是",read_num,like_num,reading_num])
                    complete_num+=1
                    workbook.save("result.xlsx")
                    print(title)
                print("时间: "+datetime_str)

                #添加非头条
                childs = app_msg_ext_info.get("multi_app_msg_item_list",[])
                for child in childs:
                    title = child.get("title","")
                    print(title)
                    content_url = child.get("content_url","")
                    read_num,like_num,reading_num = get_result(content_url,Cookies,params)
                    worksheet.append([offset,title,content_url,datetime_str,"否",read_num,like_num,reading_num])
                    complete_num+=1
                    workbook.save("result.xlsx")
        if offset == 10: #莫名其妙地，10后的下一个是21，而不是20
            offset +=11
        else:
            offset +=10
    workbook.save("result.xlsx")

结语

通过这个代码可以获得公众号指定时间内发送的所有消息的相关数据，由于wci指数的计算公式在不断更新换代，在此就没有融入，还请读者根据这些数据自行计算。

sunny candy
关注
  • 14
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
微信公众号中点击菜单直接打开手机浏览器是如何实现的
weixin_44496933的博客
01-11 3900
最近遇到一个需求、朋友找我制作一个在微信中的聊天框，或者公众号菜单发布一条链接或者二维码跳出微信打开一个指定的我们自己的页面， 拿到这个需求后我们团队分开去找资料研究方案，通过微信的开发文、腾讯的第三方开发文档我们都查阅过资料但是最终只找到一些历史性的资料也就是以前可以现在已经全部封闭了在网络上找到 很早之前一些前辈分享的遮挡 。我们加以改进。解决了这个问题。 具体操作 基于微信后端开发了一款微信...
WCI指数计算器1.0版
04-02
小小的计算器，用Python编的，打包成exe应用程序，请多指教。
获取微信公众号历史文章列表页链接
mr_lihuijie的博客
12-21 3091
快速获取微信公众号历史文章列表页面链接的方式
浏览器上查看微信公众号的所有历史文章
热门推荐
qq_23279427的博客
01-14 1万+
  微信公众号的历史文章一直不是特别好抓取，之前写了一篇文章是关于公众号文章的抓取的公众号文章的爬虫，现在已经过去一年多了，之前的方式还可以使用，但是效率不行，跟账号绑定的，容易封账号，要满足现在11万左右的公众号及时更新的需求根本不可能，于是更新了方案公众号历史文章https://www.vreadtech.com/，   1.首页（未登录状态） 标题 2.搜索公众号（绝大多数公众号...
用Python实现微信公众号WCI指数计算器
Aubrey_yt的博客
04-02 6096
今天弄公众号的时候， 想到了WCI指数， 计算公式复杂但是不难， 可以用Excel实现计算， 我想着可以用Python代码练习一下。 1、关于WCI 采用数据：总阅读数R、总点赞数Z、发布文章数N、该账号当期最高阅读数Rmax、该账号最高点赞数Zmax。 采用指标：总阅读数R、平均阅读数R/N，最高阅读数Rmax，总点赞数Z，平均阅读数Z/N，最高点赞数Zmax，点赞率Z/R。建立如下指标体系： ...
用Python实现微信公众号传播指数WCI_v13.0版计算
Aubrey_yt的博客
05-18 3289
之前在学习Python时编了一个实现计算WCI的程序： WCI计算 后来发现传播指数WCI的计算定义已经发生了变化， 现在用的是全新版本１３.０ 如下： 微信传播指数WCI（V13.0） WCI（V13.0）公式优化说明 1、指标拓展：指标更加丰富，从“整体传播力”、“篇均传播力”、“头条传播力”、“峰值传播力”四个维度进行评价，评价维度更全面。 2、算法优化：根据历史数据模型，优化指标权重，排...
利用Python计算清博指数WCI V14.2
NYRyn的博客
11-27 2337
或许大家在中国青年报公众号中有看到过这样一种榜 看到这个榜单之后，有过 WCI V14.2计算方法 下面放上我的代码，供大家参考。 import math # 总阅读数R print('请输入以下参数：') R = float(input('评估时间内所有文章总阅读数：')) # 所有文章n n = float(input('评估时间内所有文章数：')) # 所有文章n d = float(input('评估时间内所含天数：')) nt=float(input('评估时间内头条篇数：')) Z = f
Python数据可视化案例：分析微信公众号数据
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
09-25 2089
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 以下文章来源于云+社区，作者 算法与编程之美 转载地址 https://blog.csdn.net/fei347795790?t=1 1 前言 在日益发展的社会，人们每天都会产生大量的数据，很多工作中也常常涉及到对数据的处理。而众多的数据让人头昏眼花，所以需要对数据进行可视化。将数据转换为大脑更容易接受的图表形式。所以有了后来的excel表格，它在数据的可视化处理方面.
catalog.wci删除
weixin_34418883的博客
11-16 176
有些朋友的电脑中会有这么些文件: C:\FPSE_search\catalog.wci, C:\System Volume Information\catalog.wci, C:\Inetpub\catalog.wci X:\System Volume Information\catalog.wci, 时间久了,你会发现这几个文件会越来越大,占了你很...
wci13.0工具.xlsm
05-18
这个小工具是使用Excel来实现微信公众号传播指数ＷＣＩ１３.０的计算，操作快速简单高效，只需要按照表头输入相关参数，即可计算ＷＣＩ。
关于catalog.wci无法删除的问题
10-15
关于catalog.wci无法删除的问题,时间久了,你会发现这几个文件会越来越大,占了你很大的空间,那么这些可以删掉么!答案是可以的!
WCI-Walks：由WCI CS俱乐部维护的Walkathon Web应用程序
02-09
这包括他们在不同日期走的距离，是否在排行榜上，个人统计数据等。他们还可以输入每天走的距离并查看其他用户的进度。 基本信息显示在主页上。 这包括排行榜，对前一天以及过去一天中行走最多的人进行排名。运行这...
WCI220Windows Vista 的管理新特性
03-04
Windows Resource Protection防止系统的重要文件被破坏。防止重要系统文件和注册表文件被用户或者软件修改只有OS Trusted Installer Service 能够改变被WRP保护的资源一旦文件被修改，系统将自动修复。...
每日一题——Python实现PAT乙级1042 字符统计（举一反三+思想解读+逐步优化）
weixin_44915521的博客
06-09 1086
这些编程思想和哲学理念在编写高效、健壮的代码时至关重要。通过理解和应用这些原则，我们不仅能够写出性能更好的代码，还能在不同情况下做出更加明智的设计决策。通过理解和应用这些哲学和编程思想，可以在不同场景中灵活运用，写出更加高效、健壮和灵活的代码。评估需求：根据实际需求选择最合适的数据结构和算法。避免冗余：尽量避免不必要的重复计算和操作。权衡利弊：在空间和时间之间找到最佳平衡点。灵活应变：根据输入数据的特性，灵活使用动态数据结构和提前决策策略。
基于JavaScript 如何实现爬山算法以及优化方案
乐闻世界
06-10 1293
爬山算法（Hill Climbing Algorithm）是一种常见的启发式搜索算法，常用于解决优化问题。其核心思想是从一个初始状态出发，通过逐步选择使目标函数值增大的邻近状态来寻找最优解。接下来，我们将通过 JavaScript 实现一个简单的爬山算法，帮助大家理解其原理和应用。从一个初始状态开始。评估当前状态的目标函数值。在当前状态的邻居中选择一个目标函数值更大的状态。如果找到了更优的邻居，则移动到该邻居并重复步骤2和步骤3。如果没有更优的邻居，则算法结束，当前状态即为局部最优解。
2024.6.13刷题记录
lshx4658的博客
06-14 356
当时没有想到怎么保证队内全都是窗口内的元素，答案：“当队头元素在窗口的左边的时候，弹出队头”，虽然不能保证队内一直没有窗口外的元素，但是能保证使用到的队内元素（队头）全是窗口内元素。当时是有想到这个方法的，但是以为不行，一下没转过来弯。队列储存索引而不是元素，通过储存索引使我们能够快速判断元素是否出窗口。不会，思路来自题解（
Java——简单图书管理系统
m0_74100417的博客
06-09 1404
数据类型变量iffor数组方法类和对象封装继承多态抽象类和接口今天就是把上述知识点全部都用起来 图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理
人脸识别系统---人脸对比
最新发布
2303_77278243的博客
06-14 411
def select_image(): #定义选择图片的函数#指明label_var不是一个局部变量也不是全局变量，而是外部函数s1的参数。这样，select_image函数就可以修改s1函数的参数#弹出选择文件的对话框，以及被选择文件的类型file_path = filedialog.askopenfilename(title="选择图片",filetypes=(("图片文件", "*.png;*.jpg;*.jpeg;*.bmp"),("所有文件", "*.*")))#如果选择了文件。
WCI4 4根线的含义
06-08
WCI4是一种WiFi和蓝牙共存的技术，它使用了4根线来实现WiFi和蓝牙的共存。具体来说，这4根线分别是： 1. WiFi通信线：用于传输WiFi数据的信号。 2. 蓝牙通信线：用于传输蓝牙数据的信号。 3. 共同的天线：用于同时接收WiFi和蓝牙信号。 4. 共同的地线：用于WiFi和蓝牙信号的接地。 这种4线共存的方案可以在不影响通信质量的情况下，使设备同时支持WiFi和蓝牙功能。通过使用共同的天线，可以减少设备的尺寸和成本，同时可以提高信号接收的灵敏度和性能。同时，通过使用共同的地线，可以减少信号的干扰和噪声，从而提高通信质量和稳定性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值