【Python】公众号APP数据抓取及分析

最新推荐文章于 2024-10-09 17:23:38 发布

Carrie Geogre

最新推荐文章于 2024-10-09 17:23:38 发布

阅读量1.5k

点赞数

分类专栏：数据抓取文章标签：数据抓取

本文链接：https://blog.csdn.net/weixin_43356605/article/details/83756800

版权

文章结构：
1.项目背景；
2.数据抓取；
3.数据清洗及分析；
4.量化建议。

一、项目背景：

应朋友业务发展需求，抓取真实性较高的婚恋数据（已通过“身份证，学历，工作，房产，车辆及其他资产”等审核）。

同时，了解平台的用户画像及业务状况。

二、数据抓取：

环境：Python3.7

1.提取url：
(1)通过公众号网页后台和Chrome开发者工具，提取url参数。

a.打开Chrome浏览器，登录微信公众平台后台，依次点击:
新建群发（或素材管理）——图文信息——转载文章——超链接——查找公众号文章——输入ID——搜索目标并确认;
b.打开Chrome开发者工具，点击Network——all查看参数。

具体url参数，请详见下图：

在这里插入图片描述

2.数据抓取：

import requests
import time
lines=[ ]
url='https://mp.weixin.qq.com/cgi-bin/appmsg'  # 目标url
headers = {
    'Cookie':' ',
    'User-Agent':' '
}  # 使用Cookie，自动登录
token=''  # 网页的token会时常变化，因此建议直接用代码抓取
fakeid='' # 公众号的标识ID，不变
data