曾经采集朋友圈难倒多少Python大佬,今天手把手教你如何实现!

本文介绍如何在Android平台上使用Appium抓取微信朋友圈动态,包括好友昵称、正文和发布日期,数据存储在MongoDB。通过模拟登录、无限拖动和日期处理,实现了App的自动化驱动和数据爬取。
摘要由CSDN通过智能技术生成

接下来,我们将实现微信朋友圈的爬取。

很多人学习python,不知道从何学起。

很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。

很多已经做案例的人,却不知道如何去学习更加高深的知识。

那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!

QQ群:101677771

如果直接用 Charles 或 mitmproxy 来监听微信朋友圈的接口数据,这是无法实现爬取的,因为数据都是被加密的。而 Appium 不同,Appium 作为一个自动化测试工具可以直接模拟 App 的操作并可以获取当前所见的内容。所以只要 App 显示了内容,我们就可以用 Appium 抓取下来。

1. 本节目标

本节我们以 Android 平台为例,实现抓取微信朋友圈的动态信息。动态信息包括好友昵称、正文、发布日期。其中发布日期还需要进行转换,如日期显示为 1 小时前,则时间转换为今天,最后动态信息保存到 MongoDB。

2. 准备工作

请确保 PC 已经安装好 Appium、Android 开发环境和 Python 版本的 Appium API。Android 手机安装好微信 App、PyMongo 库,安装 MongoDB 并运行其服务,安装方法可以参考第 1 章。

3. 初始化

首先新建一个 Moments 类,进行一些初始化配置,如下所示:

 

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

PLATFORM = 'Android'

DEVICE_NAME = 'MI_NOTE_Pro'

APP_PACKAGE = 'com.tencent.mm'

APP_ACTIVITY = '.ui.LauncherUI'

DRIVER_SERVER = 'http://localhost:4723/wd/hub'

TIMEOUT = 300

MONGO_URL = 'localhost'

MONGO_DB = 'moments'

MONGO_COLLECTION = 'moments'

 

class Moments():

    def __init__(self):

        """初始化"""

        # 驱动配置

        self.desired_caps = {

            'platformName': PLATFORM,

            'deviceName': DEVICE_NAME,

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值