1 整体概述
1.1 编写目的
本文主要用于描述微信采集过程中,各流程节点的解决方案。详细介绍了采集架构、手机号购买注意事项、微信注册注意事项、微信号养号注意事项、公众号采集方式,以及采集过程中遇到的问题等。
1.2 整体架构
微信数据采集主要分为四个阶段:
一、采集准备阶段:手机、手机号、XPosed插件、手机支架、HUB集线器、智能插座等;
二、公众号处理阶段:公众号收集、公众号添加、公众号管理等;
三、文章采集阶段:文章链接URL获取、解析、正文分布式采集等;
四、数据存储阶段:文章URL数据、文章正文数据等。
大致框架如下图1-1所示:
2 资源准备
微信采集主要需要手机和手机号,但由于需要大批量采集,手机的统一管理尤为重要。所以,同时需要手机支架、HUB集线器及智能插座等辅助设备,同时需要一个6.5~7.8平方米的空间。下面是对