爬虫爬取公众号内容

*不涉及具体代码

具体步骤

1. 获取移动端内容列表
   

• AVD模拟器(Discarded)
  
  经过实际尝试，算力占用过多，不予考虑。
• adb USB debug
  adb调试 + appium server + python appium-client 控制脚本点击/滑动获取所有内容列表、发送移动端页面访问请求。

2. 移动端流量请求劫持
   调查发现，所有移动端访问公众号内容发起的流量请求跟实际内容URI均保持统一格式：
   
   

如上图可知，移动设备统一向mp.weixin.qq.com/mp/geticon发送api获取公众号内容，经过尝试发现，

实际上内容的URL实际为移动端发送请求的请求头中的Referer的value。因此，以请求劫持的方式获取爬虫目标URL。

original-request可以通过emulator进行触发，但是劫持请求包，既要保证移动设备能够获得公众号内容保证emulator无异常持续运行，

又要保证能自动化将大量请求中的Referer值提取出来由python爬虫解析程序提取数据。

• tcpdump / wireshark流量分析
• Fiddler http(s)数据包抓取（采用）
  

Ⅰ 将Fiddler