爬虫_app 1.1 导学

目录

一、课程学习目标

二、app 数据抓取及知识储备 

三、本次专栏学习使用技术

四、 本次课程没有涉及知识点

五、课程设计

六、示例：

七、基于docker打造多任务抓取系统架构图

 八、特点

---

一、课程学习目标

二、app 数据抓取及知识储备 

三、本次专栏学习使用技术

四、 本次课程没有涉及知识点

五、课程设计

1、模拟器安装：夜神模拟器、genymotion模拟器
2、三款抓包工具的安装和使用：fiddler、mitmproxy、Packet Capture
3、自动化控制app应用：appium
4、docker的安装和简单使用方法

六、示例：

1、豆果美食
    （1）使用抓包工具分析请求接口和响应数据
    （2）使用python多线程进行数据抓取
    （3）
2、抖音
    （1）使用appium 抓取抖音的评论、关注数、作品数等
    
3、多任务数据抓取
    （1）抓取抖音、快手、今日头条

七、基于docker打造多任务抓取系统架构图

 八、特点

目录