01-App数据抓取

Python爬虫工程师-App数据抓取

Python爬虫工程师-App数据抓取

目标：

学会安卓模拟器环境搭建

学会抓包利器使用

学会自动化控制工具使用

学会利用python编写爬虫app数据

打造基于docker的多app端数据抓取系统

项目、公司、团队：

数据分析

用户画像

统计系统

商业竞争

自己：

1、技能提升：

• WEB系统数据抓取
• 掌握抓取app应用数据

2、面试必问：

• 如何抓取app应用数据？
• 抓取过那些项目？
• 抓包工具如何使用？
• …

App数据好抓吗？

1、简单

• app里的数据比web端更容易抓取，反爬虫也没那么强，大部分也都是http/https协议，返回的数据类型大多为json

2、困难

• （1、可能需要适当的反编译，分析出加密算法并抓取到信息
• （2、可能加固，需要脱壳，然后但编译，分析出加密算法并抓取到信息
• （3、需要破解通过各式各样的签名，证书，设备绑定等方法，找到隐藏的加密算法

爬虫工程师技术储备：

python爬虫开发经验

java开发基础

android开发基础

app逆向

app脱壳

破解加密算法

目的：

基于docker打造多任务抓取系统