Python网络爬虫，Appuim+夜神模拟器爬取得到APP课程数据

一、背景介绍

随着生产力和经济社会的发展，温饱问题基本解决，人们开始追求更高层次的精神文明，开始愿意为知识和内容付费。从2016年开始，内容付费渐渐成为时尚。 罗辑思维创始人罗振宇全力打造“得到APP”就是这样一款优质的可以听音频、学通识课程、看电子书、看直播、记笔记的知识付费平台，得到汇聚罗振宇、薛兆丰、梁宁、万维钢、吴军、香帅、宁向东等各个领域的专家学者的精品课程，致力于服务所有终身学习者。

也许你会感到奇怪，得到就是这样一款只有APP而没有网页版的产品，所以传统的网页爬取对于爬取得到数据只能是望洋兴叹了。本文用于爬取得到APP的课程数据，包括课程名称、作者、单价、学习人数等数据，可作为一个爬取APP数据的demo进行分享。

很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。

很多已经做案例的人，却不知道如何去学习更加高深的知识。

那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！

QQ群：127341871

 

二、APP爬取思路和方案选择

2.1 思路一

通过抓包软件对APP进行抓包分析， 这种方式可以看到 App 在运行过程中发生的所有请求和响应。得知接口之后可以通过设置合适的请求头和各种参数来发送HTTP或者HTTPS请求接口，接口返回的数据就是想要数据了。

这种方式一旦实现，基本上算是一劳永逸的，除非接口和返回数据定义发生变化。但是如果一些动态参数设置不对，访问接口则不能得到任何数据，换句话说，只要无法破解参数，这条路就是死路一条。

2.2 思路二

通过自动化测试工具模拟手工操作APP进行数据的爬取。通过向自动化测试工具（例如Appium）发送操作指令，驱动设备完成点击、输入、滑动等各种操作，分析页面数据完成数据爬取。

这种方式相比于方式一而言，并不会受限于请求头和动态参数，只要是人工可以操作的，自动化测试工具都可以帮助我们进行完成，而所有的APP的所有功能所有页面用户都可以进行操作，意味着APP内所有的数据都可以拿到。

2.3 方案选择