#移动端爬虫介绍
1.移动端爬虫的思路,怎么爬取APP里面的内容:
a.手机和电脑要通信,依靠 fiddler(相当于建立一个数据中转站);
b.访问网页的方式进行数据爬取;
很多人学习python,不知道从何学起。
很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。
很多已经做案例的人,却不知道如何去学习更加高深的知识。
那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!
QQ群:961562169
2.fiddler及手机需要配置的东西:
a.下载并安装fiddler,电脑与手机在 同一网络下 ;
b.电脑端配置见下图:cmd->ipconfig可获得ip地址,用于后面手机端的配置:
c.手机端配置(抖音及快手抓取的时候会有反扒,配置完成后如果你想抓取他的网站,他会禁止你的网络,解决办法只能是电脑端下载手机模拟器,可以解决反爬:可能过一阵子又优化了):
#1.设置网络代理: 主机名: 电脑ip地址,不固定,随网络变化而变化;端口是fidder端口: 可修改(根据手机不同设置方式可能有区别,但记住只要这两个改了,就问题不大);
#2.手机下载证书(开放爬取权限): 浏览器输入网址:http://ip地址:端口号,手机浏览器打不开,电脑下载然后手动传到手机即可;
3.爬虫实例:今日头条动漫词条图片爬取scrapy:
目录: