某音app评论爬虫如何实现——charles配置和mitmprxoy的安装

临近毕业，需要做毕业设计，冥思苦想以后决定做一个对某音的评论爬取和分析。都是因为没接触过手机app的爬虫，所以也是现学现卖。

这里强烈安利崔庆才的《网络爬虫开发实战》吃透这本书，应该可以胜任绝大多数的爬虫项目需求。

整个app的爬取流程：选择合适的抓包软件——找到所需的接口url——分析response——编写脚本——OVER！

选择一个合适的抓包软件

比较主流的抓包软件有：最常用的fiddler、轻量高效的charles、适合python小子的mitmproxy、适合js老哥的anyproxy。

抓包工具的下载和安装

fiddler和charles的官网下载地址：
https://www.telerik.com/download/fiddler
https://www.charlesproxy.com/

因为我是用python来写爬虫的，所以没了解过anyproxy的安装。mitmproxy的安装及其容易，windows用户直接在终端上pip install mitmproxy 就可以了。当然具体用法和安装推荐看以下博客：
windows安装mitmproxy教程
ios安装mitmproxy教程

抓包工具的使用

刚开始的时候我使用的fiddler，但是由于fiddler抓抖音的评论会出现乱码。

因此选择使用Charles和mitmproxy。个人也建议用charles抓包工