Python爬虫之抖音视频批量提取术

欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！

对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tstoutiao，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。

作者：  张小鸡  Python爱好者社区专栏作者

知乎ID：https://www.zhihu.com/people/mr.ji

个人公众号：鸡仔说 

假期正好有空闲时间，终于可以整理自己的笔记啦。整理到抖音视频的时候，就好麻烦，每次都要先把视频导出到本地，再给微信的文件管理助手，再下载传到印象笔记，一来二去浪费不少时间，想想这事不正好适合爬虫去干吗？于是就有了以下这篇内容

工具环境

语言：Python3.6

编辑器：Pycharm

数据库：MongoDB

工具：Charles

前言：

在使用Charles，你需要做一些基础的配置，将你的手机的网络代理到本地电脑，以便做进一步的抓包分析，以下两篇文章可能对你有所帮助

Charles 从入门到精通

https://www.jianshu.com/p/a3f005628d07

移动应用抓包调试利器Charles

https://www.jianshu.com/p/68684780c1b0

爬取思路

爬取站点：https://www.douyin.com/

这里的爬取思路非常简单，以至于我会觉得这篇文章会有些空洞。当你抓包正确配置好环境后，打开抖音软件，做一些简单的操作，Charles就会给你返回如下的数据，这些数据其实就是服务端给你返回的数据，里面包含所有我们需要的信息。比如我们今天要下载的自己点击过的，喜欢的视频链接等

你操作软件时，看一下Charles中每条数据的变化情况，你会发现，你个人主页下面的链跟videos、feed和likes和这三条数据有关，每一次你做相应的操作，下面就会多出一些请求链接