爬取抖音品牌热DOU榜数据

---

抖音是当前很火的一款短视频分享软件，我身边就有很多人是严重的抖音迷，抖音带来的流量是巨大的，那么抖音运营也自然地应运而生了。抖音上有多种排行榜，有明星榜，热点榜呀还有好物榜，还有品牌热DOU榜反映了多种品牌在抖音上的热度，这些排行榜的数据爬取方法大同小异，本文就针对品牌热DOU榜的【‘汽车’,‘手机’,‘美妆’,‘奢侈品’,‘食品饮料’,‘家用电器’,‘服装鞋帽’】几十个周期的数据进行爬取：

---

品牌热DOU榜介绍： 抖音方面表示，品牌热DOU榜是基于抖音指数为品牌打造的榜单，旨在反映品牌在抖音上的传播声量，让品牌随时了解自身在抖音的热度影响力，以及大众对于品牌的敏感度，为品牌建立长效的品牌营销认知。目前，榜单涵盖汽车、美妆和手机，食品饮料、服饰、奢侈品、家电等多个行业。

不扯了~
进入正题
主要过程：这里使用fiddler抓抖音app的包，然后对关键字进行搜索，找到相关url，对url进行分析，找出每个分类和周期的url，然后就可以撸代码了。爬取抖音排行榜的数据比较简单，因为爬取过程没有什么反爬手段，每个分类几十个周期的数据量大约是1200-1650条，所以总共大约有一万条数据吧，数据量不多，很快就抓取完毕，存储在为7个excel表格当中。

第一步：fiddler抓包和分析

fiddler的安装和配置网上教程很多，这里就不赘述了~
首先打开fiddler和抖音app，抖音的‘品牌热DOU榜介绍’在这里跟我来：

接下来看fiddler，ctrf+F搜索在上图中汽车类‘路虎’，在fiddler中找到了一条url,

查看网页内容，证实了这条url就是汽车第56期排行榜：

接下来再继续分析其它周期的url，发现除了最新一期的url不同之外，其它url都是仅仅start_date不同（我这里就懒得搞了，舍弃最新一期的排行），那所有的start_date可能就藏在某个链接中，接下来在fiddler中查找日期start_date，果然找到了一个当中包含所有start_date的url：
https://api3-normal-