不知道什么时候开始,中国出现了南抖音、北快手的互文格局。喜欢抖音主要是两个初衷,学做菜听音乐。
抖音捧红了很多人,也让很多本不怎么让大家熟知的歌曲、BGM,经过翻唱、混剪与视频搭配,从而传播大街小巷。有没有想过将这些好听的剪辑批量下载下来呢?
Python 链接抖音
python下载抖音内容的帖子网上有一些,但都比较麻烦,需要通过adb连接安卓手机后,模拟操作。我这么懒,这种事儿玩不来…那么,该如何获取抖音内容呢?网上搜了下大概有两种方式,一个是浏览器插件快抖,另外一个是我今天要说的抖音网页版。其实这两者差别不是很大,都是先将抖音内容下载至服务器后,通过开发简单网站配置域名后,让大家访问。让我们来看看抖音网页版:
爬虫实现分析
热歌榜内容
大家先开看看这个抖音热歌榜歌曲,每页20首歌曲,一个55页。但细不细心大家都能发现,很多歌曲存在重复的问题。所以,等下爬虫的时候,我们需要先准备一个music_list,用来识别这首歌曲是否已经下载过了…
网页解析
网页比较简单,一个div中包裹了一个ul>li*20,我们是不是该这样获取:
soup.find('div',{
"class":"pull-left"}).find('ul').findAll('a')
如果你说是,那么一定没有好好看我前天整理的文章通过哪吒豆瓣影评,带你分析python爬虫快速入门:https://www.jianshu.com/p/ae38f7607902,我在文章中专门提到了一个小技巧,通过使用attr的属性进行快速解析,那么最快速的获取方式是:
soup.findAll('a', attrs={
'onclick': True})
我们只需要获取所有的a标签,切这些标签中包含onclick这个属性即可。
巧用eval
我们解析到的内容通过attr[‘onclick’],可以得到他的属性open1(‘夜’,'http://p9-dy.byteimg.com/obj/61a20007a98954b0831d),如何能快速获取歌曲名字和url呢?这里我们需要用到一个eval的小技巧:
index = "open1('夜','http://p9-dy.byteimg.com/obj/61a20007a98954b0831d','')"
index[5:]
"('夜','http://p9-dy.byteimg.com/obj/61a20007a98954b0831d','')"
index_tuple = eval(index[5:</