Python爬虫
文章平均质量分 68
-DiamondK-
热爱即意义
展开
-
Python爬虫 | 爬取json数据 实现酷我音乐下载
酷我音乐爬虫网页分析代码实现1.导入需要的包2.建立主函数3.获取用户输入的歌曲网址4.获取歌名、歌手4.获取音频url5.下载音频6.主函数润色7.最终代码网页分析我们以“热爱105度的你”这首歌为例,先想办法把这首歌背后播放的音频找出来右键检查,刷新页面开始抓包,在network菜单下找到XHR分类,该分类下大部分都是json格式的数据,我们要找的音频url很可能就藏在这些json数据中最终可以在json数据包中找到包含mp3后缀的url,我们打开看一下是不是该歌曲的音频文件我们输入ur原创 2021-07-30 21:03:59 · 4271 阅读 · 5 评论 -
Python爬虫 | iframe内嵌框架?视频内嵌?所见非所得?用selenium搞定!
最近在写爬虫时发现了一个好东西——selenium。与常规的爬虫库不同的是,这个库可以模仿用户打开浏览器进行操作,而不是直接向url发出请求。很明显,这个库的缺点就是慢,但它却可以解决一些对于普通爬虫库来说很棘手的问题比如我这两天在写一些爬取网易云音乐、抖音视频的程序。我发现这两个网站都有一个特点,就是你右键检查时所看到的dom语法树都不是你真正发送请求时所获取的语法树网易云音乐这个网站是搭建了一个iframe框架,即在大框架内还有小框架,而按照平常的操作流程,我们爬虫程序发送请求后只能获取到大框原创 2021-07-31 16:56:33 · 1449 阅读 · 1 评论