这篇博客介绍了如何使用requests和BeautifulSoup来抓取网易云音乐的歌单数据。首先，文章提到了lxml与BeautifulSoup的比较，尽管lxml更快，但由于BeautifulSoup的广泛使用，仍然有其学习价值。然后，通过分析网页结构，作者揭示了直接抓取歌单URL无效的原因，并指导如何模拟浏览器请求获取有效数据。最后，展示了使用requests和BeautifulSoup的简洁代码示例。
>Spider
之前提到一个完整的Spider应该有两部分功能：抓取网页数据+解析、提取数据。
>上一篇<利用python标准库中的“urllib+正则表达式”的方式提取了B站首页的部分数据，这一篇将利用上一篇介绍过的requests以及BeautifulSoup的方式进行另一个爬虫的实现。
>环境搭建
由于lxml远快与BeautifulSoup，加之后者似乎已经停更了，但由于BS相当盛行，有大量教程依赖于BS，所以就算lxml可以替代BeautifulSoup，但BeautifulSoup还是很有学习和使用的价值的。另外，BeautifulSoup也可以依赖于使用lxml作为引擎进行解析，所以此处一并安装lxml。
安装方法：
pip install b
最低0.47元/天 解锁文章
2054
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
