>Spider
之前提到一个完整的Spider应该有两部分功能:抓取网页数据+解析、提取数据。
>上一篇<利用python标准库中的“urllib+正则表达式”的方式提取了B站首页的部分数据,这一篇将利用上一篇介绍过的requests以及BeautifulSoup的方式进行另一个爬虫的实现。
>环境搭建
由于lxml远快与BeautifulSoup,加之后者似乎已经停更了,但由于BS相当盛行,有大量教程依赖于BS,所以就算lxml可以替代BeautifulSoup,但BeautifulSoup还是很有学习和使用的价值的。另外,BeautifulSoup也可以依赖于使用lxml作为引擎进行解析,所以此处一并安装lxml。
安装方法:
pip install b