一、简介
爬取网页的流程一般如下:
- 选着要爬的网址(url)
- 使用 python 登录上这个网址(urlopen、requests 等)
- 读取网页信息(read() 出来)
- 将读取的信息放入 BeautifulSoup
- 使用 BeautifulSoup 选取 tag 信息等
可以看到,页面的获取其实不难,难的是数据的筛选,即如何获取到自己想要的数据。本文就带大家学习下 BeautifulSoup 的使用。
BeautifulSoup官方文档:http://beautifulsoup.readthedocs.io/zh_CN/v4.4.0
二、安装
具体的执行命令可参照上图。
待更…