上一篇,我们通过requests将豆瓣电影top250的网页内容都爬取下来了,但是爬取的是整个网页内容,我们需要对这些内容进行分析,只将我们需要的内容保存下来,不需要的就直接丢弃。
那在这呢,给大家介绍另外一个第三方库Beautiful Soup,这里是它的中文介绍:
https://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html
可以大概看一下它的介绍:Beautiful Soup 是用Python写的一个HTML/XML的解析器,它可以很好的处理不规范标记并生成剖析树(parse tree)。它提供简单又常用的导航(navigating),搜索以及修改剖析树的操作。它可以大大节省你的编程时间。
那在这呢,咱们大概分析一下我们怎么对页面进行分析截取。
1.BeautifulSoup是基于标签的,所以我们第一步要准确定位到我们需要信息所在的标签。
2 .从定位的标签中提取我们需要的信息(一般在属性或者在string中)
- 对于提取数据的简单处理
那我们照着上面的流程,对我们需要实现的程序进行分析
- 需要准确定位到我们需要信息的标签,在这里,如果能有UI自动化基础,那就会更好理解一些,我们将标题所在的css selector拷贝出来
#content > div > div.article > ol > li:nth-child(1) > div > div.info > div.hd > a > span:nth-child(1)