7.15
爬虫的学习，大致分成三个步骤：
1、简单的定向爬虫，以request-bs4-re包为基础；
2、大型的框架式爬虫（scrapy）
3、浏览器模拟爬虫（selenium模拟）
今天学习的是request和bs4的包。
首先，我们有一段html源码，利用bs4中的BeautifulSoup进行“格式化”，从而形成一个“类”，
方便我们对其中的属性进行操作。
soup = BeautifulSoup(html,'html.parser')
比如我们要得要其中所有的文本信息，我们可以：
print(soup.get_text())
bs4包之所以能够抓取我们需要的元素，是因为它利用了解析器将html源码解析了一遍。
下面介绍bs4的解析器
官方推荐的是lxml解析器
下面使用lxml解析器来解析网页
soup_1 = BeautifulSoup(html_doc,'lxml') //上面使用的是html.parser解析器
使用方法是BeautifulSoup(html源码，’解析器类型‘）
利用print(soup_1.prettify())可以打印出该html的结构
bs4包将html源码转化成了一个树形结构，每一个节点都是python对象。
搜索文档树最简单的方法是搜索想要获取的Tag的Name，比如soup_1.head
我们会得到<head>元素
<head><title>The Dormouse's story</title></head>
如果要得到更深入的Tag，
print(soup_1.head.title) ##得到head元素中的title元素
想要获取所有的某一类标签
tag = soup_1.find_all('a') #使用了find_all方法，会得到一个数组
![]()
#得到第二个a标签元素tag的.contents属性可以将tag的子节点以列表的方式输出：
将tag元素下一级的html元素以数组的方式显示；
tag的.children生成器，对tag的子节点进行循环输出：
descendants是子孙节点：head的子节点是<title>The Dormouse's story</title>，
title的子节点是The Dormouse's story
节点暂时理解为包含在tag中的子tag
如何找到某个tag下的所有文本内容：
见下期
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
