一、bs4进行数据解析
1、数据解析的原理
① 标签定位。
② 提取标签、标签属性中存储的数据值。
2、bs4数据解析的原理
① 实例化一个BeautifulSoup对象,并且将网页源码数据加载到该对象中。
② 通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取。
注:bs4是Python独有的,其它语言没有。
二、bs4库和lxml库的安装
因为BeautifulSoup对象是存在bs4库中的。而lxml是一个解析器,在bs4进行数据解析的时候需要lxml,当我们用bs4和xpath进行数据解析时都需要这个解析器。
1、bs4:
① bs4是什么:
它的作用是能够快速方便简单的提取网页中指定的内容,给我一个网页字符串,然后使用它的接口将网页字符串生成一个对象,然后通过这个对象的方法来提取数据
② 安装环境:
pip install bs4
2、lxml:
① lxml是什么:
lxml是一个解析器,也是以后的的xpath要用到的库,bs4将网页字符串生成对象的时候需要用到解析器,就用lxml,或者使用官方自带的解析器 html.parser
② 安装环境:
pip install lxml
三、BeautifulSoup对象
1、导入包:
from bs4 import BeautifulSoup
2、对象的实例化:
① 将本地的html文档中的数据加载到该对象中
基本写法:
fp = open('一个本地的html文件','r',endcoding='utf-8')
soup = BeautifulSoup(fp,'lxml')
详细的表述:
from bs4 import BeautifulSoup
if __name__ == '__main__':
# 将本地的html文档中的数据加载到该对象中
# ./wenjian.heml:是该目录下的一个html文件,也可以是其它本地的html文件,改个路径就行
fp = open('./wenjian.html','r',endcoding='utf-8')
soup = BeautifulSoup(fp,'lxml')
print(soup)
② 将互联网上获取的页面源码加载到该对象中
基本写法:
page_text = requests.text
soup = BeautifulSoup(page_text,'lxml')
详细的表述:
from bs4 import BeautifulSoup
import requests
if __name__ == '__main__':
# 将互联网上获取的页面源码加载到该对象中
url = '一个网址'
header = {
'User-Agent':'一个User-Agent'
}
page_text = requests.get(url=url,headers=header).text
soup = BeautifulSoup(page_text,'lxml')
print(soup)
我们通常使用第二种方法实例化化BeautifulSoup对象,第一种需要将网页上的信息存储到本地文件中,再进行实例化。而第二种可以之间实例化,方便许多。
3、BeautifulSoup的方法和属性
方法 | 描述 | 实例 |
---|---|---|
.tagName | 返回html第一次出现的tagName对应的标签 | soup.div,返回第一次出现div标签对应的数据 |
find(‘tagName’) | 等价于soup.tagName,返回html第一次出现的tagName对应的标签 | soup.find(‘div’),等价于soup.tagName,返回第一次出现div标签对应的数据 |
find(‘tagName’,属性名) | 属性定位:返回属性所对应的tagName标签对应的数据,返回符合要求的第一个,只返回一个 | soup.find(‘div’,class_=‘song’),返回class='song’对应的div标签对应的数据,class是关键字,所以要用class_ |
find_all(‘tagName’) | 返回符合要求的所有标签(列表) | soup.find_all(‘div’),返回所有有div标签的数据 |
select(‘某种选择器,可以是id、class、标签…选择器’) | 返回一个列表 | soup.select(‘class’),返回class选择器的数据,一个列表 |
select(‘a > b > c’) / select(‘a > b c’) | 层级选择器,>表示一个层级,空格表示多个层级。返回一个列表 | soup.select(‘a > b > c’) / soup.select(‘a > b c’) |
获取标签之间的文本数据:
soup.tagName.text / string / get_text()
text / get_text() : 可以获取某一个标签中的所有文本内容
string : 只可以获取该标签下面直系的文本内容
获取标签中属性值:
soup.tagName['属性名']
如:soup.a.['href']
注:tagName 为标签名
四、项目实例
需求:
爬取《三国演义》小说所有的章节标题和章节内容,并将标题和内容存储到 txt 文件中。
网址:https://www.shicimingju.com/book/sanguoyanyi.html
思路:
首先我们打开管理员选项,选中某一刻标题查看右侧框。然后读取每个标题的数据。在首页中解析出章节标题和详情页url。然后实例化BeautifulSoup对象,需要将页面源码数据加载到该对象中。
soup = BeautifulSoup(page_text,'lxml')
li_list = soup.select('.book-mulu > ul > li')
可以用BeautifulSoup的select方法解析对象,这样就读取到了标题信息,同时页得到了详情页的网址信息。
打开某一个标题,再次点开管理员选项查看右侧框,发现可以用BeautifulSoup的find方法,解析出详情页章节内容。根据从首页读取到的详情页的网址信息,来读取详情页的信息。然后再实例化BeautifulSoup对象,然后用find方法解析对象,然后将文章内容保存下来。
detail_url = 'https://www.shicimingju.com' + li.a['href'] # 每一章节的链接(详情页链接)
# 对详情页发出请求,解析内容
detail_page_taxt = requests.get(url=detail_url,headers=header).text # 详情页
# 解析出详情页章节内容
detail_soup = BeautifulSoup(detail_page_taxt,'lxml') # 详情页soup
detail_content = detail_soup.find('div',class_='chapter_content')
# 文章内容
content = detail_content.text
代码实现:
from bs4 import BeautifulSoup
import requests
if __name__ == '__main__':
url = 'https://www.shicimingju.com/book/sanguoyanyi.html'
header = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4209.2 Safari/537.36'
}
page_text = requests.get(url=url,headers=header).text # 首页响应数据
# 在首页中解析出章节标题和详情页url
# 实例化BeautifulSoup对象,需要将页面源码数据加载到该对象中
soup = BeautifulSoup(page_text,'lxml')
li_list = soup.select('.book-mulu > ul > li')
# 定义文件
fp = open('./sanguoyanyi.txt','w',endcoding='utf-8')
for li in li_list:
title = li.a.string # 章节的标题
# 打印标题
# print(title)
detail_url = 'https://www.shicimingju.com' + li.a['href'] # 每一章节的链接(详情页链接)
# 对详情页发出请求,解析内容
detail_page_taxt = requests.get(url=detail_url,headers=header).text # 详情页响应数据
# 解析出详情页章节内容
detail_soup = BeautifulSoup(detail_page_taxt,'lxml') # 详情页soup
detail_content = detail_soup.find('div',class_='chapter_content')
# 文章内容
content = detail_content.text
# 打印文章
# print(content)
fp.write(title + '\n' + content + '\n')
print(title + '爬取成功!!!')