第四周——爬虫入门 Day5 7.22

学习时间：9:00——11:00            16:00——18:00

bs4是python语言中独有的，不像正则可以在python，也可以在其它的语言中运用，在运用的时候需要的环境除了bs4在之还需要lxml。

bs4数据解析原理：

1. 实例化一个BeautifulSoup对象，并且将页面源代码数据加载到该对象中。
2. 通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取

如何实例化BeautifulSoup对象：

from bs4 import BeautifulSoup

1:将本地的html文档中的数据加载到该对象中

fp = open('./test.html','r',encoding='utf-8')

soup = BeautifulSoup(fp,'lxml')

2：将互联网上获取的页面源码加载到该对象中

page_text = response.text

soup = BeautifulSoup(page_text,'lxml')

提供的用于数据解析的方法和属性：

1. soup.find('tagName') = soup.tagName：返回的是文档中第一次出现的tagName标签（这里的tagName是一个参数，意为标签的名字，例如soup.a意思是返回第一个出现的a标签的内容)
2. 根据属性去针对标签进行选择 。soup.find（'div',class_='song'）。意思是找到属性为song的div标签。class要加下划线是因为如果不加下划线的话就不是一个参数名称，而是一个关键字了。
3. find_all：找到符合条件的所有标签。soup.find_all('a'），返回的就是所有的a标签，相比于find，不再只输出第一个了。
4. select：参数当中可以放置一些选择器，返回的是一个列表。select('某种选择器（id，class，标签...）')。层级选择器：也可以通过索引的形式进行返回，例如select（'.tang > ul > li > a'）[0]，同时这里面的>是表示也层级，空格时表示多个层级。

可以看到最后输出的内容弄个大多都套在标签当中。

获取标签之间的文本数据

1. soup.a.text/string/get_text()
2. text/get_text():可以获取某一个标签中所有的文本内容
3. string：只可以获取该标签下面直系的文本内容

获取标签中属性的值

1. 直接写属性名称。eg：soup.a['href']

bs4项目实践——爬取三国演义所有章节的标题与内容

import requests
from bs4 import BeautifulSoup
url = 'https://www.shicimingju.com/book/sanguoyanyi.html'
header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.41 Safari/537.36 Edg/101.0.1210.32'}
page_text = requests.get(url,headers=header).content
soup = BeautifulSoup(page_text,'lxml')
li_list = soup.select('.book-mulu > ul > li')
fp = open('./sanguo.txt','w',encoding='utf-8')
for li in li_list:
    title = li.a.string
    detail_url = 'http://www.shicimingju.com'+li.a['href']
    detial_page_taxt = requests.get(url=detail_url,headers=header).content
    detial_soup = BeautifulSoup(detial_page_taxt,'lxml')
    div_tag = detial_soup.find('div',class_ = 'chapter_content')
    content = div_tag.text
    fp.write(title+':'+content+'\n')
    print(title,'爬取成功！')