Python 爬虫学习入门（五）

爬取三国演义小说的所有章节标题和章节内容

需求

爬取三国演义小说的所有章节标题和章节内容，采用bs4方式进行数据解析。网站首页：诗词名句网

数据分析

采用bs4方式进行数据解析

bs4数据解析

bs4的常用方法以及相关环境安装和说明如下：

     - bs4数据解析
        - 数据解析的原理：
            1.标签定位
            2.提取标签、标签属性中存取的数据值
        - bs4数据解析的原理：
            1.实例化一个BeatifulSoup对象，并且将页面源码数据加载到该对象中
            2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取
        - 环境安装：
            pip install bs4
            pip install lxml
        - 如何实例化BeautifulSoup对象：
            from bs4 import BeautifulSoup
            对象实例化：
                1.将本地的html文档中的数据加载到该对象中
                    fp = open('./text.html','r',encoding='utf-8')
                    soup = BeautifulSoup(fp,'lxml')
                2.将互联网上获取的页面源码加载到该对象中
                    page_text = response.text
                    soup = BeautifulSoup(page_text,'lxml')
            提供的用于数据解析的方法和属性：
                1.soup.tagName  返回文档中第一次出现的tagName标签
                    soup.a 返回第一个a标签内容
                2.soup.find('div',class_='song') 返回class名为song的div标签
                3.soup.find_all('a') 返回所有的a标签
                4.soup.select('某种选择器(id,class,标签...选择器)')  返回的是一个列表
                    soup.select('.tang') 返回.tang的内容列表
                5.soup.select('层级选择器')
                    soup.select('.tang > ul > li > a')[0] 层级返回至a标签的第一个  >表示一个层级
                    soup.select('.tang > ul a')[0] 层级返回至a标签的第一个         空格表示多个层级
                6.获取标签之间的文本数据
                    soup.a.text  获取a标签下所有文本内容
                    soup.a.string  获取的是直系的文本内容
                    soup.a.get_text() 获取a标签下所有文本内容
                7.获取标签中的属性值
                    soup.a['herf'] 获取a标签中herf的属性的值

准备工作

分析得三国演义的标题和具体链接都在div_class名为book-mulu的li下。

点开某以章节后，得到具体的章节内容在div_class名为chapter_content下的p标签中

编码流程

• 对首页的页面数据进行爬取
• 实例化Beautifulsoup，需要将首页源码加载到该对象中
• 解析章节标题和详情页url
• 根据详情页url解析出详情页中相关章节内容
• 存入文件

代码

# 需求：爬取三国演义小说的所有章节标题和章节内容 网站首页：https://www.shicimingju.com/book/sanguoyanyi.html
import requests
from bs4 import BeautifulSoup

if __name__ == '__main__':
    url = 'https://www.shicimingju.com/book/sanguoyanyi.html'
    # UA伪装
    headers = {
        'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Safari/537.36'
    }
    #对首页的页面数据进行爬取
    page_text = requests.get(url=url,headers=headers).text
    #print(page_text)
    #在首页中解析出章节的标题和详情页的url
    #1.实例化Beautifulsoup，需要将页面源码加载到该对象中
    soup = BeautifulSoup(page_text,'lxml')
    #解析章节标题和详情页url
    li_list = soup.select('.book-mulu li')
    #print(li_list)
    fp = open('./sanguo.txt','w',encoding='utf-8')
    for li in li_list:
       title = li.a.string
       detail_url = 'https://www.shicimingju.com'+li.a['href']
       #对详情页发起请求，解析出章节内容
       detail_text = requests.get(url=detail_url,headers=headers).text
       #解析出详情页中相关章节内容
       detail_soup = BeautifulSoup(detail_text,'lxml')
       div_tag = detail_soup.find('div',class_='chapter_content')
       #解析到章节内容
       content = div_tag.text
       fp.write(title+':'+content+'\n')
       print(title,'获取成功！')

**