bs4解析概述及利用bs4爬取三国演义相关章节及内容

最新推荐文章于 2022-05-24 21:09:42 发布

kangaroo萧筱

最新推荐文章于 2022-05-24 21:09:42 发布

阅读量279

点赞数

分类专栏： python 文章标签：爬虫 python

本文链接：https://blog.csdn.net/qq_46193581/article/details/120203452

版权

python 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

该博客介绍了如何使用BeautifulSoup库进行网页数据解析，包括标签定位、数据提取等基本操作。示例中展示了爬取‘三国演义’小说网站的章节标题和内容，通过选择器和方法定位章节列表，然后对每个详情页进行二次请求，抓取章节内容并保存到文件中。

摘要由CSDN通过智能技术生成

bs4解析具体使用讲解

bs4进行数据解析
    -数据解析的原理:
        -1.标签定位
        -2.提取标签、标签属性中存储的数据值
    - bs4数据解析的原理:
        -1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中
        -2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取
    -环境安装:
        - pip install bs4
        - pip install lxml
    -如何实例化BeautifulSoup对象;
        -from bs4 import BeautifulSoup
        -对象的实例化:
            -1.将本地的html文档中的数据加载到该对象中
                    fp =open( './test.html','r' ,encoding='utf-8')
                    soup =BeautifulSoup(fp,'lxml')
            -2.将互联网上获取的页面源码加载到该对象中
                    page text =response.text
                    soup-BeautifulSoup(page_text, 'lxml ')
        -提供的用于数据解析的方法和属性:
            -soup.tagName:返回的是文档中第一次出现的tagName对应的标签
            -soup.find():
                -find('tagName'):等同于soup.div
                -属性定位:
                    -soup.find('div',class_/id/attr='song")
            - soup.find_all( 'tagName '):返回符合要求的所有标签(列表)
        - select:
            - select('某种选择器(id,class，标签...选择器)'),返回的是一个列表。
            -层级选择器:
                - soup.select( '.tang > ul > li> a');>表示的是一个层级
                - soup.select( '.tang > ul a'):空格表示的多个层级
        -获取标签之间的文本数据:
                - soup.a.text/string/get_text()
                - text/get_text():可以获取某一个标签中所有的文本内容
                - string:只可以获取该标签下面直系的文本内容
        -获取标签中属性值:
                - soup.a['href']

下面是爬取三国演义章节及内容，网站为http://sanguo.5000yan.com/

import requests
from bs4 import BeautifulSoup

# 爬取三国演义小说所有章节标题和章节内容
if __name__ == '__main__':
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 '
                      'Safari/537.36 Core/1.70.3877.400 QQBrowser/10.8.4506.400 '
    }
    url = 'http://sanguo.5000yan.com/'
    page_text = requests.get(url=url, headers=headers).content
    # 在首页中解析出章节的标题和详情页的url
    # 1实例化BeautifulSoup对象，需要将页面源码数据加载到该对象中
    soup = BeautifulSoup(page_text, 'lxml')
    # 解析章节标题和详情页的url
    li_list = soup.select('.sidamingzhu-list-mulu > ul >li')
    fp = open('./三国.txt', 'w', encoding='utf-8')
    for li in li_list:
        title = li.a.string
        detail_url = li.a['href']
        # 对详情页发起请求，解析出章节内容
        detail_page_text = requests.get(url=detail_url, headers=headers).content
        # 解析出详情页中相关章节内容
        detail_soup = BeautifulSoup(detail_page_text, 'lxml')
        div_tag = detail_soup.find('div', class_='grap')
        # 解析到了章节的内容
        content = div_tag.text
        fp.write(title + ':' + content + '\n')
        print(title, '爬取成功！！！')