Python 数据获取（四）—— BeautifulSoup获取小说内容

一、 BeautifulSoup（bs4）简介

1. 安装

要使用bs4，首先需要安装对应的包             

pip install beautifulsoup4

2. 核心思想

       本质是通过html中的标签、或者标签中的属性定位到其中的内容。这个过程可以重复多次，例如你可以找到一个较大范围的唯一标签，再在其中定位想要的内容。因此，它比正则表达式要容易上手得多，你只需要找对应标签即可。

3. 用法简介

• 导入bs4包
• 将页面源码（参数1）交给bs4处理，得到bs4对象。参数2声明源码格式，以便bs4解析
• 从bs4中查找数据，只有find和find_all两种方法：

• find(标签,属性=值)   找到第一个符合的就停下，返回bs对象
• find_all(标签,属性=值)  找所有符合的，返回列表
• 因为find返回的是bs对象，所以可以继续对其调用find直到找到为止。而find_all返回的是列表，一般只有最后一层才会用到它，然后通过列表取数据。

属性的几种写法：

       由于html部分标签属性的关键字跟python关键字是一样的（例如class），直接写这些属性名会报python语法错误，因此bs4的属性有两种写法可以避免这个问题。

• 非关键字写法：table = page.find("table",title="xxxx")
• 关键字写法（加下划线）：table = page.find("table",class_="hq_table")  注意如果不是python关键字则不要加下划线，否则是匹配不到的，例如title_="xxxx"不行。
• attrs参数：table = page.find("table",attrs={"class_":"hq_table"})

二、 bs4获取小说内容

       前面我们通过正则表达式拿到了一部小说的所有url，这里我们要做的就是读取并循环请求这些url，然后用bs4匹配其中的小说文本内容。

       随便打开一章，查看源码，看看文本内容在哪个标签里 我在仙宗当神兽[穿书] 网络小说 - 第 142 章 一个大美人142 - 归德读书网

       这里很幸运的是div id="articlecon"这个属性是唯一的，所以我们很方便就可以获取到这块内容。但是注意里面并不全是文本，还有很多<p></p>标签需要处理（后来发现这里p标签都是唯一的，但是这个例子太特殊，我们还是用div的标签学习bs4用法）。

       先拿一个链接，试着匹配div id="articlecon"部分内容

       接下来的内容全在p标签里，因此要用find_all全部匹配出来。这里注意它有两层p标签，所以还要先find一次p标签。

       find_all返回一个列表，里面每个元素是p标签和其中的内容，如果只想要其中的内容，需要再调用getText函数。如果想要标签中的属性，则用 列表.get("href")。

例如 <a href=www.baidu.com>百度</a>

• 如果想要 www.baidu.com，写法是 content.get("href")
• 如果想要 百度 两个字，写法是 content.getText()
• 

循环取出其中的内容，来看一下区别

直接输出：

使用getText方法

成功~~ 接下来把循环加上，就能输出所有章节内容了

再来我们把输出存到txt文件中，小说下载就大功告成了~

代码如下

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time  : 2022-06-13 22:26
# @Author: Hehuyi_In
# @File  : get_book_content.py

import requests
from bs4 import BeautifulSoup

def get_book_url(conf_file):
    f = open(conf_file)
    url_list = f.read().splitlines()
    f.close()
    return url_list


def get_book_content(url_list,book_name):
    f = open(book_name, 'a', encoding='utf-8')
    for url in url_list:
        print(url)
        resp = requests.get(url)

        # ① 将页面源码（参数1）交给bs4处理，得到bs4对象；参数2说明传入的是html，使用html.parser解析
        bs4 = BeautifulSoup(resp.text,"html.parser")

        # ② 定位 <div id="articlecon" 部分，标签（参数1）是div，属性（参数2）是id="articlecon"
        # 如之前所说，属性可以有多种写法：
        # 非关键字写法：
        total_contant = bs4.find("div",id="articlecon")
        # print(total_contant)
        # 关键字写法，这里我们用 class="articlecon"（因为id不是python关键字，所以这里如果写id_是找不到的）
        # total_contant = bs4.find("div", class_="articlecon")
        # attrs参数写法，这里注意要写成字典格式
        # total_contant = bs4.find("div", attrs={"id":"articlecon"})

        # ③ 小说内容全在p标签里，因此要用find_all全部匹配出来。这里注意它有两层p标签，所以还要先find一次p标签。
        # 第一层<p>标签
        p_contant = total_contant.find("p")
        # 第二层<p>标签
        contant_list = p_contant.find_all("p")
        for contant in contant_list:
            f.writelines(contant.getText()+'\n')
    f.close()

if __name__ == '__main__':
    conf_file = "url_list.txt"
    book_name = "我在仙宗当神兽.txt"
    url_list = get_book_url(conf_file)
    get_book_content(url_list,book_name)

补两个视频中的截图，暂时还没测这两个例子。一个抓表格数据，一个抓图片。

笔记-抓取表格数据

图片抓取：进主页，抓子页面高清图片

参考：B站视频 P28-P32

2021年最新Python爬虫教程+实战项目案例（最新录制）_哔哩哔哩_bilibili