Beautiful Soup4的简单使用

Beautiful Soup是一个Python库

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.

如果想使用当然需要先安装Beautiful Soup

命令：pip install beautifulsoup4

我用的是4.x的版本

其他的慢慢补充

本次的内容是实现抓取小说网页上的文字

小说：巨鼠翻天

下面是小说的内容

查看网页的源代码

文章内容主要是在 p 标签内，所以直接提取 p 标签中的内容

from bs4 import BeautifulSoup
from urllib import request

# 小说网址
# https://read.qidian.com/chapter/xFIXBnhuHptH9vdK3C5yvw2/wNLKJlQpTaK2uJcMpdsVgA2

if __name__ == "__main__":
    response = request.urlopen("https://read.qidian.com/chapter/xFIXBnhuHptH9vdK3C5yvw2/wNLKJlQpTaK2uJcMpdsVgA2")
    html = response.read()
    html = html.decode("utf-8")

    html_doc2 = html.encode('utf-8')
    soup = BeautifulSoup(html_doc2, 'html.parser')
    for link in soup.find_all('p'):
        print(link.get_text())

ok，提取成功。