网络爬虫数据解析——BS4解析库

最新推荐文章于 2024-02-29 10:51:14 发布
最新推荐文章于 2024-02-29 10:51:14 发布
阅读量697 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/C_teacher/article/details/105728772
版权

文章目录

简介

Beautiful Soup就是Python的一个HTML或XML的解析库，可以用它来方便地从网页中提取数据。Beautiful Soup在解析时实际上依赖解析器， 可以选择的解析器如下表所示：
常用前两种
在这里插入图片描述

基本用法

from bs4 import BeautifulSoup
#BeaufulSoup对象的初始化, 并指定html解析器是lxml
soup = BeautifulSoup(html, ‘lxml’)
#把要解析的字符串以标准的缩进格式输出
soup.prettify()

BeautifulSoup选择器

节点选择器

直接调用节点的名称就可以选择节点元素，再调用string属性就可以得到节点内的文本了，这种选择方式速度非常快。如果单个节点结构层次非常清晰，可以选用这种方式来解析。
在这里插入图片描述

text = """
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<table class="table table1" id="userinfo">
    <tr>
        <td>姓名</td>
        <td>年龄</td>
    </tr>
    <tr>
        <td>张三</td>
        <td>10</td>
    </tr>
    <tr>
        <td>李四</td>
        <td>20</td>
    </tr>
</table>
<div>
    <img src="download_images" title="image" alt="image alt">
</div>
</body>
</html>
"""
from bs4 import BeautifulSoup

html = text
soup = BeautifulSoup(html,'lxml')

# string = soup.prettify()
# print(string)
# 节点选择器
# 1、元素选择：只返回html里面查询符和条件的第一个标签内容
# print(soup.title)
# print(soup.img)
# print(soup.td)
# 2、嵌套选择器
# print(soup.html.head.title)
# print(soup.body.table.td)  # 也是只返回找到的第一个

# 3、属性选择
# 获取标签名称：当爬虫的过程中，标签对象赋值给一个变量传递函数时，想要获取变量对应的标签，name属性就很有用
# print(soup.img.name)
# print(soup.img.title)
# movieimg = soup.img
# print(movieimg.name)

# 获取标签属性
# print(soup.table.attrs) # 返回标签所有属性信息{'class': ['table'], 'id': 'userinfo'}
# print(soup.table.attrs['class']) # 获取class属性对应的值
# print(soup.table['class']) # 获取class属性对应的值

# 获取文本内容
# print(soup.title.string)
# print(soup.title.get_text())

# 关联选择 父节点和祖父节点
# first_tr_tags = soup.table.tr
# # print(first_tr_tags.parents)
# parents = first_tr_tags.parents
# for parent in parents:
#     print('**************************')
#     print(parent)

# 孙节点和子孙节点
# table_tag = soup.table
# for child in table_tag.children:
#     if child:
#         print('**************************************')
#         print(child)

# 兄弟节点
tr_tag = soup.table.tr
print(tr_tag.next_siblings)
for bro in tr_tag.next_siblings:
    print(bro)

方法选择器

节点选择器速度非常快，但面对复杂的选择不够灵活。Beautiful Soup提供的查询方法，比如find_all()和find()等实现灵活查询。

  • find_all方法，查询所有符合条件的元素。
    • find_all(name , attrs , recursive , text , **kwargs)
    • soup.find_all(name=‘ul’)， soup.find_all(attrs={‘id’: ‘list-1’})， soup.find_all(class_=‘element’)， soup.find_all(text=re.compile(‘link’))
  • find()方法，返回第一个匹配的元素
    在这里插入图片描述
"""
File:17_BS4方法选择器.py
Author:Tcyw
Date:2020-04-15
Connect:741047561@qq.com
Description:

"""
import re

from bs4 import BeautifulSoup

html = """
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<table class="table" id="userinfo">
    <tr class="item-1">
        <td>姓名</td>
        <td>年龄</td>
    </tr>
    <tr class="item-2">
        <td>张三</td>
        <td>10</td>
    </tr>
    <tr class="item-3">
        <td>李四</td>
        <td>20</td>
    </tr>
</table>
<div>
    <img src="download_images" title="image" alt="image alt">
</div>
</body>
</html>
"""
soup = BeautifulSoup(html,'lxml')

# 友好的显示
# string = soup.prettify()
# print(string)

# 使用方法选择器灵活的查找标签元素
# 1、根据表签名进行查找
# print(soup.find_all('tr'))
# print('**************************************')
# print(soup.find('tr'))

# 2、根据表签名和属性信息进行查找
# print(soup.find_all('table',attrs={'class':'table','id':'userinfo'}))
# print(soup.find('table',attrs={'class':'table','id':'userinfo'}))
# print(soup.find('table',attrs={'class':'table','id':'userinfo'},recursive=False)) # 默认是递归查找，设置为False就是不递归

# print(soup.find_all('table',id='userinfo'))
# print(soup.find_all('table',class_='table'))

# *********规则可以和正则表达式结合
# print(soup.find_all('tr',class_=re.compile('item-\d+')))
# print(soup.find_all('tr',class_=re.compile('item-\d+'),limit=2))
print(soup.find_all('td',text=re.compile('\d{1,2}')))

CSS选择器

"""
File:18_BS4css选择器.py
Author:Tcyw
Date:2020-04-15
Connect:741047561@qq.com
Description:

"""
import re

from bs4 import BeautifulSoup

html = """
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<table class="table" id="userinfo">
    <tr class="item-1">
        <td>姓名</td>
        <td>年龄</td>
    </tr>
    <tr class="item-2">
        <td>张三</td>
        <td>10</td>
    </tr>
    <tr class="item-3">
        <td>李四</td>
        <td>20</td>
    </tr>
</table>
<div>
    <img src="download_images" title="image" alt="image alt">
</div>
</body>
</html>
"""
soup = BeautifulSoup(html,'lxml')

# css选择器
print(soup.select('.item-3'))
#
print(soup.select('#userinfo'))

print(soup.select('table tr td'))

项目案例：基于requests和bs4的三国演义定向爬虫

项目介绍：
应用requests库和BeautifulSoup来采集三国演义名著每章节的内容
项目分析：
1、根据网址http://www.shicimingju.com/book/sanguoyanyi.html获取三国演义主页的章节信息.
2、分析章节信息的特点， 提取章节的详情页链接和章节的名称。
<div class=“book-mulu”><ul><li>，li的详情信息如下:
<li><a href="/book/sanguoyanyi/1.html">第一回·宴桃园豪杰三结义 斩黄巾英雄首立功</a></li>
3、根据章节的详情页链接访问章节内容 <div class=“chapter_content”>
4、提取到的章节内容包含特殊的标签, eg: <br/> ==> ‘\n’<p>, </p> => ‘’
5、将章节信息存储到文件中

"""
File:19_三国演义定向爬虫.py
Author:Tcyw
Date:2020-04-19
Connect:741047561@qq.com
Description:
根据网址http://www.shicimingju.com/book/sanguoyanyi.html获取三国演义主页的章节信息.
分析章节信息的特点， 提取章节的详情页链接和章节的名称。
<div class="book-mulu"><ul><li>，li的详情信息如下:
<li><a href="/book/sanguoyanyi/1.html">第一回·宴桃园豪杰三结义 斩黄巾英雄首立功</a></li>
根据章节的详情页链接访问章节内容 <div class="chapter_content">
提取到的章节内容包含特殊的标签, eg: <br/> ==> '\n' <p>, </p> => ''
将章节信息存储到文件中
"""
import csv
import json
import os
import re
import lxml
import requests
from colorama import Fore
from fake_useragent import UserAgent
from lxml import etree
from requests import HTTPError
from bs4 import BeautifulSoup

def download_page(url,params=None):
    """
    根据url下载html页面
    :param url:
    :return:
    """
    try:
        ua = UserAgent()
        headers = {'User-Agent':ua.random,

                   }
        response = requests.get(url,params=params,headers=headers)
        # print(response)
    except HTTPError as e:
        print(Fore.RED + '[-] 爬取网站%s失败：%s' %(url,str(e)))

    else:
        return response.text
def parse_html(html):
    # 实例化Beautiful对象，并通过指定的解析器（4种）解析html字符串的内容
    soup = BeautifulSoup(html,'lxml')
    # 根据bs4的选择器获取章节的详情页链接和章节的名称
    book = soup.find('div',class_="book-mulu")  # 获取该书籍对象
    chapters = book.find_all('li')  # 获取该书籍的所有章节对应的li标签，返回的是列表
    for chapter in chapters:
        detail_url = chapter.a['href']
        chapter_name = chapter.a.string
        yield {
            'detail_url': detail_url,
            'chapter_name': chapter_name
        }
def get_one_page():
    base_url = 'http://www.shicimingju.com'
    url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
    dirname = '三国演义'
    if not os.path.exists(dirname):
        os.mkdir(dirname)
        print(Fore.GREEN + '创建书籍目录%s成功' %(dirname))
    html = download_page(url)
    items = parse_html(html)
    for item in items:
        # 访问详情页
        detail_url = base_url + item['detail_url']
        chapter_name = os.path.join(dirname,item['chapter_name'])
        chapter_html = download_page(detail_url)
        chapter_content = parse_detail_html(chapter_html)
        with open(chapter_name,'w',encoding='utf-8') as f:
            f.write(chapter_content)
            print(Fore.RED + "写入文件%s成功" %(chapter_name))
        # print(detail_url)
        # print(item)

def parse_detail_html(html):
    # 实例化Beautiful对象，并通过指定的解析器（4种）解析html字符串的内容
    soup = BeautifulSoup(html, 'lxml')
    # 根据章节的详情页链接访问章节内容 <div class="chapter_content">
    # string属性只能拿出当前标签的文本信息，get_text方法返回当前标签和子孙标签的所有文本信息
    chapter_content = soup.find('div',class_="chapter_content").get_text()
    # 提取到的章节内容包含特殊的标签, eg: <br/> ==> '\n' <p>, </p> => ''
    # re.sub(r'<br/>','\n',chapter_content)
    # re.sub(r'<p>|</p>','',chapter_content)
    return chapter_content

if __name__ == '__main__':
    get_one_page()

在这里插入图片描述

C_teacher
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python爬虫之bs4数据解析的本地测试html源码
04-20
python爬虫之bs4数据解析的本地文档源码
python爬虫教程（五）：解析库bs4及爬取实例
热门推荐
csdn1561168266的博客
05-04 1万+
大家好，今天分享的是解析库中的bs4，这个库如果是初学者的话肯定听过，本文章的目的是让你知道如何使用bs4。 一、安装及初始印象 1.安装 bs4是一个第三方库，需要安装。如果使用的是默认的IDE，可以在命令行下敲下： pip install bs4 如果是其它的话，建议百度或在论坛上寻找方法。 2.解析器 对于bs4这个库来说，我们主要使用的是BeautifulSoup对象，使用方法如下： # 导包 from bs4 import BeautifulSoup # 创建对象 soup =
爬虫--爬取网页图片--bs4
smalljun的博客
07-03 2127
1.  爬虫网络请求方式:  urllib(模块),requests(库),  scrapy , pyspider  (框架)2. 爬虫数据提取方式:  正则表达是,  bs4, lxml, xpath,  css# 参数1：序列化的html源代码字符串，将其序列化成一个文档树对象。 # 参数2：将采用 lxml 这个解析库来序列化 html 源代码 html = BeautifulSoup(op...
Python BS4解析库用法详解
最新发布
weixin_68789096的博客
02-29 1055
Beautiful Soup 简称 BS4（其中 4 表示版本号）是一个 Python 第三方库，它可以从 HTML 或 XML 文档中快速地提取指定的数据。Beautiful Soup 语法简单，使用方便，并且容易理解.图1：BS4官网LOGO图。
Python爬虫：bs4解析
Ohh24的博客
11-01 4163
python爬虫学习笔记：bs4解析
Python爬虫 之数据解析之bs4
一直努力
08-18 3874
一、bs4进行数据解析 1、数据解析的原理 ① 标签定位。 ② 提取标签、标签属性中存储的数据值。 2、bs4数据解析的原理 ① 实例化一个BeautifulSoup对象，并且将网页源码数据加载到该对象中。 ② 通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取。 二、bs4库和lxml库的安装 因为BeautifulSoup对象是存在bs4库中的。而lxml是一个解析器，在bs4进行数据解析的时候需要lxml，当我们用bs4和xpath进行数据解析时都需要这个解析器。 1、
Python爬虫使用bs4方法实现数据解析
12-17
聚焦爬虫: 爬取页面中指定的页面...bs4进行数据解析数据解析的原理： 1.标签定位 2.提取标签、标签属性中存储的数据值 bs4数据解析的原理： 1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中 2.通
Python爬虫BS4库的解析器正确使用方法
12-21
bs4库官方推荐我们使用的是lxml解析器，原因是它具有更高的效率，所以我们也将采用lxml解析器。 PS注意：很多人学Python过程中会遇到各种烦恼问题，没有人解答容易放弃。为此小编建了个Python全栈免费
网络爬虫案例解析
08-31
本文主要介绍了网络爬虫的小案例。具有很好的参考价值。下面跟着小编一起来看下吧
Python爬虫编程：数据解析模块之bs4，超详细
lu_jianjun的专栏
09-27 2290
BeautifulSoup，是python中的一个库，是一个可以从HTML或XML文件中提取数据的Python库；它能够通过提供一些简单的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。会帮你节省数小时甚至数天的工作时间。自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，就不能自动识别编码方式了。
Python爬虫——Python BS4解析库用法详解
Itmastergo的博客
03-21 4971
Beautiful Soup 简称 BS4（其中 4 表示版本号）是一个 Python 第三方库，它可以从 HTML 或 XML 文档中快速地提取指定的数据。Beautiful Soup 语法简单，使用方便，并且容易理解，因此可以快速地学习并掌握 BS4 的基本语法。
Python爬虫编程4——数据解析模块之bs4
qq_52914337的博客
01-21 2463
目录 一.bs4简介 1.基本概念 2.源码分析 二.bs4的使用 1.快速开始 2.bs4的对象种类 三.遍历文档树 遍历子节点 1.contents children descendants 2.string strings stripped_strings 四.遍历文档树 遍历父节点 1.parent和parents 五.遍历文档树 遍历兄弟节点 六.搜索树 七.find_all() 和 find() 八.select（）方法 九...
BS4解析库
志昊
11-29 1142
Beautiful Soup4解析库 一、简介 1.简介 BeautifulSoup 是一个从HTML或XML文件中提取数据的Python解析库，使用方式简单方便，借助网页的结构和属性等特性来解析网页 2.安装 pip install beautifulsoup4 3.官方中文文档 https://www.crummy.com/software/BeautifulSoup/bs4/doc/inde...
Python bs4解析库使用详解
永远是少年
12-28 4628
今天继续给大家介绍Python 爬虫相关知识，本文主要内容是Python bs4解析库使用详解。 一、Python bs4库简介与安装 二、Python bs4库获取数据 三、Python bs4库使用 （一）基本标签查找 （二）递进关系标签查找 （三）获取标签间的文本数据 （四）获取标签中的属性值 四、Python bs4库使用示例
网络爬虫爬取数据的4种类型
douxubao的博客
03-19 3315
python爬取数据的类型_Python爬虫总结（二）常见数据类型及其解析方法
weixin_39926540的博客
12-03 1558
Python爬虫总结(二)常见数据类型上一篇我们简单介绍了如何用Python发送 http/https 请求获取网上数据,从web上采集回来的数据的数据类型有很多种,主要有:放在HTML里.直接放在javascript里.放在JSON里.放在XML里.注意:这里很多概念都是web前端开发里的,因为我们采集的大多数数据都来自web,因此了解一些前端知识还是挺有必要的.下面我简单介绍下各种数据类型,并...
快速入门 Python 爬虫常用解析库(xpath、bs4)
Amo Xiang的博客
08-21 1755
目录第一章 XPath 解析第二章 Beautiful Soup 模块 第一章 XPath 解析 在 Python 中可以支持 XPath 提取数据的解析模块有很多，本文主要介绍 lxml 模块，该模块可以解析 HTML 与 XML，并且支持 XPath 解析方式。由于 lxml 模块 为第三方模块，需要通过 pip install lxml 命令安装该模块。lxml 模块 的底层是通过C语言编写的，所以在解析效率方面是非常优秀的。xpath 语法参考学习网站：https://www.w3school.co
后端码农谈前端（HTML篇）第三课：常见属性
weixin_34080903的博客
03-09 115
一、HTML全局属性 1、核心属性 属性 描述 id 设置元素的唯一 id。 class 设置元素的一个或多个类名（引用样式表中的类）。 style 设置元素的行内样式（CSS内联样式）。 title 设置有关元素的额外信息（可在工具提示中显示）。 2、语言属性 属性 描述 lang 设置元素内容的语言代码。 3、键盘属性 属性 描述 accesskey 设置访问元素...
爬虫入门——爬虫可以采集哪些格式的数据？
u011231755的博客
03-24 8792
一文带你了解爬虫可以采集的数据格式。
Python 从零开始爬虫(二)——BeautifulSoup解析网页
06-09
在Python代码中，我们需要使用`from bs4 import BeautifulSoup`语句导入BeautifulSoup库。 3. 读取HTML文档。在使用BeautifulSoup进行解析之前，我们需要先读取HTML文档并将其转换成字符串类型。 4. 创建...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值