python爬虫第七天，BeautifulSoup库常用的解析方法

最新推荐文章于 2023-07-06 21:52:05 发布
最新推荐文章于 2023-07-06 21:52:05 发布
阅读量133 收藏 1
点赞数
文章标签： python xml html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40709303/article/details/108685997
版权
基本使用
html="""
<html><head><title>The Dormouse's story</title>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three littlw sisters;and their names were
<a href="http://example.com/else" class="sister" id-'link1'><!--Elsie--></a>,
<a href="http://example.com/else" class="sister" id-'link2'><!--Lacie--></a> and
<a href="http://example.com/else" class="sister" id-'link3'><!--Tillie--></a>;
and they lives at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.prettify())
print(soup.title.string)

在这里插入图片描述

标签选择器
选择元素
html="""
<html><head><title>The Dormouse's story</title>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three littlw sisters;and their names were
<a href="http://example.com/else" class="sister" id-'link1'><!--Elsie--></a>,
<a href="http://example.com/else" class="sister" id-'link2'><!--Lacie--></a> and
<a href="http://example.com/else" class="sister" id-'link3'><!--Tillie--></a>;
and they lives at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.title)
print(type(soup.title))
print(soup.head)
print(soup.p)

在这里插入图片描述

获取名称
html="""
<html><head><title>The Dormouse's story</title>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three littlw sisters;and their names were
<a href="http://example.com/else" class="sister" id-'link1'><!--Elsie--></a>,
<a href="http://example.com/else" class="sister" id-'link2'><!--Lacie--></a> and
<a href="http://example.com/else" class="sister" id-'link3'><!--Tillie--></a>;
and they lives at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.title.name)

在这里插入图片描述

获取属性
html="""
<html><head><title>The Dormouse's story</title>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three littlw sisters;and their names were
<a href="http://example.com/else" class="sister" id-'link1'><!--Elsie--></a>,
<a href="http://example.com/else" class="sister" id-'link2'><!--Lacie--></a> and
<a href="http://example.com/else" class="sister" id-'link3'><!--Tillie--></a>;
and they lives at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.attrs['name'])
print(soup.p['name'])

在这里插入图片描述

获取内容
html="""
<html><head><title>The Dormouse's story</title>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three littlw sisters;and their names were
<a href="http://example.com/else" class="sister" id-'link1'><!--Elsie--></a>,
<a href="http://example.com/else" class="sister" id-'link2'><!--Lacie--></a> and
<a href="http://example.com/else" class="sister" id-'link3'><!--Tillie--></a>;
and they lives at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.string)

在这里插入图片描述

嵌套选择
html="""
<html><head><title>The Dormouse's story</title>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three littlw sisters;and their names were
<a href="http://example.com/else" class="sister" id-'link1'><!--Elsie--></a>,
<a href="http://example.com/else" class="sister" id-'link2'><!--Lacie--></a> and
<a href="http://example.com/else" class="sister" id-'link3'><!--Tillie--></a>;
and they lives at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.head.title.string)

在这里插入图片描述

子节点和子孙节点
html="""
<html>
  <head>
    <title>The Dormouse's story</title>
  </head>
  <body>
    <p class="story">
       Once upon a time there were three littlw sisters;and their names were
       <a href="http://example.com/else" class="sister" id-'link1'>
          <span><!--Elsie--></sapn>
       </a>
       <a href="http://example.com/else" class="sister" id-'link2'>Lacie</a> 
       and
       <a href="http://example.com/else" class="sister" id-'link3'>Tillie</a>;
       and they lived at the bottom of a well.
     </p>
     <p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.contents)

在这里插入图片描述

html="""
<html>
  <head>
    <title>The Dormouse's story</title>
  </head>
  <body>
    <p class="story">
       Once upon a time there were three littlw sisters;and their names were
       <a href="http://example.com/else" class="sister" id-'link1'>
          <span><!--Elsie--></sapn>
       </a>
       <a href="http://example.com/else" class="sister" id-'link2'>Lacie</a> 
       and
       <a href="http://example.com/else" class="sister" id-'link3'>Tillie</a>;
       and they lived at the bottom of a well.
     </p>
     <p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.children)
for i,child in enumerate(soup.p.children):
    print(i,child)

在这里插入图片描述

html="""
<html>
  <head>
    <title>The Dormouse's story</title>
  </head>
  <body>
    <p class="story">
       Once upon a time there were three littlw sisters;and their names were
       <a href="http://example.com/else" class="sister" id-'link1'>
          <span><!--Elsie--></sapn>
       </a>
       <a href="http://example.com/else" class="sister" id-'link2'>Lacie</a> 
       and
       <a href="http://example.com/else" class="sister" id-'link3'>Tillie</a>;
       and they lived at the bottom of a well.
     </p>
     <p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.descendants)
for i,child in enumerate(soup.p.descendants):
    print(i,child)

在这里插入图片描述

父节点和祖先节点
html="""
<html>
  <head>
    <title>The Dormouse's story</title>
  </head>
  <body>
    <p class="story">
       Once upon a time there were three littlw sisters;and their names were
       <a href="http://example.com/else" class="sister" id-'link1'>
          <span><!--Elsie--></sapn>
       </a>
       <a href="http://example.com/else" class="sister" id-'link2'>Lacie</a> 
       and
       <a href="http://example.com/else" class="sister" id-'link3'>Tillie</a>;
       and they lived at the bottom of a well.
     </p>
     <p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.a.parent)

在这里插入图片描述

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(list(enumerate(soup.a.parents)))

在这里插入图片描述

兄弟节点
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(list(enumerate(soup.a.next_siblings)))

print(list(enumerate(soup.a.previous_siblings)))

在这里插入图片描述

标准选择器

find_all(name,attrs,resursive,text,**kwargs

name
html='''
<div class="panel"
  <div class="panel-heading">
     <h4>hello</h4>
  </div>
  <div class="panel-body">
     <ul class="list" id="list-1">
        <li class="element">Foo</li>
        <li class="element">Bar</li>
        <li class="element">Jay</li>
     </ul>
     <ul class="list" id="list-2">
        <li class="element">Foo</li>
        <li class="element">Bar</li>
     </ul>  
  </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find_all('ul'))
print(type(soup.find_all('ul')[0]))

在这里插入图片描述

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
for ul in soup.find_all('ul'):
    print(ul.find_all('li'))

在这里插入图片描述

attrs
html='''
<div class="panel"
  <div class="panel-heading">
     <h4>hello</h4>
  </div>
  <div class="panel-body">
     <ul class="list" id="list-1" name="elements">
        <li class="element">Foo</li>
        <li class="element">Bar</li>
        <li class="element">Jay</li>
     </ul>
     <ul class="list" id="list-2">
        <li class="element">Foo</li>
        <li class="element">Bar</li>
     </ul>  
  </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(atrs={'id':'list-1'}))
print(soup.find_all(attrs={'name':'elements'}))

在这里插入图片描述

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(id='list-1'))
print(soup.find_all(class_='elements'))

在这里插入图片描述

text
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(text='Foo'))

在这里插入图片描述

find
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find('ul'))
print(type(soup.find('ul')))
print(soup.find('page'))

在这里插入图片描述

find_parents() find_parent()

find_parents()返回所有的祖先节点，find)parent()返回直接父节点

find_next_siblings() find_next_sibling()

find_next_siblingd=s() 返回后面所有的兄弟节点，find_next_sibling()返回后面第一个兄弟节点

find_previous_siblings() find_previous_sibling()

find_next_siblingd=s() 返回前面所有的兄弟节点，find_previous_sibling()返回前面第一个兄弟节点

find_all_next() find_next()

find_all_next()返回节点后所有符合条件的节点， find_next()返回第一个符合条件的节点

find_all_previous() find_previous()

find_all_next()返回节点前所有符合条件的节点， find_next()返回第一个符合条件的节点

CSS选择器

通过select()直接传入CSS选择器即可完成

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.select('.panel .panel-heading'))
print(soup.select('ul li'))
print(soup.select('#list2 .elements'))
print(type(soup.select('ul')[0]))

在这里插入图片描述

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
for ul in soup.select('ul'):
    print(ul.select('li'))

在这里插入图片描述

获取属性
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
for ul in soup.select('ul'):
    print(ul['id'])
    print(ul.attrs['id'])

在这里插入图片描述

获取内容
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
for li in soup.select('li'):
    print(li.get_text())

在这里插入图片描述

总结

推荐使用lxml杰西卡，必要时使用html.parser
标签选择筛选功能弱d暗示速度快
建议使用find()、find_all()查询匹配单个结果或者多个结果
如果对CSS选择器熟悉建议使用select()
记住常用的获取属性和文本值的方法

qq_40709303
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫实战（Requests+BeautifulSoup版）
07-18
本课程是一个Python爬虫实战课程，课程主要使用Requests+BeautifulSoup实现爬虫，课程包括五个部分：第一部分：CSS选择器，主要讲解类选择器，ID选择器，标签选择器，伪类和伪元素，以及组合选择器等。第二部分：Python正则表达式，主要讲解Python对正则表达式的支持，匹配单字符、匹配多字符、匹配开头结尾、匹配分组、search、findall、sub、split 等方法以及贪婪和非贪婪匹配。 第三部分：Requests框架，主要讲解如何发送请求，如何获得响应结果、Cookie、Session、超时和代理的处理 第四部分：BeautifulSoup框架 ， 主要讲解遍历文档、搜索文档和修改文档。 第五部分：项目，通过爬取博客园博客文章融汇贯通的运用了所学内容。
python的BeautifulSoup库怎么用（详细教程）
qq_40860747的博客
05-19 6140
以上就是一个比较详细的 BeautifulSoup 教程，包括安装、基本用法和一些高级应用。BeautifulSoup 可以帮助我们方便地解析 HTML 和 XML 文档，并从中提取所需的信息，是 Python 网络爬虫开发中常用的工具之一。
python爬虫教程（五）：解析库bs4及爬取实例
csdn1561168266的博客
05-04 1万+
大家好，今天分享的是解析库中的bs4，这个库如果是初学者的话肯定听过，本文章的目的是让你知道如何使用bs4。 一、安装及初始印象 1.安装 bs4是一个第三方库，需要安装。如果使用的是默认的IDE，可以在命令行下敲下： pip install bs4 如果是其它的话，建议百度或在论坛上寻找方法。 2.解析器 对于bs4这个库来说，我们主要使用的是BeautifulSoup对象，使用方法如下： # 导包 from bs4 import BeautifulSoup # 创建对象 soup =
python3如何导入BeautifulSoup包
08-25 6148
1.在VS内打开PowerShell 导入代码： import bs4 from bs4 import BeautifulSoup 报错1 Python3安装BeautifulSoup报错Unit tests have failed!
Python爬虫：BeautifulSoup库
不怕猫的耗子A
08-12 1万+
Beautiful Soup的简介 Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： 1、Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 2、Beautiful Soup自动将输...
Python爬虫beautifulsoup4常用的解析方法总结
09-19
这篇总结将详细介绍BeautifulSoup4的一些常用解析方法，帮助开发者更高效地处理网页数据。 首先，要使用BeautifulSoup4解析HTML文档，我们需要先将其装载到BeautifulSoup对象中。这通常通过发送HTTP请求获取网页...
python爬虫学习笔记之Beautifulsoup模块用法详解
09-17
使用Beautifulsoup解析文档，需要提供待解析的文本和解析器类型，例如： ```python soup = BeautifulSoup(html_content, 'html.parser') ``` 其中，`html_content`是HTML或XML的字符串形式，'html.parser'是选择的...
Python爬虫技术入门到高级第七章
04-06
"Python爬虫技术入门到高级第七章" 本章节主要讲述了爬虫技术的概述、网络协议和 HTTP 协议、Python 基础知识、爬虫工具介绍、数据存储和处理、动态网页爬取、反爬虫技术、分布式爬虫和高并发、爬虫实战等知识点。 ...
第三章：数据解析_Python爬虫教程_源码
10-04
在Python编程领域，爬虫是一种常见...通过学习以上知识点，你可以有效地解析和处理Python爬虫抓取到的数据，无论是简单的HTML页面还是复杂的XML文档，都能游刃有余。记得在实践中不断探索和优化，提升自己的爬虫技能。
基于python的爬虫基础第三天+源码demo+匹配规则
最新发布
04-01
"基于python的爬虫基础第三天+源码demo+匹配规则"这个主题涵盖了Python爬虫学习的基础阶段，包括爬虫的基本概念、核心组件以及常用的匹配规则。在Python中实现网络爬虫，我们通常会使用requests库来发送HTTP请求，...
【Python beautifulsoup】详细介绍beautifulsoup库的使用方法，包括安装方式、基本用法、常用方法和技巧，以及结合lxml和parsel的具体使用场景和区别。
weixin_50409347的博客
07-06 6601
Python beautifulsoup库是一个强大的Web抓取和解析库，它提供了丰富的功能和简单易用的API，可以帮助我们处理HTML和XML文档，从中提取数据，进行数据清洗和处理。beautifulsoup库基于Python标准库中的html.parser模块，同时还可以与第三方解析库lxml和parsel配合使用，提供更高效和灵活的解析方式。本文将详细介绍beautifulsoup库的使用方法，包括安装方式、基本用法、常用方法和技巧，以及结合lxml和parsel的具体使用场景和区别。
from bs4 import BeautifulSoup 引入需要安装的文件和步骤
热门推荐
liuxuejiao_的专栏
02-28 5万+
调用beautifulsoup库时，运行后提示错误：ImportError: No module named bs4 ， 意思就是没有找到bs4模块，所以解决方法就是将bs4安装上，具体步骤如下： 1.下载bs4： https://www.crummy.com/software/BeautifulSoup/bs4/download/ python若比较新，就下载最新版本即可 ...
Python爬虫 BeautifulSoup库应用详解
胡乱写点什么
02-20 3124
Python爬虫（四） 学习Python爬虫过程中的心得体会以及知识点的整理，方便我自己查找，也希望可以和大家一起交流。 —— BeautifulSoup库应用详解 —— 文章目录Python爬虫（四）—— BeautifulSoup库应用详解 ——一.安装BeautifulSoup库二.导入BeautifulSoup库三.requests库的方法 一.安装BeautifulSoup库 可以直接使...
python find next_python爬虫：使用BeautifulSoup进行查找
weixin_39974409的博客
12-03 1982
网页中有用的信息通常存在于网页中的文本或各种不同标签的属性值，为了获得这些网页信息，有必要有一些查找方法可以获取这些文本值或标签属性。而Beautiful Soup中内置了一些查找方式：find()find_all()find_parent()find_parents()find_next_sibling()find_next_siblings()find_previous_sibling()fi...
BeautifulSoup详解
trayvontang的博客
10-30 1万+
目录一、BeautifulSoup构建1.1 通过字符串构建1.2 从文件加载二、Tag对象2.1 string、strings、stripped_strings2.2 get_text()2.3 属性三、contents、children与descendants3.1 parent、parents3.2 next_sibling、previous_sibling3.3 next_element、...
python beautiful soup库的用法
weixin_34127717的博客
03-09 2976
参考：http://cuiqingcai.com/1319.html Beautiful Soup 4.2.0 文档 1. Beautiful Soup 简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索...
Python爬虫小白入门（三）BeautifulSoup库
2201_75362610的博客
07-04 1911
上一篇演示了如何使用requests模块向网站发送http请求，获取到网页的HTML数据。这篇来演示如何使用BeautifulSoup模块来从HTML文本中提取我们想要的数据。update on 2016-12-28：之前忘记给BeautifulSoup的官网了，今天补上，顺便再补点BeautifulSoup的用法。update on 2017-08-16：很多网友留言说Unsplash网站改版了，很多内容是动态加载的。
from bs4 import BeautifulSoup
Big788的博客
03-09 1万+
今天说说BeautifulSoup的安装： 下载地址：https://www.crummy.com/software/BeautifulSoup/bs4/download/4.6/ 版本4.6.0  2017年5月7日版本。大小157K。 下载后，解压缩，然后放到Python目录中。 我是Windows安装Python3.6，目录：C:\Users\我\AppData\Local\
python爬虫之Beautiful Soup库，基本使用以及提取页面信息
10-04 5558
Python 爬虫正则表达式和re库在爬虫过程中，可以利用正则表达式去提取信息，但是有些人觉得比较麻烦。因为花大量时间分析正则表达式。这时候可以用高效的网页解析库Beautiful Soup。Beautiful Soup 是一个HTML/XML 的解析器，主要用于解析和提取 HTML/XML 数据。
Python爬虫利器：BeautifulSoup4.2.0官方文档解析
7. **兼容性**：Beautiful Soup 4.2 的文档例子在Python 2.7和Python 3.2上都能正常运行，这表明库具有良好的版本兼容性。 8. **示例**：提供的HTML代码片段展示了如何解析和提取文档中的链接和标题，例如`<a>`标签...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值