bs4基本使用

最新推荐文章于 2024-07-04 22:56:38 发布
最新推荐文章于 2024-07-04 22:56:38 发布
阅读量4.4k 收藏 14
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaobaishu2018/article/details/79921809
版权

一、bs4模块基本使用

from bs4 import BeautifulSoup
html='''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
'''
#创建一个bs对象
soup=BeautifulSoup(html,'lxml')
#prettify()：实现格式化输出
# print(soup.prettify())


#(1)标签选择器
#通过soup.标签名 就可以获得这个标签的内容
# print(soup.title)
#获取p标签
# print(soup.p)
#获取第一个p标签的文本内容
# print(soup.p.string)
#嵌套选择
#获取head标签下的title标签的文本内容
# print(soup.head.title.string)


#节点选择
#p标签的子节点
#contents返回的是列表
# print(soup.p.contents)
#chilren 返回的是迭代对象
# le=soup.p.children
# for i in le:
#     print(i)


#父节点
# print(soup.a.parent)


#获取所有超链接
for link in soup.find_all('a'):
    print(link.get('href'))
#获取标签文本内容
print(soup.get_text())

二、标准选择器

#find_all(name,attrs,text)
#可以根据标签名，属性，文本内容查找文档
#find()：返回匹配结果的一个元素
html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''


from bs4 import BeautifulSoup
soup= BeautifulSoup(html,'lxml')


#(1)name 的用法
# print(soup.find_all('ul'))
#结果返回的一个列表的方式
# print(soup.find_all('ul')[0])
#查找所有ul标签下的li标签
# for ul in soup.find_all('ul'):
#     print(ul.find_all('li'))


#(2) attrs的用法
# print(soup.find_all(attrs={'id':'list-1'}))
#找class属性值是panel-heading的对应标签
# print(soup.find_all(attrs={'class':'panel-heading'}))


#（3）text

print(soup.find_all(text='Foo'))

三、css选择器

#select()
# 1. .表示class ,#表示id
# 2.其他属性  比如：[name=Tom]
# 3.标签1，标签2   找到所有的标签1和标签2
# 4.标签1 标签2    找到标签1内部的标签2


html='''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup=BeautifulSoup(html,'html.parser')


#获取属性class值是panel的标签下的class属性值是panel-body的标签
# print(soup.select('.panel .panel-body'))


#获取ul标签下的所有li标签
# print(soup.select('ul li'))
#获取id属性为list-2的标签内部的class属性值是element的标签
# print(soup.select('#list-2 .element'))


#获取文本内容
#get_text()可以获取文本内容
for li in soup.select('li'):
    print(li.get_text())

xiaobaishu2018
关注
  • 2
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python BS4解析库用法详解
weixin_68789096的博客
02-29 1553
Beautiful Soup 简称 BS4（其中 4 表示版本号）是一个 Python 第三方库，它可以从 HTML 或 XML 文档中快速地提取指定的数据。Beautiful Soup 语法简单，使用方便，并且容易理解.图1：BS4官网LOGO图。
bs4的用法
zxcvbbnn的博客
06-26 458
这里写目录标题BS4安装对象种类 BS4 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间. 安装 pip install beautifulsoup4 解析器 表达式 使用方法 优势 Python标准库 BeautifulSoup(markup, “html.parser”) Python的内置标准库 执行速度适中
centos安装yum命令及常用yum命令
qq_36223335的博客
07-04 1652
此外，直接使用rpm命令安装yum可能会绕过一些重要的依赖检查和配置步骤，因此请务必小心操作，并确保你了解每一步的含义和潜在影响。如果你选择直接在原文件中修改，可以使用文本编辑器（如vi、nano等）打开CentOS-Base.repo文件，并找到相关的仓库配置段（如[base]、[updates]等），将其中的baseurl行替换为镜像站点提供的地址。如果下载的是新的yum配置文件，并且希望直接使用它，可以将原有的CentOS-Base.repo文件替换为新下载的文件。命令来验证yum源是否配置成功。
bs4的使用
weixin_44185953的博客
01-05 352
需要安装的，命令窗口： pip install bs4 import requests from bs4 import BeautifulSoup # 代理ip proxy={ "HTTP": "113.3.152.88:8118", "HTTPS": "219.234.5.128:3128", } #伪装头 headers = { 'User-Agent': 'Mozi...
bs4使用
往事随风
08-21 713
#author:Adminstrator #date: 2019/8/20 from bs4 import BeautifulSoup #生成对象 #soup= BeautifulSoup(open('美味汤.html'), 'lxml') soup = BeautifulSoup(open('美味汤.html', encoding='utf8'), 'lxml') #print(soup)#so...
bs4 简单用法
weixin_42959562的博客
08-23 383
from selenium import webdriver import time option_chrome = webdriver.ChromeOptions() option_chrome.add_argument('--headless') driver = webdriver.Chrome(chrome_options=option_chrome) time.sleep(1) u...
python中bs4.BeautifulSoup的基本用法
09-18
以下是对标题和描述中所提及的`bs4.BeautifulSoup`基本用法的详细解释： 首先，我们需要导入`bs4`模块，并创建一个BeautifulSoup对象。这通常涉及到两个参数：HTML文档字符串和解析器。例如： ```python from bs4 ...
Python爬虫使用bs4方法实现数据解析
09-16
标题中的“Python爬虫使用bs4方法实现数据解析”指的是使用Python编程语言编写网络爬虫时，通过BeautifulSoup（简称bs4）库来解析网页HTML或XML文档，从而提取所需数据的过程。描述中提到，文章提供了详细的示例代码...
BS4_BeautifulSoup.docx
06-06
通过以上介绍，我们已经对BeautifulSoup的基本使用有了较为全面的了解。无论是基本的文档解析还是复杂的数据提取，都可以借助BeautifulSoup轻松实现。希望本手册能帮助大家快速掌握BeautifulSoup的使用技巧，为数据...
土地确权BS系统基本操作
08-19
4. **生成申请书和公示**： - 申请书生成在“土地承包管理”的“家庭承包合同”中，选择组后可批量生成申请书。 - 公示阶段，可以打印申报表，用于对外公示。同样在“土地承包管理”的“公示”功能中完成。 5. **...
浅谈Python中的bs4基础
09-20
要使用bs4，需要导入模块`from bs4 import BeautifulSoup`。然后，你可以创建一个BeautifulSoup对象，将HTML文档内容传入构造函数。例如： ```python bs = BeautifulSoup(open('index.html', encoding='utf-8'), '...
bs4的基本用法
weixin_43157068的博客
02-15 1831
#本文件用来记录bs4的用法 # from bs4 import BeautifulSoup # 使用方法：将一个html文档，转化为指定对象，然后通过对象的方法或属性去查找指定的内容 # 转化本地文件： # soup = BeautifulSoup(open('本地文件', 'lxml')) # 转化网络文件： # soup = BeautifulSoup('字符串类型或字节类型...
bs4用法整理
Little Snow White
05-16 434
移除当前tag的内容 markup = ‘I linked to example.com’ soup = BeautifulSoup(markup) tag = soup.a tag.clear() 去除特定标签 i.extract() bs4 中文文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ ...
bs4
weixin_55924597的博客
05-12 368
bs4简介 一、bs4是什么？ beautifulsoup4 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的网页信息提取 二、基本概念 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的网页信息提取库 三、有什么意义？ 1、PC端 网站中去爬取数据 百度网站 腾讯的网站 随着网站的种类增多，去寻找最适合解决这个网站的技术 2、正则： 正则表达式有的时候不太好写 容易出错 3、xpath： 记住一些语法 4、bs4它的特点 只需要同学们记住一些方法就可以了
bs4的基本使用方法
weixin_46244909的博客
02-07 4447
内容： 1);bs4两种写法： 本地文件做的美味汤：soup = BeautifulSoup(open('本地文件')，'lxml') 俗称一锅美味汤 网络爬取请求做的美味汤：soup = BeautifulSop(('名字'),'lxml') 此写法是网页爬虫的写法，上面的写法是本地文件的写法 2);根据标签名进行查找: ...
使用bs4爬取b站作品名称
最新发布
08-02
要使用Python的BeautifulSoup (bs4) 爬取B站(Bilibili)上的视频作品名称，首先你需要安装requests库来发送HTTP请求以及beautifulsoup4库来解析HTML内容。以下是基本步骤： 1. 安装必要的库: ``` pip install ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值