BeautifulSoup4简介(2)

最新推荐文章于 2024-02-24 19:08:37 发布
最新推荐文章于 2024-02-24 19:08:37 发布
阅读量171 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36137368/article/details/113772508
版权

目录

find相关方法

find_parents() 搜索所有父亲
find_parrent() 搜索单个父亲
find_next_siblings()搜索所有兄弟
find_next_sibling()搜索单个兄弟
find_previous_siblings() 往上搜索所有兄弟
find_previous_sibling() 往上搜索单个兄弟
find_all_next() 往下搜索所有元素
find_next()往下查找单个元素

搜索树

  • 字符串过滤器
  • 正则表达式过滤器
    我们用正则表达式里面compile方法编译一个正则表达式传给 find 或者 findall这个方法可以实现一个正则表达式的一个过滤器的搜索
  • 列表过滤器
  • True过滤器
  • 方法过滤器

修改文档树

  • 修改tag的名称和属性
  • 修改string 属性赋值,就相当于用当前的内容替代了原来的内容
  • append() 像tag中添加内容,就好像Python的列表的 .append() 方法
  • decompose() 修改删除段落，对于一些没有必要的文章段落我们可以给他删除掉
from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

soup = BeautifulSoup(html_doc, features="lxml")

# 修改tag的名称和属性
tag_p = soup.p
print(tag_p)
tag_p.name = 'w'  # 修改标签的名称
tag_p['class'] = 'age'  # 修改属性
print(tag_p)

# 修改string值
print(tag_p.string)

tag_p.string = 'you need python'
print(tag_p.string)

# append添加值
tag_p.append('abc')
print(tag_p)

# 删除
r = soup.find(class_='title')
# print(r)
r.decompose()
print(soup)

bs4-select()方法简单应用案例

from bs4 import BeautifulSoup
html = """
<table class="tablelist" cellpadding="0" cellspacing="0">
    <tbody>
        <tr class="h">
            <td class="l" width="374">职位名称</td>
            <td>职位类别</td>
            <td>人数</td>
            <td>地点</td>
            <td>发布时间</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="_blank" href="position_detail.php?id=33824&keywords=python&tid=87&lid=2218">22989-金融云区块链高级研发工程师（深圳）</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-25</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a target="_blank" href="position_detail.php?id=29938&keywords=python&tid=87&lid=2218">22989-金融云高级后台开发</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2017-11-25</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="_blank" href="position_detail.php?id=31236&keywords=python&tid=87&lid=2218">SNG16-腾讯音乐运营开发工程师（深圳）</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2017-11-25</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a target="_blank" href="position_detail.php?id=31235&keywords=python&tid=87&lid=2218">SNG16-腾讯音乐业务运维工程师（深圳）</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-25</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="_blank" href="position_detail.php?id=34531&keywords=python&tid=87&lid=2218">TEG03-高级研发工程师（深圳）</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a target="_blank" href="position_detail.php?id=34532&keywords=python&tid=87&lid=2218">TEG03-高级图像算法研发工程师（深圳）</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="_blank" href="position_detail.php?id=31648&keywords=python&tid=87&lid=2218">TEG11-高级AI开发工程师（深圳）</a></td>
            <td>技术类</td>
            <td>4</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a target="_blank" href="position_detail.php?id=32218&keywords=python&tid=87&lid=2218">15851-后台开发工程师</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="_blank" href="position_detail.php?id=32217&keywords=python&tid=87&lid=2218">15851-后台开发工程师</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a id="test" class="test" target='_blank' href="position_detail.php?id=34511&keywords=python&tid=87&lid=2218">SNG11-高级业务运维工程师（深圳）</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
    </tbody>
</table>
"""

soup = BeautifulSoup(html, 'lxml')

# 1获取所有的tr
trs = soup.select('tr')
print(trs)

# 2 获取第二个tr标签
tr = soup.select('tr')[1]
print(tr)

# 3 获取所有class等于even的tr标签
tr = soup.select('.even')
# print(tr)
# 4 获取所有a标签的href属性
a_lst = soup.select('a')
for a in a_lst:
    href = a['href']
    print(href)

# 5 获取职位信息
trs = soup.select('tr')[1:]

for tr in trs:
    info = list(tr.stripped_strings)[0]
    print(info)

fake_useragent

多次使用一个User-Agent爬取同一网站可能触发相应反爬机制，用fake_useragent模块频繁更换UserAgent，该模块需要安装：

pip install -i https://pypi.douban.com/simple/ fake_useragent

应用：

import requests
from fake_useragent import UserAgent

headers= {'User-Agent':str(UserAgent().random)}
r = requests.get(url, proxies=proxies, headers=headers, timeout=10)

用bs4提取各城市天气数据

# 需求:获取全中国所有的城市名字以及对应的温度保存到csv文件当中
# http://www.weather.com.cn/textFC/hb.shtml 华北

import requests
from bs4 import BeautifulSoup
import csv

import random

titles = ('city', 'temp')


# 定义一个函数来解析网页
def parse_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/86.0.4240.75 Safari/537.36 '
    }
    response = requests.get(url, headers=headers)
    # print(response.content.decode('utf-8'))
    html = response.content.decode('utf-8')
    # pip install html5lib
    soup = BeautifulSoup(html, 'html5lib')
    # 先获取class="conMidtab"
    conMidtab = soup.find('div', class_='conMidtab')
    # 获取所有的table标签
    tables = conMidtab.find_all('table')

    # 定义一个列表保存数据
    lst = []

    for table in tables:
        # 　获取所有的tr标签 注意要把前2个tr标签过滤掉
        trs = table.find_all('tr')[2:]
        for index, tr in enumerate(trs):
            # 　获取所有的td标签
            #  是0的情况下所有的直辖市的数据都是正确的 省里面的除了第一个数据别的也是正确的
            tds = tr.find_all('td')
            city_td = tds[0]
            # 判断什么情况下取第二个值 省会
            if index == 0:
                city_td = tds[1]
            info = {}
            city = list(city_td.stripped_strings)[0]
            temp_td = tds[-2]
            temp = list(temp_td.stripped_strings)[0]

            info['city'] = city
            info['temp'] = temp
            lst.append(info)
            print('city', city, 'temp', temp)
        # break # 先打印北京
        # print('-'*80)
    return lst


# 写入数据
def writeData(lst):
    with open('city_temp.csv', 'w', encoding='utf-8', newline='') as file_obj:
        writer = csv.DictWriter(file_obj, titles)
        writer.writeheader()
        writer.writerows(lst)


def main():
    lst = []
    # 获取目标url
    # url = 'http://www.weather.com.cn/textFC/hb.shtml'  # 华北
    # url = 'http://www.weather.com.cn/textFC/db.shtml'  # 东北
    # url = 'http://www.weather.com.cn/textFC/gat.shtml'  # 港澳台 网页源码有问题

    urls = ['http://www.weather.com.cn/textFC/hb.shtml', 'http://www.weather.com.cn/textFC/db.shtml',
            'http://www.weather.com.cn/textFC/gat.shtml']

    for url in urls:
        lst += parse_page(url)
    writeData(lst)


if __name__ == '__main__':
    main()

爬虫和反爬虫的斗争

Alt
爬虫建议

  • 尽量减少请求次数，保存获取到的HTML，供查错和重复使用
  • 关注网站的所有类型的页面： H5页面， APP
  • 多伪装：代理IP，随机请求头
  • 利用多线程分布式，在不被发现的情况下我们尽可能的提高速度
SSSCAESAR
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
BeautifulSoup 使用select方法详解
weixin_39793752的博客
04-22 1235
html = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title" name="dromouse"><b>The Dormouse's story</b></p>...
lxml,BeautifulSoup4
haihaihai2232的博客
09-01 176
BeautifulSoup4** 安装 $pip install beautifulsoup4 初始化 BeautifulSoup(markup="", features=None) **markup:**被解析对象, 文件对象或者html字符串 **features:**解析器, 返回一个文档对象 from bs4 import BeautifulSoup ...
BeautifulSoup中的select方法
weixin_34345753的博客
11-22 581
在写css时，标签名不加任何修饰，类名前加点，id名前加 #，我们可以用类似的方法来筛选元素，用到的方法是soup.select()，返回类型是list。 (1).通过标签名查找 print(soup.select('title')) # [<title>The Dormouse's story</title>] print(soup.select('a...
python爬虫：BeautifulSoup 使用select方法的使用
no-bug
04-25 513
soup.select()使用方法： 标签名不加任何修饰， 类名（class="className"引号内即为类名）前加点， id名（id="idName"引号前即为id名）前加 #， 返回类型是 list 1）通过标签名查找 print soup.select(‘title’) #[< title>The Dormouse's story< /title>] （2）...
Beautiful Soup的用法（五）：select的使用
热门推荐
haleycat的博客
03-07 3万+
原文地址：http://www.bugingcode.com/blog/beautiful_soup_select.html select 的功能跟find和find_all 一样用来选取特定的标签，它的选取规则依赖于css，我们把它叫做css选择器，如果之前有接触过jquery ，可以发现select的选取规则和jquery有点像。 通过标签名查找 在进行过滤时标签名不加任何修饰，如下...
beautifulsoup4-4.12.0.tar.gz
最新发布
03-03
一、BeautifulSoup4简介 BeautifulSoup4是BeautifulSoup的第四个主要版本，由Leonard Richardson开发，现在由George Lesica维护。它构建在Python的HTML解析器之上，如html.parser（Python内置）或第三方解析器如...
beautifulsoup4-4.0.4.tar.gz
03-03
一、BeautifulSoup4简介 BeautifulSoup4是用于处理HTML和XML文档的库，由Leonard Richardson开发，旨在简化网页抓取（Web Scraping）的过程。它通过解析HTML或XML文档，生成一棵解析树，然后允许用户通过简单的API...
python基于flask+requests+beautifulsoup4爬取电影天堂影片信息并进行web可视化展示项目
06-23
Flask-Movie是基于python3.6+Flask1.1.1+requests+Beautifulsoup4开发的抓取电影天堂影片展示项目 使用方法： 1.安装Python3.6环境 2.下载代码到本地并解压 3.cmd到根目录下安装相关依赖包 pip install -r ...
Python利用BeautifulSoup解析Html的方法示例
09-21
pip install beautifulsoup4 pip install lxml pip install html5lib ``` 其中，`lxml` 和 `html5lib` 是两个常用的解析器库。它们可以提供不同的解析策略或更快的速度，根据实际需求选择安装。 #### 四、HTML文档...
python爬虫之BeautifulSoup 使用select方法详解
09-21
本篇文章主要介绍了python爬虫之BeautifulSoup 使用select方法详解，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
libsoup_websocket_client:使用libsoup（包括wss）的演示websocket客户端
05-25
libsoup_websocket_client 使用libsoup（包括wss）的演示websocket客户端 如何建造 使用Scons构建 $ scons 如何使用： $ ./websocket_client -h 应用选项： -a，--address Websocket服务器地址（默认值：echo.websocket.org） -p，--port Websocket服务器端口（默认值：80） -s，--is_wss启用wss连接（默认值：禁用） 依存关系 glib-2.0 libsoup-2.4
libsoup：https：gitlab.gnome.orgGNOMElibsoup的只读镜像
02-09
libsoup：https：gitlab.gnome.orgGNOMElibsoup的只读镜像
python爬虫：BeautifulSoup 使用select方法详解
起当风萧的博客
04-06 1万+
转载自 （“**[https://www.cnblogs.com/yizhenfeng168/p/6979339.html](https://www.cnblogs.com/yizhenfeng168/p/6979339.html)**”）。 ```html 1 html = """ 2 <html><head><title>The Dormouse's story</title></head> 3 <body> 4 <p...
BeautifulSoup中的find_all()及select()查找方法
book_dw5189的博客
02-24 3363
BeautifulSoup中的find_all()及select()查找方法
【RPA开发】Beautiful Soup 使用详解
尹煜的博客
04-26 2560
简单来说，Beautiful Soup 是 Python 用于解析 HTML 和 XML 文件的第三方库，可以从 HTML 和 XML 文件中提取数据。官方网址中文文档Beautiful Soup 中文文档安装Beautiful Soup 3 目前已经停止开发，官方支持 Beautiful Soup 4，并且将其移植到 BS4，也就是说我们需要 import bs4，本文 beautifulsoup4 版本 = 4.12.2。Beautiful Soup提供了多种搜索方式，可以轻松定位所需的元素。
2018-05-28 课后笔记
chunbi0065的博客
05-28 1027
课后预习 7.1 安装软件包的三种方法 7.2 rpm包介绍 7.3 rpm工具用法 7.4 yum工具用法 7.5 yum搭建本地仓库 7.6 yum更换国内源 7.7 yum下载rpm包 7.8/7.9 源码包安装 7.1 安装软件包的三种方法 在windows系...
python爬虫：BeautifulSoup 使用select方法详解（转载）
shen8686的专栏
07-07 7033
转自：https://www.cnblogs.com/yizhenfeng168/p/6979339.html我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list（1）通过标签名查找 print soup.select('title') #[&lt;title&gt;The ...
python3爬虫(八)--BeautifulSoup4的基本使用
北冥有鱼丶
06-17 577
如何使用 将一段文档传入BeautifulSoup 的构造方法,就能得到一个文档的对象, 可以传入一段字符串或一个文件句柄. from bs4 import BeautifulSoup soup = BeautifulSoup(open("index.html")) soup1 = BeautifulSoup("<html>data</html>") print(soup)...
beautifulsoup安装教程
09-03
Beautiful Soup的安装有多种方式。一种常见的方式是通过使用pip命令来安装。可以在命令行中运行以下命令来安装Beautiful Soup: ``` pip install beautifulsoup4 ``` 另外一种方式是通过下载安装包来进行安装。可以从Beautiful Soup的官方网站中下载安装包，并按照官方网站上的说明进行安装。 如果你使用的是Linux系统或者Mac系统，也可以按照相应的系统基本安装方法进行安装。 总结起来，安装Beautiful Soup的步骤主要有以下几种方式: 使用pip命令安装、下载安装包安装以及根据不同系统的基本安装方法进行安装。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Python Beautiful Soup教程-简介及安装](https://blog.csdn.net/ares_beyong/article/details/121380337)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Beautiful Soup 安装教程（学习python爬虫必备库）](https://blog.csdn.net/weixin_44880296/article/details/105990022)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值