用正则表达式爬取数据,网络爬虫正则表达式

最新推荐文章于 2024-11-12 09:35:16 发布
最新推荐文章于 2024-11-12 09:35:16 发布
阅读量452 收藏 6
点赞数 3
文章标签： 前端 javascript 开发语言 pygame
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/i_like_cpp/article/details/136394341
版权

大家好，给大家分享一下用正则表达式爬取数据，很多人还不知道这一点。下面详细解释一下。现在让我们来看看！

来源于此为了方便自己查找，进行了简化与整理。

本文涉及内容如下：

  1. 获取< tr>< /tr>标签之间内容
  2. 获取< a href…>< /a>超链接之间内容
  3. 获取URL最后一个参数命名图片或传递参数
  4. 爬取网页中所有URL链接
  5. 爬取网页标题title两种方法
  6. 定位table位置并爬取属性-属性值
  7. 过滤< span>< /span>等标签
  8. 获取< >< />等标签内容
  9. 通过replace函数过滤< br />标签
  10. 过滤html标签

1.获取 < tr> 标签之间内容

核心代码：

   s =  re.findall( r'<tr>(.*?)</tr>',language,re.S|re.M)

举个例子：

import re

doc = '''<tr><th>性別：</th><td>男</td></tr><tr>'''

string1 = re.findall(r'<tr>(.*?)</tr>', doc, re.S | re.M)
print(string1[0])

string2= re.findall(r'<td>(.*?)</td>', doc, re.S | re.M)
print(string2)#从这里可以看出返回的是一个列表

输出结果：
>>>
<th>性別：</th><td>男</td>
['男']
>>>
#  re.I: 忽略大小写
#  re.M: 多行模式，改变'^'和'$'的行为
#  re.S: 点任意匹配模式，改变'.'的行为

2.获取超链接< a href=..>< /a >之间内容

核心代码：

    url =  re.findall(r'<a .*?>(.*?)</a>', content, re.S|re.M)

举个例子：

import re

doc = '''
<td>
<a href="https://www.baidu.com/articles/zj.html" title="浙江省">浙江省主题介绍</a>
<a href="https://www.baidu.com//articles/gz.html" title="贵州省">贵州省主题介绍</a>
</td>
'''

# 获取<a href></a>之间的内容
print('获取链接文本内容:')
s1 = re.findall(r'<a .*?>(.*?)</a>', doc, re.I|re.S|re.M)
for i in s1:
    print(i)

# 获取所有<a href></a>链接所有内容
print('\n获取完整链接内容:')
s2 = re.findall(r"<a href=.*?</a>", doc, re.I|re.S|re.M)
for i in s2:
    print(i)

# 获取<a href></a>中的URL
print('\n获取链接中URL:')
s = r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')"
s3 = re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')", doc, re.I|re.S|re.M)
for i in s3:
    print(i)

输出结果：
>>>
获取链接文本内容:
浙江省主题介绍
贵州省主题介绍

获取完整链接内容:
<a href="https://www.baidu.com/articles/zj.html" title="浙江省">浙江省主题介绍</a>
<a href="https://www.baidu.com//articles/gz.html" title="贵州省">贵州省主题介绍</a>

获取链接中URL:
https://www.baidu.com/articles/zj.html
https://www.baidu.com//articles/gz.html
>>>

3.获取URL最后一个参数命名图片或传递参数

举个例子：

url = "http://baidu.com.cn/file/2021/Img1415_00.jpg"
value = url.split('/')[-1]
print(value)

输出结果：
>>>
Img1415_00.jpg
>>>

4.爬取网页中所有URL链接

举个例子：

import re
import urllib.request

url = "http://www.csdn.net/"
doc = urllib.request.urlopen(url).read().decode('utf-8')
urls = re.findall(r"<a.*?href=.*?</a>", doc, re.I)
for url in urls:
    print(url)

link_list = re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')", doc)
for url in link_list:
    print(url)

输出结果：
>>>
<a href="https://live.csdn.net" target="_blank" data-report-click="{&quot;spm&quot;:&quot;1000.2115.3001.4124&quot;,&quot;dest&quot;:&quot;https://live.csdn.net&quot;,&quot;extra&quot;:&quot;{\&quot;fId\&quot;:558,\&quot;fName\&quot;:\&quot;floor-www-index\&quot;,\&quot;compName\&quot;:\&quot;www-interaction\&quot;,\&quot;compDataId\&quot;:\&quot;index-nav-www\&quot;,\&quot;fTitle\&quot;:\&quot;\&quot;,\&quot;pageId\&quot;:141}&quot;}" data-report-query="spm=1000.2115.3001.4124"><img src="https://img-home.csdnimg.cn/images/20210708022656.png" alt="直播"> <span>直播</span></a>
<a href="https://blink.csdn.net/" target="_blank" data-report-click="{&quot;spm&quot;:&quot;1000.2115.3001.4124&quot;,&quot;dest&quot;:&quot;https://blink.csdn.net/&quot;,&quot;extra&quot;:&quot;{\&quot;fId\&quot;:558,\&quot;fName\&quot;:\&quot;floor-www-index\&quot;,\&quot;compName\&quot;:\&quot;www-interaction\&quot;,\&quot;compDataId\&quot;:\&quot;index-nav-www\&quot;,\&quot;fTitle\&quot;:\&quot;\&quot;,\&quot;pageId\&quot;:141}&quot;}" data-report-query="spm=1000.2115.3001.4124"><img src="https://img-home.csdnimg.cn/images/20200629060547.png" alt="动态"> <span>动态</span></a>
…………
https://g.csdnimg.cn/static/logo/favicon32.ico
https://www.csdn.net
…………
>>>

5.爬取网页标题title两种方法

举个例子：

import re
import urllib.request

url = "http://www.csdn.net/"
doc = urllib.request.urlopen(url).read().decode('utf-8')

print('方法一:')
ti = re.compile(r'(?<=<title>).*?(?=</title>)', re.M|re.S)
tit = re.search(ti, doc)
print(tit.group())
#group() :匹配正则表达式整体结果,同group(0)Python中Turtle画蝴蝶。
#group(1) 列出第一个括号匹配部分，group(2) 列出第二个括号匹配部分。
 
print('方法二:')
title = re.findall(r'<title>(.*?)</title>', doc)
print(title[0])

输出结果：
>>>
方法一:
CSDN - 专业开发者社区
方法二:
CSDN - 专业开发者社区
>>>

6.定位table位置并爬取属性-属性值

正则表达式可以通过find函数寻找指定table方法进行定位。

举个例子：

start = content.find(r'<table class="infobox vevent"') #起点记录查询位置  
end = content.find(r'</table>')#结束位置
print(doc[start:end])

标签内容中的属性值 td 可能存在其他属性，同时< td>< /td>之间的内容也需要处理。下面先讲解获取td值的例子：

import re

doc = '''<table>  
<tr>  
<td>序列号</td><td>DEIN3-39CD3-2093J3</td>  
<td>日期</td><td>2013年1月22日</td>  
<td>售价</td><td>392.70 元</td>  
<td>说明</td><td>仅限5用户使用</td>  
</tr>  
</table>
'''

s = r'<td>(.*?)</td><td>(.*?)</td>'
m = re.findall(s, doc, re.S | re.M)
for line in m:
    print(line[0],line[1])

输出结果：
>>>
序列号 DEIN3-39CD3-2093J3
日期 2013年1月22日
售价 392.70 元
说明 仅限5用户使用
>>>

如果为< td id=“”>，则正则表达式为r’< td id=.?>(.?)< /td>’
如果不是id属性开头，则正则表达式为r’<td .?>(.?)< /td>’

7.过滤< span>< /span>等标签

举个例子：

import re

doc = '''
<table class="infobox bordered vcard" style="width: 21em; font-size: 89%; text-align: left;" cellpadding="3">
<tr>
<th>異名：</th>
<td><span class="nickname">(字) 翔宇</span></td>
</tr>
<tr>
<th>籍貫：</th>
<td><a href="../articles/%E81.html" title="浙江省">浙江省</a><a href="../articles/%E7%BB%8D82.html" title="绍兴市">绍兴市</a></td>
</tr>
</table>
'''

# 获取table中tr值
str = re.findall(r'<tr>(.*?)</tr>', doc, re.S | re.M)
for line in str:
    # 获取表格第二列td 属性
    td = re.findall(r'<td>(.*?)</td>', line, re.S|re.M)
    for n in td:
        if "span" in n:  # 处理标签<span>
            value = re.findall(r'<span .*?>(.*?)</span>', n, re.S|re.M)
            for i in value:
                print(i)

输出结果：
>>>
(字) 翔宇
>>>

8.获取< > < />等标签内容

在获取图集对应的原图它是存储在中，其中获取原图-original即可，缩略图-thumb，大图-big，通过正则表达式下载URL：

import re
import urllib.request
import os

content = '''
<>var images = [  
{ "big":"http://i-2.yxdown.com/2015/3/18/KDkwMHgp/6381cce.jpg",  
  "thumb":"http://i-2.yxdown.com/2015/3/18/KHgxMjAp/6381ccce.jpg",  
  "original":"http://i-2.yxdown.com/2015/3/18/6381ccc03e.jpg", }  
</>  
'''##我进行了简化，这里只是展示爬取方法，所以这个网址不存在404

str = re.findall(r'<>(.*?)</>', content, re.S | re.M)
for  in str:
    m = re.findall(r'"original":"(.*?)"', )
    for i in m:
        print(i)
        filename = os.path.basename(i)  # 去掉目录路径,返回文件名
        urllib.request.urlretrieve(i,'E:\\'+filename) #下载图片

输出结果：会输出网址，同时下载图片至E盘。

9.通过replace过滤< br />标签

核心代码：

    if '<br />' in value:
        value = value.replace('<br />','')   #过滤该标签
        value = value.replace('\n',' ')      #换行空格替代 否则总换行

10.过滤html标签

核心代码：

    value = re.sub('<[^>]+>','', doc)

举个例子：

import re

doc = '''
<table class="infobox" style="width: 21em; text-align: left;" cellpadding="3">
<tr bgcolor="#CDDBE8">
<th colspan="2">
<center class="role"><b>中華民國政治人士</b><br /></center>
</th>
</tr>
<tr>
<th>政黨：</th>
<td><span class="org">
<img alt="中國國民黨" src="../../../../images/Kuomintang.svg.png" width="19" height="19" border="0" />
<a href="../../../../articles/%8B%E6%B0%91%E9%BB%A8.html" title="中國國民黨">中國國民黨</a></span></td>
</tr>
</table>
'''

value = re.sub('<[^>]+>', '', doc)  # 过滤HTML标签
print(value)

输出结果：
>>>



中華民國政治人士



政黨：


中國國民黨
>>>

推荐文章：Python正则表达式指南

小发猫
关注
JS如何用正则匹配来截取地址栏后面某个字段a的数据
风中追风
05-16 335
在JavaScript中，你可以使用正则表达式（RegExp）来匹配并截取URL中查询参数（query parameter）但是，需要注意的是，正则表达式通常用于更复杂的字符串匹配场景，而对于简单的URL查询参数提取，使用。如果URL可能包含这些特殊字符，正则表达式将需要更加复杂来处理转义或编码的字符。请注意，这个正则表达式假设URL是格式良好的，并且参数名和值都不包含特殊字符（如。函数来解码任何可能存在的URL编码字符（如空格被编码为。另外，请注意，在返回参数值之前，我使用了。
Python提取网站数据笔记：使用正则表达式
FudGolang的博客
09-17 324
综上所述，正则表达式是一个强大的工具，可以帮助我们提取网站数据。通过使用Python的re模块，我们可以方便地编写和应用正则表达式来匹配和提取我们需要的数据。在Python中，我们经常需要从网站上提取数据，而正则表达式是一种强大的工具，可以帮助我们实现这个目标。需要注意的是，正则表达式的语法是非常灵活的，可以根据具体的需求进行调整。现在我们已经获取到了网页的HTML源代码，接下来就可以使用正则表达式来提取我们需要的数据了。在上面的代码中，我们使用了一个正则表达式来匹配符合电子邮件地址格式的字符串。
正则表达式爬取网页数据学习笔记
阿优乐扬的博客
07-08 2872
1、爬取title标签的内容 采用的正则表达式为’(.?)’，(.?)就代表我们爬取的内容，以爬取百度首页title为例； 爬取百度标题代码如下： # -*- coding: utf-8 -*- import re import urllib url = "http://www.baidu.com" content = urllib.urlopen(...
Python如何使用正则表达式爬取京东商品信息
12-17
如此庞大的一个电商网站，上面的商品信息是海量的，小编今天就带小伙伴利用正则表达式，并且基于输入的关键词来实现主题爬虫。 首先进去京东网，输入自己想要查询的商品，小编在这里以关键词“狗粮”作为搜索对象，...
Python3使用正则表达式爬取内涵段子示例
12-24
本文实例讲述了Python3使用正则表达式爬取内涵段子的方法。分享给大家供大家参考，具体如下： 似乎正则在爬虫中用的不是很广泛，但是也是基本功需要我们去掌握。 先将内涵段子网页爬取下来，之后利用正则进行匹配，...
【python实现网络爬虫（17）】使用正则表达式爬取百度以任意关键词搜索返回结果的数据
01-20
正则表达式爬取百度搜索结果1. 爬虫架构2. 创建分页url2.1 网页url规律查找2.2 创建接口输出url测试3 正则表达式匹配3.1 直接匹配源代码3.2 配合网页解析进行结果匹配4. 小结5. 全部代码5.1 re + 源代码5.2 bs4 + re...
python正则表达式爬取网页数据_常用正则表达式爬取网页信息及HTML分析总结
weixin_39796363的博客
11-29 1141
Python爬取网页信息时，经常使用的正则表达式及方法。1.获取标签之间内容2.获取超链接之间内容3.获取URL最后一个参数命名图片或传递参数4.爬取网页中所有URL链接5.爬取网页标题title两种方法6.定位table位置并爬取属性-属性值7.过滤等标签8.获取等标签内容1). 获取标签之间内容开始标签如：、、、、、...后缀标签如：、、、、、...核心代码：res_tr = r'(.*?)'...
Python爬虫3-数据解析方法：正则表达式介绍及案例
Sun123234的博客
02-01 1036
Python爬虫3-数据解析方法：正则表达式介绍及案例
RE正则表达式（使用python语言进行爬虫为例）
lizyviking_的博客
03-28 1141
re正则表达式，是一种对字符串进行操作的方法，可以在爬取网页时提取我们想要的数据。
requests 正则表达正式基础爬虫案例二：爬取网站数据
朗朗的博客
04-12 531
要求：爬取https://ssr1.scrape.center/ 网站中所有电影标题、类型、地区、电影时长、上映日期、评分、简介；列表页面共10页，根据分析可得出，列表页面地址：https://ssr1.scrape.center/page/{页码}；本文参考文献：https://cuiqingcai.com/202224.html ，想学习爬虫的可以移步。分析：网站共有两个页面组成，电影列表和详情，我们所需要的内容都在详情页面里面可以找到。其他不说了，直接看代码得了，正则表达式部分比较烂。
python中如何使用正则表达式提取数据
xiaoweids的博客
06-25 1455
本文主要介绍了python中如何使用正则表达式提取数据问题。具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。re 模块使 Python 语言拥有全部的正则表达式功能。compile 函数可创建一个模式字符串和可选的标志参数组成的一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。re 模块也提供了与这些方法功能完全一致的函数，这些函数使用一个模式字符串做为它们的第一个参数。
[python爬虫] 正则表达式使用技巧及爬取个人博客实例
热门推荐
杨秀璋的专栏
10-18 4万+
这篇博客是自己《数据挖掘与分析》课程讲到正则表达式爬虫的相关内容，主要简单介绍Python正则表达式爬虫，同时讲述常见的正则表达式分析方法，最后通过实例爬取作者的个人博客网站。希望这篇基础文章对您有所帮助，如果文章中存在错误或不足之处，还请海涵。真的太忙了，太长时间没有写博客了，抱歉~ 一.正则表达式 二.正则表达式抓取网络数据常见方法 1.抓取标签间的内容 2.抓取标签中的参数 三.实战
python网络爬虫：使用正则表达式解析网页
m0_51877411的博客
05-04 3065
python网络爬虫 使用正则表达式解析网页 Python正则表达式 正则表达式是一种可以用于模式匹配和替换的工具，可以让用户通过使用一系列的特殊字符构建匹配模式，然后把匹配模式与待比较字符串或文件进行比较，根据比较对象中是否包含匹配模式，执行相应的程序（替换删除等）。 严格的字符匹配 python只支持re模块进行正则表达式的书写 严格的字符匹配示例 查找 import re example_obj = "1. A small sentence. - 2. Another tiny sentence.
python 正则表达式使用方法及爬虫案例
weixin_44722536的博客
06-01 975
这篇博客是自己《数据挖掘与分析》课程讲到正则表达式爬虫的相关内容，主要简单介绍Python正则表达式爬虫，同时讲述常见的正则表达式分析方法，最后通过实例爬取作者的个人博客网站。希望这篇基础文章对您有所帮助，如果文章中存在错误或不足之处，还请海涵。真的太忙了，太长时间没有写博客了，抱歉~一.正则表达式正则...
Python使用正则表达式爬取网页信息
Jun_Jun_0的博客
04-15 8738
Python使用正则表达式爬取网页信息一、正则表达式是什么?二、实战项目1.访问链接2.项目源代码 一、正则表达式是什么? 概念: 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。 正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。 个人理解: 简单来说就是使用正则表达式来写一个过滤器来过滤了掉杂乱的网页源代码从中来获取自己想要的内容 二、实战项目 1.访问
前端 Flex 布局语法详解
ning的博客
11-10 1106
Flex是Flexible Box的缩写，意为“弹性布局”。它允许容器内的项目（子元素）自动调整大小，以适应不同屏幕尺寸和布局需求。如果需要行内Flex布局，可以使用Flex布局提供了一种强大而灵活的方式来创建响应式布局。通过理解并应用上述属性，你可以轻松地创建出复杂且适应不同屏幕尺寸的布局。随着现代浏览器对Flex布局的广泛支持，它已经成为前端开发中不可或缺的一部分。版权声明：本博客内容为原创，转载请保留原文链接及作者信息。参考文章CSDN - Flex布局详解菜鸟教程 - Flex 布局语法教程。
蓝凌OA-EKP hrStaffWebService 任意文件读取漏洞
最新发布
iSee857的博客
11-12 471
它集成了流程管理、知识管理、会议管理、公文管理、合同管理、费用管控等多个模块，旨在帮助企业解决基础OA应用、系统集成、开发平台和创新业务定制等长期扩展需求，推动企业实现管理在线化、知识赋能化、运营数字化和人机智能化‌。漏洞，未经身份验证攻击者可通过该漏洞读取系统重要文件（如数据库配置文件、系统配置文件）、数据库配置文件等等，导致网站处于极度不安全状态。在处理客户端输入的参数时，进行严格的验证和过滤，防止未授权的文件访问。返回数据经过base64编码 解码后可得读取数据。
python爬虫正则表达式爬取网页数据
03-08
Python爬虫正则表达式爬取网页数据的方法如下： 1. 首先，需要导入所需的库：`requests`用于发送HTTP请求，`re`用于处理正则表达式。 ```python import requests import re ``` 2. 使用`requests.get()`方法获取网页内容。 ```python url = '目标网址' response = requests.get(url) content = response.text ``` 3. 使用正则表达式提取所需数据。例如，提取所有的链接： ```python pattern = r'<a href="(.*?)">' links = re.findall(pattern, content) ``` 4. 遍历并打印提取到的数据。 ```python for link in links: print(link) ``` 将以上代码整合在一起： ```python import requests import re url = '目标网址' response = requests.get(url) content = response.text pattern = r'<a href="(.*?)">' links = re.findall(pattern, content) for link in links: print(link) ``` 请将`目标网址`替换为实际要爬取的网址。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值