用正则表达式爬取数据,网络爬虫正则表达式

最新推荐文章于 2024-10-19 22:54:18 发布
最新推荐文章于 2024-10-19 22:54:18 发布
阅读量1k 收藏 14
点赞数 10
文章标签： mysql 数据库 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Night368/article/details/135957723
版权

本篇文章给大家谈谈用正则表达式爬取数据，以及网络爬虫正则表达式，希望对各位有所帮助，不要忘了收藏本站喔。

来源于此为了方便自己查找，进行了简化与整理。

本文涉及内容如下：

  1. 获取< tr>< /tr>标签之间内容
  2. 获取< a href…>< /a>超链接之间内容
  3. 获取URL最后一个参数命名图片或传递参数
  4. 爬取网页中所有URL链接
  5. 爬取网页标题title两种方法
  6. 定位table位置并爬取属性-属性值
  7. 过滤< span>< /span>等标签
  8. 获取< >< />等标签内容
  9. 通过replace函数过滤< br />标签
  10. 过滤html标签

1.获取 < tr> 标签之间内容

核心代码：

   s =  re.findall( r'<tr>(.*?)</tr>',language,re.S|re.M)

举个例子：

import re

doc = '''<tr><th>性別：</th><td>男</td></tr><tr>'''

string1 = re.findall(r'<tr>(.*?)</tr>', doc, re.S | re.M)
print(string1[0])

string2= re.findall(r'<td>(.*?)</td>', doc, re.S | re.M)
print(string2)#从这里可以看出返回的是一个列表

输出结果：
>>>
<th>性別：</th><td>男</td>
['男']
>>>
#  re.I: 忽略大小写
#  re.M: 多行模式，改变'^'和'$'的行为
#  re.S: 点任意匹配模式，改变'.'的行为

2.获取超链接< a href=..>< /a >之间内容

核心代码：

    url =  re.findall(r'<a .*?>(.*?)</a>', content, re.S|re.M)

举个例子：

import re

doc = '''
<td>
<a href="https://www.baidu.com/articles/zj.html" title="浙江省">浙江省主题介绍</a>
<a href="https://www.baidu.com//articles/gz.html" title="贵州省">贵州省主题介绍</a>
</td>
'''

# 获取<a href></a>之间的内容
print('获取链接文本内容:')
s1 = re.findall(r'<a .*?>(.*?)</a>', doc, re.I|re.S|re.M)
for i in s1:
    print(i)

# 获取所有<a href></a>链接所有内容
print('\n获取完整链接内容:')
s2 = re.findall(r"<a href=.*?</a>", doc, re.I|re.S|re.M)
for i in s2:
    print(i)

# 获取<a href></a>中的URL
print('\n获取链接中URL:')
s = r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')"
s3 = re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')", doc, re.I|re.S|re.M)
for i in s3:
    print(i)

输出结果：
>>>
获取链接文本内容:
浙江省主题介绍
贵州省主题介绍

获取完整链接内容:
<a href="https://www.baidu.com/articles/zj.html" title="浙江省">浙江省主题介绍</a>
<a href="https://www.baidu.com//articles/gz.html" title="贵州省">贵州省主题介绍</a>

获取链接中URL:
https://www.baidu.com/articles/zj.html
https://www.baidu.com//articles/gz.html
>>>

3.获取URL最后一个参数命名图片或传递参数

举个例子：

url = "http://baidu.com.cn/file/2021/Img1415_00.jpg"
value = url.split('/')[-1]
print(value)

输出结果：
>>>
Img1415_00.jpg
>>>

4.爬取网页中所有URL链接

举个例子：

import re
import urllib.request

url = "http://www.csdn.net/"
doc = urllib.request.urlopen(url).read().decode('utf-8')
urls = re.findall(r"<a.*?href=.*?</a>", doc, re.I)
for url in urls:
    print(url)

link_list = re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')", doc)
for url in link_list:
    print(url)

输出结果：
>>>
<a href="https://live.csdn.net" target="_blank" data-report-click="{&quot;spm&quot;:&quot;1000.2115.3001.4124&quot;,&quot;dest&quot;:&quot;https://live.csdn.net&quot;,&quot;extra&quot;:&quot;{\&quot;fId\&quot;:558,\&quot;fName\&quot;:\&quot;floor-www-index\&quot;,\&quot;compName\&quot;:\&quot;www-interaction\&quot;,\&quot;compDataId\&quot;:\&quot;index-nav-www\&quot;,\&quot;fTitle\&quot;:\&quot;\&quot;,\&quot;pageId\&quot;:141}&quot;}" data-report-query="spm=1000.2115.3001.4124"><img src="https://img-home.csdnimg.cn/images/20210708022656.png" alt="直播"> <span>直播</span></a>
<a href="https://blink.csdn.net/" target="_blank" data-report-click="{&quot;spm&quot;:&quot;1000.2115.3001.4124&quot;,&quot;dest&quot;:&quot;https://blink.csdn.net/&quot;,&quot;extra&quot;:&quot;{\&quot;fId\&quot;:558,\&quot;fName\&quot;:\&quot;floor-www-index\&quot;,\&quot;compName\&quot;:\&quot;www-interaction\&quot;,\&quot;compDataId\&quot;:\&quot;index-nav-www\&quot;,\&quot;fTitle\&quot;:\&quot;\&quot;,\&quot;pageId\&quot;:141}&quot;}" data-report-query="spm=1000.2115.3001.4124"><img src="https://img-home.csdnimg.cn/images/20200629060547.png" alt="动态"> <span>动态</span></a>
…………
https://g.csdnimg.cn/static/logo/favicon32.ico
https://www.csdn.net
…………
>>>

5.爬取网页标题title两种方法

举个例子：

import re
import urllib.request

url = "http://www.csdn.net/"
doc = urllib.request.urlopen(url).read().decode('utf-8')

print('方法一:')
ti = re.compile(r'(?<=<title>).*?(?=</title>)', re.M|re.S)
tit = re.search(ti, doc)
print(tit.group())
#group() :匹配正则表达式整体结果,同group(0)python创意作品。
#group(1) 列出第一个括号匹配部分，group(2) 列出第二个括号匹配部分。
 
print('方法二:')
title = re.findall(r'<title>(.*?)</title>', doc)
print(title[0])

输出结果：
>>>
方法一:
CSDN - 专业开发者社区
方法二:
CSDN - 专业开发者社区
>>>

6.定位table位置并爬取属性-属性值

正则表达式可以通过find函数寻找指定table方法进行定位。

举个例子：

start = content.find(r'<table class="infobox vevent"') #起点记录查询位置  
end = content.find(r'</table>')#结束位置
print(doc[start:end])

标签内容中的属性值 td 可能存在其他属性，同时< td>< /td>之间的内容也需要处理。下面先讲解获取td值的例子：

import re

doc = '''<table>  
<tr>  
<td>序列号</td><td>DEIN3-39CD3-2093J3</td>  
<td>日期</td><td>2013年1月22日</td>  
<td>售价</td><td>392.70 元</td>  
<td>说明</td><td>仅限5用户使用</td>  
</tr>  
</table>
'''

s = r'<td>(.*?)</td><td>(.*?)</td>'
m = re.findall(s, doc, re.S | re.M)
for line in m:
    print(line[0],line[1])

输出结果：
>>>
序列号 DEIN3-39CD3-2093J3
日期 2013年1月22日
售价 392.70 元
说明 仅限5用户使用
>>>

如果为< td id=“”>，则正则表达式为r’< td id=.?>(.?)< /td>’
如果不是id属性开头，则正则表达式为r’<td .?>(.?)< /td>’

7.过滤< span>< /span>等标签

举个例子：

import re

doc = '''
<table class="infobox bordered vcard" style="width: 21em; font-size: 89%; text-align: left;" cellpadding="3">
<tr>
<th>異名：</th>
<td><span class="nickname">(字) 翔宇</span></td>
</tr>
<tr>
<th>籍貫：</th>
<td><a href="../articles/%E81.html" title="浙江省">浙江省</a><a href="../articles/%E7%BB%8D82.html" title="绍兴市">绍兴市</a></td>
</tr>
</table>
'''

# 获取table中tr值
str = re.findall(r'<tr>(.*?)</tr>', doc, re.S | re.M)
for line in str:
    # 获取表格第二列td 属性
    td = re.findall(r'<td>(.*?)</td>', line, re.S|re.M)
    for n in td:
        if "span" in n:  # 处理标签<span>
            value = re.findall(r'<span .*?>(.*?)</span>', n, re.S|re.M)
            for i in value:
                print(i)

输出结果：
>>>
(字) 翔宇
>>>

8.获取< > < />等标签内容

在获取图集对应的原图它是存储在中，其中获取原图-original即可，缩略图-thumb，大图-big，通过正则表达式下载URL：

import re
import urllib.request
import os

content = '''
<>var images = [  
{ "big":"http://i-2.yxdown.com/2015/3/18/KDkwMHgp/6381cce.jpg",  
  "thumb":"http://i-2.yxdown.com/2015/3/18/KHgxMjAp/6381ccce.jpg",  
  "original":"http://i-2.yxdown.com/2015/3/18/6381ccc03e.jpg", }  
</>  
'''##我进行了简化，这里只是展示爬取方法，所以这个网址不存在404

str = re.findall(r'<>(.*?)</>', content, re.S | re.M)
for  in str:
    m = re.findall(r'"original":"(.*?)"', )
    for i in m:
        print(i)
        filename = os.path.basename(i)  # 去掉目录路径,返回文件名
        urllib.request.urlretrieve(i,'E:\\'+filename) #下载图片

输出结果：会输出网址，同时下载图片至E盘。

9.通过replace过滤< br />标签

核心代码：

    if '<br />' in value:
        value = value.replace('<br />','')   #过滤该标签
        value = value.replace('\n',' ')      #换行空格替代 否则总换行

10.过滤html标签

核心代码：

    value = re.sub('<[^>]+>','', doc)

举个例子：

import re

doc = '''
<table class="infobox" style="width: 21em; text-align: left;" cellpadding="3">
<tr bgcolor="#CDDBE8">
<th colspan="2">
<center class="role"><b>中華民國政治人士</b><br /></center>
</th>
</tr>
<tr>
<th>政黨：</th>
<td><span class="org">
<img alt="中國國民黨" src="../../../../images/Kuomintang.svg.png" width="19" height="19" border="0" />
<a href="../../../../articles/%8B%E6%B0%91%E9%BB%A8.html" title="中國國民黨">中國國民黨</a></span></td>
</tr>
</table>
'''

value = re.sub('<[^>]+>', '', doc)  # 过滤HTML标签
print(value)

输出结果：
>>>



中華民國政治人士



政黨：


中國國民黨
>>>

推荐文章：Python正则表达式指南

Night368171
关注
Python使用正则表达式爬取网页信息
Jun_Jun_0的博客
04-15 8748
Python使用正则表达式爬取网页信息一、正则表达式是什么?二、实战项目1.访问链接2.项目源代码 一、正则表达式是什么? 概念: 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。 正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。 个人理解: 简单来说就是使用正则表达式来写一个过滤器来过滤了掉杂乱的网页源代码从中来获取自己想要的内容 二、实战项目 1.访问
python正则表达式爬取网页数据_常用正则表达式爬取网页信息及HTML分析总结
weixin_39796363的博客
11-29 1142
Python爬取网页信息时，经常使用的正则表达式及方法。1.获取标签之间内容2.获取超链接之间内容3.获取URL最后一个参数命名图片或传递参数4.爬取网页中所有URL链接5.爬取网页标题title两种方法6.定位table位置并爬取属性-属性值7.过滤等标签8.获取等标签内容1). 获取标签之间内容开始标签如：、、、、、...后缀标签如：、、、、、...核心代码：res_tr = r'(.*?)'...
【python实现网络爬虫（17）】使用正则表达式爬取百度以任意关键词搜索返回结果的数据
01-20
正则表达式爬取百度搜索结果1. 爬虫架构2. 创建分页url2.1 网页url规律查找2.2 创建接口输出url测试3 正则表达式匹配3.1 直接匹配源代码3.2 配合网页解析进行结果匹配4. 小结5. 全部代码5.1 re + 源代码5.2 bs4 + re 1. 爬虫架构 为了减少不必要的步骤，直接加载一下爬虫的基础架构，如下。注意，一定要填写自己的headers的内容 import re import requests import time headers = { 'Cookie': '_ga=GA1.2.1075258978.1586877585; _gid=GA1.2.3
提取网页中链接和标题的正则表达式
ranmer的专栏
06-08 1441
1.远程抓取： using System.Text.RegularExpressions;using System.IO;  WebClient   w   =   new   WebClient();     byte[]   bytes   =   w.DownloadData("http://news.sina.com.cn/");     string   strHtml   =   Sy
初识Python爬虫，使用正则表达式提取数据
最新发布
m0_75129356的博客
10-19 1101
正则：用来匹配字符产的一门表达式语言1.正则支持普通字符2.元字符，即一个符号匹配部分对应内容\d 匹配0-9的数字 \d\d 一行提取2个数字\w 匹配数字、字母、下划线（0-9、a-z、_）\W \w取反\D \d取反[abc] 自定义匹配abc[^abc 】（英文的】）[abc]取反. 除了换行符都可以匹配。量词控制，前面元字符出现的频次+，前面的元字符出现1次或多次*，前面的元字符出现0次或多次。贪婪匹配，尽可能多的匹配数据？前面的元字符，出现0次或一次。
[python] 常用正则表达式爬取网页信息及分析HTML标签总结
热门推荐
杨秀璋的专栏
04-07 12万+
这篇文章主要是介绍Python爬取网页信息时，经常使用的正则表达式及方法。它是一篇总结性文章，实用性比较大，主要解决自己遇到的爬虫问题，也希望对你有所帮助~ 当然如果会Selenium基于自动化测试爬虫、BeautifulSoup分析网页DOM节点，这就更方便了，但本文更多的是介绍基于正则的底层爬取分析。 涉及内容如下： 常用正则表达式爬取网页信息及HTML分析总结 1.获取<t...
网页数据提取 -- 正则表达式
weixin_54104072的博客
10-29 550
Regular Expression，译作正则表达式或正规表示法，表示有规则的表达式，意思是说，描述一段文本排列规则的表达式。正则表达式并不是Python的一部分。而是一套独立于编程语言，用于处理复杂文本信息的强大的高级文本操作工具。正则表达式拥有自己独特的规则语法以及一个独立的正则处理引擎，我们根据正则语法编写好规则（模式）以后，引擎不仅能够根据规则进行模糊文本查找，还可以进行模糊分割，替换等复杂的文本操作，能让开发者随心所欲地处理文本信息。
python爬虫正则表达式实例-Python 正则表达式爬虫使用案例解析
weixin_37988176的博客
11-01 474
现在拥有了正则表达式这把神兵利器，我们就可以进行对爬取到的全部网页源代码进行筛选了。下面我们一起尝试一下爬取内涵段子网站：打开之后，不难看出里面一个一个非常有内涵的段子，当你进行翻页的时候，注意url地址的变化：第一页url: http: //www.neihan8.com/article/list_5_1 .html第二页url: http: //www.neihan8.com/article/...
正则表达式爬取网页内容的简单使用
专注于全栈开发领域
01-10 7133
对于网页的html标签要善于发现标签的一些特定写法有助于爬取正则表达式的书写，尤其一些独有的标签 列入  class、id、src等 # coding: utf-8 import re string = '秋高气爽' # 1.构造正则表达式 pattern = re.compile(r') # 2.findall()查找所有符合规则的字符串 rs = re.findall(pattern
Python如何使用正则表达式爬取京东商品信息
12-17
如此庞大的一个电商网站，上面的商品信息是海量的，小编今天就带小伙伴利用正则表达式，并且基于输入的关键词来实现主题爬虫。 首先进去京东网，输入自己想要查询的商品，小编在这里以关键词“狗粮”作为搜索对象，...
Python3使用正则表达式爬取内涵段子示例
12-24
本文实例讲述了Python3使用正则表达式爬取内涵段子的方法。分享给大家供大家参考，具体如下： 似乎正则在爬虫中用的不是很广泛，但是也是基本功需要我们去掌握。 先将内涵段子网页爬取下来，之后利用正则进行匹配，...
使用正则表达式实现网页爬虫的思路详解
12-13
网页爬虫：就是一个程序用于在互联网中获取指定规则的数据。 思路： 1.为模拟网页爬虫，我们可以现在我们的tomcat服务器端部署一个1.html网页。（部署的步骤：在tomcat目录的webapps目录的ROOTS目录下新建一个1.html。使用notepad++进行编辑，编辑内容为： ） 2.使用URL与网页建立联系 3.获取输入流，用于读取网页中的内容 4.建立正则规则，因为这里我们是爬去网页中的邮箱信息，所以建立匹配 邮箱的正则表达式：String regex=”\w+@\w+(\.\w+)+”; 5.将提取到的数据放到集合中。 代码： import java.io.Buffered
[python爬虫] 正则表达式使用技巧及爬取个人博客实例
杨秀璋的专栏
10-18 4万+
这篇博客是自己《数据挖掘与分析》课程讲到正则表达式爬虫的相关内容，主要简单介绍Python正则表达式爬虫，同时讲述常见的正则表达式分析方法，最后通过实例爬取作者的个人博客网站。希望这篇基础文章对您有所帮助，如果文章中存在错误或不足之处，还请海涵。真的太忙了，太长时间没有写博客了，抱歉~ 一.正则表达式 二.正则表达式抓取网络数据常见方法 1.抓取标签间的内容 2.抓取标签中的参数 三.实战
正则表达式爬取网页数据学习笔记
阿优乐扬的博客
07-08 2894
1、爬取title标签的内容 采用的正则表达式为’(.?)’，(.?)就代表我们爬取的内容，以爬取百度首页title为例； 爬取百度标题代码如下： # -*- coding: utf-8 -*- import re import urllib url = "http://www.baidu.com" content = urllib.urlopen(...
网页爬取常用正则表达式的介绍
FOR.GET
08-11 2258
0 网页爬取准备1 正则表达式基础1.1 正则表达式模式及修饰符(flags)1.1.1 正则表达式模式1.1.2 正则表达式修饰符1.2 正则表达式匹配方法1.2.1 re.match()函数【单个】1.2.2 re.search()函数【单个】1.2.3 re.findall()函数【所有】1.2.4 re.finditer()函数【所有】1.2.5 re.split()分割匹配的字符串1.2.6 re.sub()函数检索和替换2 常用正则表达式2.1 贪婪模式2.2 中文信息2.3 匹配空白行2.4.
正则表达式爬取网页
qq_45126531的博客
03-26 1714
正则表达式 什么是正则表达式？ 单字符匹配： 多字符匹配： 小案例 开始 结束 贪婪 非贪婪 转义字符和原生字符串 分组 re模块常用函数 爬虫赶集网
正则表达式爬取网页实战
sgsdsdd的博客
03-27 2400
文章目录网址：[猫眼电影排行榜](https://maoyan.com/board/4/)1.前提2.确定爬取目标3.页面分析4.正则表达式5.最终完整代码 网址：猫眼电影排行榜 1.前提 首先，Chrome浏览器，右键点击“检查”，打开开发者模式，切换到network，点击当前页面4/。点开后，切换到response，查看源代码。若是直接看elements中的代码，有可能和源代码不同，因为那是经过浏览器加工后的代码。 2.确定爬取目标 我们爬取出电影序号，电影名称，图像链接，主演，电影上映时间 3.页面
常用正则表达式爬取网页信息及HTML分析总结
weixin_34234823的博客
05-20 347
Python爬取网页信息时，经常使用的正则表达式及方法。 1.获取<tr></tr>标签之间内容 2.获取<a href..></a>超链接之间内容 3.获取URL最后一个参数命名图片或传递参数 4.爬取网页中所有URL链接 5.爬取网页标题title两种方法 6.定位table位置并爬取属性-属性值 7.过滤<span&gt...
python爬虫正则表达式爬取网页数据
03-08
Python爬虫正则表达式爬取网页数据的方法如下： 1. 首先，需要导入所需的库：`requests`用于发送HTTP请求，`re`用于处理正则表达式。 ```python import requests import re ``` 2. 使用`requests.get()`方法获取网页内容。 ```python url = '目标网址' response = requests.get(url) content = response.text ``` 3. 使用正则表达式提取所需数据。例如，提取所有的链接： ```python pattern = r'<a href="(.*?)">' links = re.findall(pattern, content) ``` 4. 遍历并打印提取到的数据。 ```python for link in links: print(link) ``` 将以上代码整合在一起： ```python import requests import re url = '目标网址' response = requests.get(url) content = response.text pattern = r'<a href="(.*?)">' links = re.findall(pattern, content) for link in links: print(link) ``` 请将`目标网址`替换为实际要爬取的网址。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值