Python网络爬虫：正则表达式

最新推荐文章于 2022-08-26 10:44:30 发布
最新推荐文章于 2022-08-26 10:44:30 发布
阅读量1.1k 收藏 6
点赞数
分类专栏： Python 文章标签： 正则表达式 python 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_18404993/article/details/104504729
版权

文章目录


常见匹配模式
在这里插入图片描述

1.re.match()

re.match() 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none

常规匹配
import re

content = 'Hello 123 4567 World_This is a Regex Demo'
print(len(content))
result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}.*Demo$',content)
print(result)
print(result.group())
print(result.span())

在这里插入图片描述

范匹配
import re

content = 'Hello 123 4567 World_This is a Regex Demo'
result = re.match('Hello.*Demo',content)
print(result)
print(result.group())

在这里插入图片描述

匹配目标

匹配123 4567

import re

content = 'Hello 123 4567 World_This is a Regex Demo'
result = re.match('^Hello\s(\d+\s\d+)\sWorld.*Demo$',content)
print(result)
print(result.group(1))
贪婪匹配
import re

content = 'Hello 123 4567 World_This is a Regex Demo'
result = re.match('^He.*(\d+).*Demo$',content)
print(result)
print(result.group(1))

在这里插入图片描述
.*为贪婪模式，即尽可能多地匹配

非贪婪匹配
import re

content = 'Hello 123 4567 World_This is a Regex Demo'
result = re.match('^He.*?(\d+\s\d+).*Demo$',content)
print(result)
print(result.group(1))

在这里插入图片描述
.*?为非贪婪模式，匹配尽可能少的字符

匹配模式
import re

content = """Hello 123 4567 World_This
is a Regex Demo""" 
result = re.match('^He.*?(\d+\s\d+).*?Demo$',content)
print(result)

在这里插入图片描述
无法匹配换行符

指定匹配模式：

import re

content = """Hello 123 4567 World_This
is a Regex Demo""" 
result = re.match('^He.*?(\d+\s\d+).*?Demo$',content,re.S)
print(result)
print(result.group(1))

在这里插入图片描述

转义
import re

content = "the price of shirt is $9.15"
result = re.match('the price of shirt is \$9\.15',content)
print(result)
print(result.group())

在这里插入图片描述
尽量使用范匹配，使用括号得到匹配目标；尽量使用非贪婪模式；有换行符就用re.S

2.re.search()

re.search()扫描整个字符串并返回第一个成功的匹配

import re

content = "the price of shirt is $9.15"
result = re.search('price',content)
print(result)
print(result.group())

在这里插入图片描述

import re
content = """<meta name="description" content="腾讯网从2003年创立至今，已经成为集新闻信息，区域垂直生活服务、社会化媒体资讯和产品为一体的互联网媒体平台。腾讯网下设新闻、科技、财经、娱乐、体育、汽车、时尚等多个频道，充分满足用户对不同类型资讯的需求。同时专注不同领域内容，打造精品栏目，并顺应技术发展趋势，推出网络直播等创新形式，改变了用户获取资讯的方式和习惯。" />"""
result = re.search('<meta.*?content="(.*?)"\s/>',content)
print(result)
print(result.group(1))

在这里插入图片描述

3.re.findall()

搜索字符串，以列表形式返回全部能匹配的子串

import re
content = """<ul class="nav-main fl" bossexpo="bg_dh_1">
    <li class="nav-item">
    <a href="http://news.qq.com/" target="_blank" bosszone="dh_1">新闻</a>
  </li>
    <li class="nav-item">
    <a href="http://v.qq.com/" target="_blank" bosszone="dh_2">视频</a>
  </li>
    <li class="nav-item">
    <a href="http://new.qq.com/ch/photo/" target="_blank" bosszone="dh_3">图片</a>
  </li>
    <li class="nav-item">
    <a href="https://new.qq.com/ch/milite/" target="_blank" bosszone="dh_4">军事</a>
  </li>
    <li class="nav-item">
    <a href="https://sports.qq.com/" target="_blank" bosszone="dh_5">体育</a>
  </li>
    <li class="nav-item">
    <a href="http://sports.qq.com/nba/" target="_blank" bosszone="dh_6">NBA</a>
  </li>
    <li class="nav-item">
    <a href="https://new.qq.com/ch/ent/" target="_blank" bosszone="dh_7">娱乐</a>
  </li>
    <li class="nav-item">
    <a href="https://new.qq.com/ch/finance" target="_blank" bosszone="dh_8">财经</a>
  </li>
    <li class="nav-item">
    <a href="https://new.qq.com/ch/tech/" target="_blank" bosszone="dh_9">科技</a>
  </li>
    <li class="nav-item">
    <a href="https://new.qq.com/ch/fashion/" target="_blank" bosszone="dh_10">时尚</a>
  </li>
    <li class="nav-item">
    <a href="http://auto.qq.com/" target="_blank" bosszone="dh_11">汽车</a>
  </li>
    <li class="nav-item">
    <a href="http://house.qq.com/" target="_blank" bosszone="dh_12">房产</a>
  </li>
    <li class="nav-item">
    <a href="https://new.qq.com/ch/edu/" target="_blank" bosszone="dh_13">教育</a>
  </li>
    <li class="nav-item">
    <a href="https://new.qq.com/ch/cul/" target="_blank" bosszone="dh_14">文化</a>
  </li>
    <li class="nav-item">
    <a href="https://new.qq.com/ch/games/" target="_blank" bosszone="dh_15">游戏</a>
  </li>
    <li class="nav-item">
    <a href="https://new.qq.com/ch/astro/" target="_blank" bosszone="dh_16">星座</a>
  </li>
  </ul><!--124ab1f2c59361a8f083289f63e618ba--><!--[if !IE]>|xGv00|c8ad5e7a2a8e8bd6a70240bd0844a132<![endif]-->
        <div class="nav-more fl">
  <div class="more-txt" bosszone="dh_more">更多</div>
  <div class="nav-sub" bossexpo="bg_dh_2">
    <ul class="sub-list cf">
            <li class="nav-item">
        <a href="https://new.qq.com/ch/ori/" target="_blank" bosszone="dh_1_2">独家</a>
      </li>
            <li class="nav-item">
        <a href="https://v.qq.com/tv/" target="_blank" bosszone="dh_2_2">热剧</a>
      </li>
            <li class="nav-item">
        <a href="https://new.qq.com/ch/antip/" target="_blank" bosszone="dh_3_2">抗肺炎</a>
      </li>
            <li class="nav-item">
        <a href="http://new.qq.com/ch/history/" target="_blank" bosszone="dh_4_2">历史</a>
      </li>
            <li class="nav-item">
        <a href="http://sports.qq.com/premierleague/" target="_blank" bosszone="dh_5_2">英超</a>
      </li>
            <li class="nav-item">
        <a href="http://sports.qq.com/cba/" target="_blank" bosszone="dh_6_2">CBA</a>
      </li>
            <li class="nav-item">
        <a href="https://new.qq.com/ch2/star" target="_blank" bosszone="dh_7_2">明星</a>
      </li>
            <li class="nav-item">
        <a href="http://money.qq.com/" target="_blank" bosszone="dh_8_2">理财</a>
      </li>
            <li class="nav-item">
        <a href="https://new.qq.com/ch/5G/" target="_blank" bosszone="dh_9_2">5G</a>
      </li>
            <li class="nav-item">
        <a href="http://health.qq.com/" target="_blank" bosszone="dh_10_2">健康</a>
      </li>
            <li class="nav-item">
        <a href="http://auto.qq.com/" target="_blank" bosszone="dh_11_2">车型</a>
      </li>
            <li class="nav-item">
        <a href="http://www.jia360.com" target="_blank" bosszone="dh_12_2">家居</a>
      </li>
            <li class="nav-item">
        <a href="http://class.qq.com/" target="_blank" bosszone="dh_13_2">课程</a>
      </li>
            <li class="nav-item">
        <a href="http://dajia.qq.com/" target="_blank" bosszone="dh_14_2">大家</a>
      </li>
            <li class="nav-item">
        <a href="https://new.qq.com/ch/comic/" target="_blank" bosszone="dh_15_2">动漫</a>
      </li>
            <li class="nav-item">
        <a href="http://gongyi.qq.com/" target="_blank" bosszone="dh_16_2">公益</a>
      </li>
            <li class="nav-item">
        <a href="http://tianqi.qq.com/index.htm" target="_blank" bosszone="dh_17_2">天气</a>
      </li>
            <li class="nav-item">
        <a href="https://new.qq.com/ch/politics/" target="_blank" bosszone="dh_18_2">政务</a>
      </li>
            <li class="nav-item">
        <a href="https://v.qq.com/channel/variety" target="_blank" bosszone="dh_19_2">综艺</a>
      </li>
            <li class="nav-item">
        <a href="http://news.qq.com/photon/photoex.htm" target="_blank" bosszone="dh_20_2">影展</a>
      </li>
            <li class="nav-item">
        <a href="https://new.qq.com/ch/world/" target="_blank" bosszone="dh_21_2">国际</a>
      </li>
            <li class="nav-item">
        <a href="http://sports.qq.com/csocce/csl/" target="_blank" bosszone="dh_22_2">中超</a>
      </li>
            <li class="nav-item">
        <a href="http://fans.sports.qq.com/#/" target="_blank" bosszone="dh_23_2">社区</a>
      </li>
            <li class="nav-item">
        <a href="http://v.qq.com/movie/" target="_blank" bosszone="dh_24_2">电影</a>
      </li>
            <li class="nav-item">
        <a href="http://stock.qq.com/" target="_blank" bosszone="dh_25_2">证券</a>
      </li>
            <li class="nav-item">
        <a href="http://digi.tech.qq.com/" target="_blank" bosszone="dh_26_2">数码</a>
      </li>
            <li class="nav-item">
        <a href="https://new.qq.com/ch/baby/" target="_blank" bosszone="dh_27_2">育儿</a>
      </li>
            <li class="nav-item">
        <a href="https://new.qq.com/ch/visit/" target="_blank" bosszone="dh_28_2">旅游</a>
      </li>
            <li class="nav-item">
        <a href="https://new.qq.com/ch/life/" target="_blank" bosszone="dh_29_2">生活</a>
      </li>
            <li class="nav-item">
        <a href="http://kid.qq.com/" target="_blank" bosszone="dh_30_2">儿童</a>
      </li>
            <li class="nav-item">
        <a href="http://book.qq.com/" target="_blank" bosszone="dh_31_2">文学</a>
      </li>
            <li class="nav-item">
        <a href="https://new.qq.com/omv/" target="_blank" bosszone="dh_32_2">享看</a>
      </li>
            <li class="nav-item">
        <a href="https://new.qq.com/ch/cul_ru" target="_blank" bosszone="dh_33_2">新国风</a>
      </li>
            <li class="nav-item">
        <a href="http://www.qq.com/map/" target="_blank" bosszone="dh_34_2">全部</a>
      </li>
          </ul>

"""
result = re.findall('<a\shref.*?>(.*?)</a>',content,re.S)
print(result)

在这里插入图片描述

4.re.sub()

替换字符串中每一个匹配的子串后返回替换后的字符串。
去除数字：

import re

content = 'Hello 123 4567 World_This is a Regex Demo'
result = re.sub('\d+','',content)
print(result)

在这里插入图片描述

import re

content = 'Hello 123 4567 World_This is a Regex Demo'
result = re.sub('\d+','replace',content)
print(result)

在这里插入图片描述

5.re.compile()

将正则表达式编译成正则表达式对象，以便于复用该匹配模式

import re

content = """Hello 123 4567 
World_This is a Regex Demo
"""
pattern = re.compile('Hello.*Demo',re.S)
result = re.match(pattern,content)
print(result)

6.小案例

爬取豆瓣读书首页的"新书速递”栏目中的40本书（链接、作者、书名）

import requests
import re

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
}

r = requests.get('https://book.douban.com/',headers=headers)
content = r.text
print(r.status_code)
#print(content)
pattern = re.compile('<li.*?cover.*?href="(.*?)"\stitle="(.*?)".*?info.*?author">(.*?)</div>.*?more-meta.*?title">(.*?)</h4>.*?</li>',re.S)
result = re.findall(pattern,content)
for item in result:
    print(item[0])
    print(item[1])
    print(item[2].strip())

在这里插入图片描述

Zijeak
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python正则表达式详解
悦分享
10-17 5626
正则表达式是一个特殊的字符序列，便于检查一个字符串是否与某种模式匹配。通过定义规则，使得从字符串中把符合规则的字符串提取出来。[a-zA-Z0-9] 基本上等同于 \w。
python爬虫；正则表达式爬虫
最新发布
05-31
Python正则表达式爬虫是网络爬虫技术中一种常用的方法，它利用Python的`re`模块处理HTML或XML文档，提取所需的数据。在给定的示例中，爬虫的目标是获取一个旧书网站上的书籍信息，包括书籍名称、作者、价格和折扣...
Python爬虫之正则表达式
姜小孩的博客
03-10 6067
Python正则表达式（爬虫学习内容之一
python爬虫之正则表达式(一)
Claire_chen_jia的博客
05-08 1590
python爬虫之正则表达式1 正则表达式的简介1.1 概念1.2 正则表达式的应用场景2 正则表达式对 Python 的支持2.1 普通字符2.2 match()函数和search()函数2.3 元字符2.4 预定义匹配字符集2.5 重复匹配 1 正则表达式的简介 1.1 概念 正则表达式是对字符串操作的⼀种逻辑公式，就是用事先定义好的⼀些特定字符、及这些特定字符的组合，组成⼀个 “ 规则字符串...
[python爬虫] 正则表达式使用技巧及爬取个人博客实例
杨秀璋的专栏
10-18 4万+
这篇博客是自己《数据挖掘与分析》课程讲到正则表达式爬虫的相关内容，主要简单介绍Python正则表达式爬虫，同时讲述常见的正则表达式分析方法，最后通过实例爬取作者的个人博客网站。希望这篇基础文章对您有所帮助，如果文章中存在错误或不足之处，还请海涵。真的太忙了，太长时间没有写博客了，抱歉~ 一.正则表达式 二.正则表达式抓取网络数据常见方法 1.抓取标签间的内容 2.抓取标签中的参数 三.实战
python之正则表达式以及网络爬虫
成功不必在我，而功力必不唐捐！
12-22 4329
正则表达式 正则表达式 (Regular Expression) 又称 RegEx, 是用来匹配字符的一种工具. 在一大串字符中寻找你需要的内容. 它常被用在很多方面, 比如网页爬虫, 文稿整理, 数据筛选等等. 最简单的一个例子, 比如我需要爬取网页中每一页的标题. 而网页中的标题常常是这种形式. 我是标题 而且每个网页的标题各不相同, 我就能使用正则表达式,
Python爬虫之正则表达式基本用法实例分析
12-25
本文实例讲述了Python爬虫之正则表达式基本用法。分享给大家供大家参考，具体如下： 一、简介 正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：Regular Expression，在代码中常...
解析Python网络爬虫：核心技术、Scrapy框架、分布式爬虫全套教学资料
10-25
3. 正则表达式：在Python中，`re`模块用于处理字符串匹配和查找，常用于从网页文本中提取特定模式的数据。 4. 数据存储：学会将抓取的数据存储到文件（如CSV、JSON）、数据库（如SQLite、MySQL）或其他格式，如...
Python爬虫 正则表达式应用详解
12-21
**Python爬虫与正则表达式应用详解** 在Python爬虫中，正则表达式（Regular Expression，简称RE）是一种强大的文本处理工具，用于高效地查找、替换和提取字符串中的特定模式。它允许我们用简洁的语法来描述一组字符...
网络爬虫之正则表达式
King
02-07 2651
网络爬虫中常用的数据提取方式——正则表达式
[Python]网络爬虫（七）：Python中的正则表达式教程
热门推荐
汪海的实验室
05-15 14万+
接下来准备用糗百做一个爬虫的小例子。 但是在这之前，先详细的整理一下Python中的正则表达式的相关内容。 正则表达式在Python爬虫中的作用就像是老师点名时用的花名册一样，是必不可少的神兵利器。 以下内容转自CNBLOG：http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html 整理时没有注意，实在抱歉。
javascript的正则匹配
wthorse的专栏
08-08 822
function RegexText(){   var r, re,keywords,description;                     // 声明变量。   keywords=document.Frm.keywords.value;   description=document.Frm.description.value;   var s = document.Frm.Txt.va
Python网络爬虫之正则表达式
qq_43776408的博客
11-17 229
#语法 ''' . 表示任何单个字符 [] 字符集，给出单个字符的取值范围，比如[a-z]，表示字母a到z [^] 非字符集，对单个字符给出排除范围 * 前一个字符0次或者无限次扩展 + 前一个字符的1次或者无限次扩展 ? 前一个字符的0次或者1次扩展 | 左右表达式任意一个 abc|bcd 表示abc，bcd {m} 扩展前一个m次 ab{2} 表示abb,记住只是扩展前一个，不是一堆 {m,n...
网络爬虫之正则
enenenn的博客
04-24 126
python爬虫之正则表达式
qq_51670115的博客
08-26 313
正则表达式.,Re库主要功能函数,修饰符,实例
网络爬虫——正则表达式用法及实例
weixin_43972621的博客
01-06 2917
正则表达式 简单来说，正则表达式就是描述字符串的一套规则。比如，我们想找出一个网页中的所有URL链接，其他的信息需要过滤掉。那么此时，我们可以观察链接的格式，然后写一个正则表达式来表示所有的电子邮件。随后，我们可以利用该表达式从网页中提取出所有满足该规则的URL链接。正则表达式的功能非常强大，在爬虫的实际项目中，对于处理特定格式的信息，经常需要用到正则表达式。 在Python中，可以使用re模块来...
python网络爬虫 正则表达式
shine10076的博客
11-06 218
正则字符串 正则字符串：就是任意可以用一系列线性规则构成的字符串。 例如： aabbbbb(cc)(d| ) 将其分解为 aa*：a后面跟着的a*表示“重复任意次a，包括0次”，这样就可以保证字母a至少出现一次。 bbbbb：没啥特别，5次b (cc)*表示有任意次两个c（可以是0次） (d|):增加一个竖线在表达式里表示“这个或者那个”。表示最后可以跟着与一个d或者空格 一个典型的利用正则表达...
python网络爬虫及正则表达式
芒果布丁00的博客
03-29 3270
python网络爬虫及正则表达式 模拟浏览器爬取网页 做爬虫经常需要用到正则表达式,匹配查找内容. 本文提供几段python的正则表达式代码示范,包括: 查找包含中文和英文 限制中文字个数的查找 查找英文和数字
Python编程：正则表达式入门与实战应用
"Python程序员必会的正则表达式" 正则表达式是编程语言中用于处理字符串的强大工具，尤其在Python中，通过...在日常开发中，正则表达式常用于数据清洗、文本分析、网络爬虫等领域，是提高编程技能不可或缺的一部分。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值