Python网络爬虫(九)——re

最新推荐文章于 2023-04-15 23:12:47 发布
最新推荐文章于 2023-04-15 23:12:47 发布
阅读量487 收藏
点赞数
分类专栏： # 网络爬虫 文章标签： 正则表达式 匹配规则 原生字符串 re
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SAKURASANN/article/details/106257704
版权

正则表达式

  • 正则表达式(Regular Expression)是一种文本模式，包括普通字符(如 a-z)和特殊字符(元字符)
  • 正则表达式使用单个字符串来描述，用来匹配一系列满足某个句法规则的字符串

匹配规则

匹配某个字符串

import re

text = 'hello'
ret = re.match('he',text)
print(ret.group())

结果为：

he

匹配任意字符(.)

import re

text = "ab"
ret = re.match('.',text)
print(ret.group())

结果为：

a

上边的结果中匹配到了第一个字符，但是使用 . 不能匹配到换行符。

import re

text = "\nab"
ret = re.match('.',text)
print(ret.group())

结果为：

AttributeError: 'NoneType' object has no attribute 'group'

匹配任意数字(\d)

import re

text = "123"
ret = re.match('\d',text)
print(ret.group())

结果为：

1

匹配任意非数字(\D)

import re

text = "abc"
ret = re.match('\D',text)
print(ret.group())

结果为：

a

如果匹配的字符为数字，则会报错：

import re

text = "123"
ret = re.match('\D',text)
print(ret.group())

结果为：

AttributeError: 'NoneType' object has no attribute 'group'

匹配空白字符(\s)

import re

text = "\t"
ret = re.match('\s',text)
print(ret.group())

结果为：

匹配非空白字符(\S)

import re

text = "abc"
ret = re.match('\S',text)
print(ret.group())

 结果为：

a

匹配a-z、A-Z、0-9和下划线(\w)

import re

text = "_abc"
ret = re.match('\w',text)
print(ret.group())

结果为：

_

如果能匹配到的字符不是上述的字符之一，则也会报 AttributeError 错误。

匹配与(\w)相反的字符(\W)

import re

text = "+-*/"
ret = re.match('\W',text)
print(ret.group())

结果为：

+

如果能匹配到的字符是(\w)能匹配到的字符，则也会报 AttributeError 错误。

[]

匹配满足中括号中的任一项

import re

text = "86-8642354"
ret = re.match('[\d\-]+',text)
print(ret.group())

结果为：

86-8642354

匹配 0 个或者任意多个字符(*)

import re

text = "86-8642354"
ret = re.match('\d*',text)
print(ret.group())

结果为：

86

匹配 1 个或者多个字符(+)

import re

text = "hello"
ret = re.match('\w+',text)
print(ret.group())

结果为：

hello

匹配 1 个或者多个字符要求至少能够匹配一个字符，如果一个都匹配不到，则会报错。

import re

text = "+hello"
ret = re.match('\w+',text)
print(ret.group())

结果为：

AttributeError: 'NoneType' object has no attribute 'group'

匹配 0 次或 1 次字符(?)

import re

text = "abc"
ret = re.match('\w?',text)
print(ret.group())

结果为：

a

匹配 m 个字符({m})

import re

text = "abc"
ret = re.match('\w{3}',text)
print(ret.group())

结果为：

abc

匹配 m-n 个字符({m,n})

import re

text = "abcd"
ret = re.match('\w{2,5}',text)
print(ret.group())

结果为：

abcd

以...起始(^)

import re

text = "hello"
ret = re.match('^h',text)
print(ret.group())

如果 ^ 是在中括号中，则表示取反：

import re

text = "hello"
ret = re.match('[^\W]',text)
print(ret.group())

结果为：

h

以...结束($)

import re

text = "hello"
ret = re.search('o$',text)
print(ret.group())

结果为：

o

匹配多个表达式或者字符串

import re

text = "world"
ret = re.search('hello|world',text)
print(ret.group())

结果为：

world

贪婪模式和非贪婪模式

  • 贪婪模式：正则表达式会尽量多的匹配字符，默认为贪婪模式
  • 非贪婪模式：正则表达式会尽量少的匹配字符
import re

text = "abcdefg"
ret = re.match('\w',text)
print(ret.group())
ret = re.match('\w+',text)
print(ret.group())
ret = re.match('\w+?',text)
print(ret.group())

结果为：

a
abcdefg
a

上边第一次匹配到了 a，然后使用 + 匹配到了所有字符，此时就是贪婪模式，而在 + 后边多跟一个 ? 就取消了 + 的作用，变成了非贪婪模式。

转义字符

从上边可以看出，有些字符被用于了进行字符串匹配，因此如果想要匹配这些字符，就需要使用 \ 对这些字符进行转义。

import re

text = "1+1=2"
ret = re.match('1\+1=2',text)
print(ret.group())

 结果为：

1+1=2

原生字符串

那么如果需要匹配 \，就需要：

import re

text = "apple \c"
print(text)
ret = re.search('\\\c',text)
# ret = re.search('\\\\c',text)
print(ret.group())

因为 python 中的 \ 可以用来进行转义，而正则表达式中的 \ 则是专门用来进行转义的，因此 search 中的 '\\\c' 会首先在 python 中被转义为 '\\c'，然后将之传递到 re 中，在 re 中又会将 '\\c' 转义为 '\c'。如果是 '\\\\c' 则会将 '\\\\c' 转义为 '\\c'，然后将之传递到 re 中，在 re 中又会将 '\\c' 转义为 '\c'。

这种转换关系无疑是很麻烦的，而原生表达式可以解决这个问题。

原生字符串在字符串前加 r 表达：

import re

text = "apple \c"
print(text)
ret = re.search(r'\\c',text)
print(ret.group())

使用这种形式则不需要再经过 python 转义，直接将 r 后的字符全部传递到正则表达式中。

re

python 中自带了 re 模块，该模块提供了对正则表达式的支持。

常用函数

match

def match(pattern, string, flags=0):
    """Try to apply the pattern at the start of the string, returning
    a match object, or None if no match was found."""
    return _compile(pattern, flags).match(string)

从开始位置进行匹配，匹配成功则返回匹配到的字符，反之则返回 None。

search

def search(pattern, string, flags=0):
    """Scan through string looking for a match to the pattern, returning
    a match object, or None if no match was found."""
    return _compile(pattern, flags).search(string)

在字符串中匹配满足条件的字符，匹配成功则返回匹配到的字符，反之则返回 None。

group

在正则表达式中，可以对匹配到的字符进行分组，分组使用圆括号的形式：

  • group：返回整个满足条件的字符串，等价于 group(0)
  • groups：返回子组，索引从 1 开始
  • group(1)：返回第一个子组，可以传入多个
import re

text = "abc def ghi"
ret = re.search('(abc)\s(def)\s(ghi)',text)
print(ret.group())
print(ret.group(1))
print(ret.group(2))
print(ret.group(3))
print(ret.groups())
print(ret.group(1,2,3))

结果为：

abc def ghi
abc
def
ghi
('abc', 'def', 'ghi')
('abc', 'def', 'ghi')

findall

def findall(pattern, string, flags=0):
    """Return a list of all non-overlapping matches in the string.

    If one or more capturing groups are present in the pattern, return
    a list of groups; this will be a list of tuples if the pattern
    has more than one group.

    Empty matches are included in the result."""
    return _compile(pattern, flags).findall(string)

找出所有符合匹配条件的字符串，此时返回的是一个 list：

import re

text = "abc abc abc"
ret = re.match('abc',text)
print(type(ret))
ret = re.findall('abc',text)
print(type(ret))
print(ret)

结果为：

<class '_sre.SRE_Match'>
<class 'list'>
['abc', 'abc', 'abc']

sub

def sub(pattern, repl, string, count=0, flags=0):
    """Return the string obtained by replacing the leftmost
    non-overlapping occurrences of the pattern in string by the
    replacement repl.  repl can be either a string or a callable;
    if a string, backslash escapes in it are processed.  If it is
    a callable, it's passed the match object and must return
    a replacement string to be used."""
    return _compile(pattern, flags).sub(repl, string, count)

进行字符串替换，此时返回的是 str 类型：

import re

text = "abc abc abc"
ret = re.sub('abc','def',text)
print(type(ret))
print(text)
print(ret)

结果为：

<class 'str'>
abc abc abc
def def def

split

def split(pattern, string, maxsplit=0, flags=0):
    """Split the source string by the occurrences of the pattern,
    returning a list containing the resulting substrings.  If
    capturing parentheses are used in pattern, then the text of all
    groups in the pattern are also returned as part of the resulting
    list.  If maxsplit is nonzero, at most maxsplit splits occur,
    and the remainder of the string is returned as the final element
    of the list."""
    return _compile(pattern, flags).split(string, maxsplit)

使用正则表达式进行分隔，此时返回的是一个 list：

import re

text = "abc abc abc"
ret = re.split('\s',text)
print(type(ret))
print(ret)

结果为：

<class 'list'>
['abc', 'abc', 'abc']

compile

def compile(pattern, flags=0):
    "Compile a regular expression pattern, returning a pattern object."
    return _compile(pattern, flags)

如果某些正则表达式的使用频率较高，可以使用 compile 进行编译，使用的时候直接调用，这样能够提高执行的效率。

import re

text = "birthday is 2000/12/13"
r = re.compile(r"""
                \d+ # 年份
                / # 分隔符
                \d+ # 月份
                / # 分隔符
                \d+ # 日
                """,re.VERBOSE)
ret = re.search(r,text)
print(ret.group())

结果为：

2000/12/13

上述 compile 中添加了 flags=re.VERBOSE，为正则表达式添加了注释。

止步听风
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬虫初学——爬取京东商品的评论（二）
12-22
酱菜Seven7原创，转载请注明出处。 使用的手段：数据库Mysql， 语言python，正则表达式re 在获取了评论url的情况下（获取京东评论的url方法），现在我们可以来爬取用户昵称和url了。作为一个初学者，我用的正则表达式，来对那url的数据，进行匹配获取。 一、根据内容，编写合适的正则表达式 通过分析打开的url地址的数据，我们可以找到所需的两个规律： 1、用户昵称部分： 所以，我们针对提取用户的正则表达式如下： r'\"nickname\":\"([^",]+)\",\"replyCount2\"' 2、评论部分： 评论部分，因为会有无追评，而造成结尾不一致： 情况一： 情
Python 模块RE整理
syouya.shiraki's blog
09-06 1623
python 模块RE正则表达式模块整理notice: python 中的字符串分为两种，一种由8位的ASCALL码字符组成字符串，另一种为Unicode字符串，在匹配的过程中二者不能混用，只能同种类型的情况进行匹配。 正则表达式使用反斜杠” \ “来代表特殊形式或用作转义字符，这里跟Python的语法冲突，因此，Python用” \\ “表示正则表达式中的” \ “，因为正则表达式中如果要匹配”
Python--爬虫--re（正则表达式）入门
qq_57663276的博客
09-23 683
Python--爬虫（爬取2）--re入门
Python常用模块6-Python的re模块简介
只是甲的博客
04-07 794
文章目录一.re模块简介1.1 匹配符1.1.1 字符集合1.1.2 重复次数1.1.3 组合匹配符二.模块内容2.1 常用函数2.2 异常2.3 匹配对象三.正则案例3.1 re.search3.2 re.match3.3 re.fullmatch3.4 re.split3.5 re.findall参考: 一.re模块简介 这个模块提供了与 Perl 语言类似的正则表达式匹配操作。 模式和被搜索的字符串既可以是 Unicode 字符串 (str) ，也可以是8位字节串 (bytes)。 但是，Unicod
python爬虫之re库
m0_46500590的博客
02-03 1639
文章目录一、导入re库二、使用正则表达式步骤三、正则表达式中常见的基本符号四、常见的正则表达式举例五、re库的核心函数六、匹配对象的方法（提取）七、re模块的属性（flag）7.1 re模块的常用属性有以下几个：八、正则表达式中语法一览表 一、导入re库 python使用正则表达式要导入re库。 import re 在re库中。正则表达式通常被用来检索查找、替换那些符合某个模式(规则)的文本。 二、使用正则表达式步骤 寻找规律； 使用正则符号表示规律； 提取信息，如果每一个字符都能匹配，则匹配成功；一旦
入门 python 正则化表达式
THE XING
11-11 1522
以前一直没看，觉得复杂，当下稍微闲了一点，恰小雨，学性大发，记之。 正则表达式通俗说就是与字符串打交道，所以我们得知道除了平常说的“普通字符”外，还有“元字符”。元字符的字典很多，比如http://www.runoob.com/regexp/regexp-metachar.html。 看着很复杂，其实也是用到的时候再找。 1.导入 re In [3]: import re 这个是py...
【Python爬虫】数据解析之re解析
一以贯之的努力 不得懈怠的人生
08-09 903
前面，我们基本上掌握了抓取整个网页的基本技能，但是，在大多数情况下，我们并不需要整个网页的内容，只是需要那么一小部分，怎么办呢？re解析bs4解析xpath解析这三种方式可以混合进行使用，完全以结果为导向，只要能拿到你想要的数据，用什么方案并不重要，当你掌握了这些之后，再考虑性能的问题。......
Python爬虫之正则
fanchen0218的博客
04-15 561
正则
python re爬虫_爬虫不过如此（python的Re 、Requests、BeautifulSoup 详细篇）
weixin_39710991的博客
11-30 224
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。爬虫的本质就是一段自动抓取互联网信息的程序，从网络获取感兴趣的信息，抓取对于我们有价值的信息，爬虫技术是大数据和云计算的基础。爬虫的实现可认为是模拟浏览器与服务器数据交互，伪造HTTP请求。使用总览网页爬取库：1、urllib模块的urllib.reque...
python正则 re模块 字符串转义
英明神武洋哥哥
06-08 2848
python正则表达式转义注意事项 无论哪种语言，在使用正则表达式的时候都避免不了一个问题，就是在匹配元字符的时候，需要对元字符进行转义，让 正则表达式引擎将其当做普通字符来匹配。本文主要以python为例，说明一下转义中需要注意的问题。 python的正则表达式中需要转义的元字符有以下几个： . ^ $ * + ? \ [] | {} () python中对元字符的转义使用双反斜杠 \ 来表示 # 普通元字符的转义 _string = ''' !@#$%^& ''' # 不转义 print re
Python小白爬虫(二) _使用正则表达式获取页面中我们想要的数据（案例）
10-25
https://blog.csdn.net/qq_36051316/article/details/83375426 这个页面的案例，其实代码已经在页面上有了，这个只是方便哪些复制都不想复制的人。不过，这个东西拿到后就可以运行了，运行前记得导入相应模块 python -m pip install requests 这个是Python3
Python网络爬虫与信息提取（7）—— 用re库爬取淘宝商品信息
01-21
上一节用beautifulsoup库爬取了csdn的个人信息，这一节学习使用re库爬取淘宝商品信息。 re库 正则表达式常用符号： 常用函数： 分析网页 在淘宝搜索物品就是将url结尾加上q = ?的关键字，这里以书包为例查看网页...
Python爬虫之正则表达式
姜小孩的博客
03-10 5935
Python正则表达式（爬虫学习内容之一
正则split 以及 finditer 和 findall 的区别
随灬亦
04-18 399
re.split 函数 re.split(pattern,str,maxsplit=0,flags=0) 参数： pattern:cpmpile生成的正则表达式对象，或者自定义的也可以 str:要匹配的字符串 maxsplit：最大分割次数，不指定将全部分割 flags参数： re.I(re.IGNORECASE) 使匹配对大小写不敏感 re...
重识python正则表达式（re模块）
knighthood2001
05-03 2656
正则表达式非常强大。因此大家都需要或多或少地了解。本文主要讲述python中的正则表达式。
python 爬虫正则表达式_Python网络爬虫之正则表达式（一）
weixin_39960920的博客
11-29 124
当我们已经获取到一个完整的页面HTML内容时，如何从这些杂乱的内容中锁定并提取出我们所需要的内容那？这就要用到一个十分强大的工具：正则表达式。1 初识正则表达式正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工...
python爬虫之正则表达式(一)
Claire_chen_jia的博客
05-08 1375
python爬虫之正则表达式1 正则表达式的简介1.1 概念1.2 正则表达式的应用场景2 正则表达式对 Python 的支持2.1 普通字符2.2 match()函数和search()函数2.3 元字符2.4 预定义匹配字符集2.5 重复匹配 1 正则表达式的简介 1.1 概念 正则表达式是对字符串操作的⼀种逻辑公式，就是用事先定义好的⼀些特定字符、及这些特定字符的组合，组成⼀个 “ 规则字符串...
Python网络爬虫(二十一)——Request 和 Response
止步听风的博客
05-25 1612
Request class Request(object_ref): def __init__(self, url, callback=None, method='GET', headers=None, body=None, cookies=None, meta=None, encoding='utf-8', priority=0, dont_filter=False, errback=None, flags=None, cb
python爬虫招聘网站数据分析_Python爬虫实例——基于招聘网站发帖数据
最新发布
06-06
好的，您的问题是关于Python爬虫和数据分析的实例，基于招聘网站发帖数据。这是一个非常有趣和实用的应用场景，以下是一个简单的实现步骤： 1. 确定目标网站：选择一个大型的招聘网站，比如智联招聘、拉钩网等； 2....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值