《利用Python进行数据分析》第7章 字符串操作与正则表达式

最新推荐文章于 2023-12-30 13:52:34 发布
最新推荐文章于 2023-12-30 13:52:34 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： Python 文章标签： python 字符串操作 正则表达式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lumugua/article/details/78868803
版权

字符串操作

Python有简单易用的字符串和文本处理功能，大部分文本运算都直接做成了字符串对象的内置方法。对于更为复杂的模式匹配和文本操作，则可能需要用到正则表达式。

字符串对象方法

以逗号分隔的字符串可以用split拆分成数段

In [4]: val='a,bc,c, gudio'

In [5]: val.split(',')
Out[5]: ['a', 'bc', 'c', ' gudio']

In [6]: val='a,bc ,c, gudio'

In [7]: val.split(',')
Out[7]: ['a', 'bc ', 'c', ' gudio']

split常常结合strip（用于修剪空白符（包括换行符））一起使用

In [8]: pieces=[x.strip() for x in val.split(',')]

In [9]: pieces
Out[9]: ['a', 'bc', 'c', 'gudio']

利用加法，可以将这些子字符串以双冒号分隔符的形式连接起来

In [13]: first,second,third,four=pieces

In [14]: first +'::'+ second +'::'+ third +'::'+four
Out[14]: 'a::bc::c::gudio'

向字符串”::”的join方法传入一个列表或元组

In [15]: '::'.join(pieces)
Out[15]: 'a::bc::c::gudio'

检测子串的最佳方式是利用Python的in关键字（还可以使用index和find）

In [16]: 'guido' in val
Out[16]: False

In [17]: 'gudio' in val
Out[17]: True

In [18]: val.index(',')
Out[18]: 1

In [19]: val.find(':')
Out[19]: -1

In [20]: val.find('bc')
Out[20]: 2

In [21]: val.find('c')
Out[21]: 3

In [22]: val.index('c')
Out[22]: 3

注意find和index的区别：如果找不到字符串，index将会引发一个异常（而不是返回－1）

In [23]: val.index(':')
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
<ipython-input-23-280f8b2856ce> in <module>()
----> 1 val.index(':')

ValueError: substring not found

count函数，它可以返回指定子串的出现次数

In [24]: val.count(',')
Out[24]: 3

replace用于将指定模式替换为另一个模式。它也常常用于删除模式：传入空字符串

In [25]: val.replace(',','::')
Out[25]: 'a::bc ::c:: gudio'

In [26]: val.replace(',','')
Out[26]: 'abc c gudio'

In [27]: val
Out[27]: 'a,bc ,c, gudio'

In [28]: val.replace('c','m')
Out[28]: 'a,bm ,m, gudio'

In [29]: val.replace('bc','abcd')
Out[29]: 'a,abcd ,c, gudio'

字母转换为大写

In [30]: val.upper()
Out[30]: 'A,BC ,C, GUDIO'

Python内置的字符串方法如表7-3所示
Python内置的字符串方法

正则表达式

正则表达式（通常称作regex）提供了一种灵活的在文本中搜索或匹配字符串模式的方式。正则表达式是根据正则表达式语言编写的字符串。Python内置的re模块负责对字符串应用正则表达式。

re模块的函数可以分为三个大类：模式匹配、替换以及拆分。当然，它们之间是相辅相成的。一个regex描述了需要在文本中定位的一个模式，它可以用于许多目的。我们先来看一个简单的例子：假设我想要拆分一个字符串，分隔符为数量不定的一组空白符（制表符、空格、换行符等）。描述一个或多个空白符的regex是\s+：

In [35]: import re

In [36]: text="foo bar\t baz \tqux"

In [37]: re.split('\s+',text)
Out[37]: ['foo', 'bar', 'baz', 'qux']

调用re.split(‘\s+’,text)时，正则表达式会先被编译，然后再在text上调用其split方法。你可以用re.compile自己编译regex以得到一个可重用的regex对象

In [38]: regex=re.compile('\s+')

In [39]: regex.split(text)
Out[39]: ['foo', 'bar', 'baz', 'qux']

如果只希望得到匹配regex的所有模式，则可以使用findall方法

In [40]: regex.findall(text)
Out[40]: [' ', '\t ', ' \t']

注意： 如果想避免正则表达式中不需要的转义（\），则可以使用原始字符串字面量如r’C:\x’（也可以编写其等价式’C:\x’）。

如果打算对许多字符串应用同一条正则表达式，强烈建议通过re.compile创建regex对象。这样将可以节省大量的CPU时间。

match和search跟findall功能类似。findall返回的是字符串中所有的匹配项，而search则只返回第一个匹配项。match更加严格，它只匹配字符串的首部。来看一个小例子，假设我们有一段文本以及一条能够识别大部分电子邮件地址的正则表达式：

In [41]: text = """Dave dave@google.com
    ...: Steve steve@gmail.com
    ...: Rob rob@gmail.com
    ...: Ryan ryan@yahoo.com"""

In [42]: pattern = r'[A-Z0-9._%+-]+@[A-Z0-9.-]+\.[A-Z]{2,4}'

re.IGNORECASE的作用是使正则表达式对大小写不敏感

In [43]: regex=re.compile(pattern,flags=re.IGNORECASE)

对text使用findall将得到一组电子邮件地址

In [44]: regex.findall(text)
Out[44]: ['dave@google.com', 'steve@gmail.com', 'rob@gmail.com', 'ryan@yahoo.com']

search返回的是文本中第一个电子邮件地址（以特殊的匹配项对象形式返回）。对于上面那个regex，匹配项对象只能告诉我们模式在原字符串中的起始和结束位置

In [45]: m=regex.search(text)
In [46]: m
Out[46]: <_sre.SRE_Match object; span=(5, 20), match='dave@google.com'>

regex.match则将返回None，因为它只匹配出现在字符串开头的模式

In [47]: print(regex.match(text))
None

sub方法，它会将匹配到的模式替换为指定字符串，并返回所得到的新字符串

In [48]: print(regex.sub('REDACTED',text))
Dave REDACTED
Steve REDACTED
Rob REDACTED
Ryan REDACTED

假设你不仅想要找出电子邮件地址，还想将各个地址分成3个部分：用户名、域名以及域后缀。要实现此功能，只需将待分段的模式的各部分用圆括号包起来即可

In [49]: pattern = r'([A-Z0-9._%+-]+)@([A-Z0-9.-]+)\.([A-Z]{2,4})'

In [50]: regex = re.compile(pattern, flags=re.IGNORECASE)

由这种正则表达式所产生的匹配项对象，可以通过其groups方法返回一个由模式各段组成的元组

In [51]: m=regex.match('wesm@bright.net')

In [52]: m.groups()
Out[52]: ('wesm', 'bright', 'net')

对于带有分组功能的模式，findall会返回一个元组列表

In [53]: regex.findall(text)
Out[53]: 
[('dave', 'google', 'com'),
('steve', 'gmail', 'com'),
('rob', 'gmail', 'com'),
('ryan', 'yahoo', 'com')]

sub还能通过诸如\1、\2之类的特殊符号访问各匹配项中的分组

In [54]: print(regex.sub(r'Username: \1, Domain: \2, Suffix: \3', text))
Dave Username: dave, Domain: google, Suffix: com
Steve Username: steve, Domain: gmail, Suffix: com
Rob Username: rob, Domain: gmail, Suffix: com
Ryan Username: ryan, Domain: yahoo, Suffix: com

对上面那个电子邮件正则表达式做一点小变动：为各个匹配分组加上一个名称

In [55]: regex = re.compile(r"""(?P<username>[A-Z0-9._%+-]+)
    ...: @(?P<domain>[A-Z0-9.-]+)\.
    ...: (?P<suffix>[A-Z]{2,4})""",
    ...: flags=re.IGNORECASE|re.VERBOSE)

由这种正则表达式所产生的匹配项对象可以得到一个简单易用的带有分组名称的字典

In [56]: m = regex.match('wesm@bright.net')

In [57]: m
Out[57]: <_sre.SRE_Match object; span=(0, 15), match='wesm@bright.net'>

In [58]: m.groupdict()
Out[58]: {'domain': 'bright', 'suffix': 'net', 'username': 'wesm'}

正则表达式的方法与说明如表所示
正则表达式的方法与说明

pandas中矢量化的字符串函数

含有字符串的列有时还含有缺失数据，清理待分析的散乱数据时，常常需要做一些字符串规整化工作。

In [59]: data = {'Dave': 'dave@google.com', 'Steve': 'steve@gmail.com',
    ...: 'Rob': 'rob@gmail.com', 'Wes': np.nan}

In [60]: data=Series(data)

In [61]: data
Out[61]: 
Dave dave@google.com
Rob rob@gmail.com
Steve steve@gmail.com
Wes NaN
dtype: object

In [62]: data.isnull()
Out[62]: 
Dave False
Rob False
Steve False
Wes True
dtype: bool

通过data.map，所有字符串和正则表达式方法都能被应用于（传入lambda表达式或其他函数）各个值，但是如果存在NA就会报错。为了解决这个问题，Series有一些能够跳过NA值的字符串操作方法。通过Series的str属性即可访问这些方法。例如，我们可以通过str.contains检查各个电子邮件地址是否含有”gmail”

In [63]: data.str.contains('gmail')
Out[63]: 
Dave False
Rob True
Steve True
Wes NaN
dtype: object

可以使用正则表达式，还可以加上任意re选项（如IGNORECASE）

In [64]: pattern
Out[64]: '([A-Z0-9._%+-]+)@([A-Z0-9.-]+)\\.([A-Z]{2,4})'

In [65]: data.str.findall(pattern,flags=re.IGNORECASE)
Out[65]: 
Dave [(dave, google, com)]
Rob [(rob, gmail, com)]
Steve [(steve, gmail, com)]
Wes NaN
dtype: object

有两个办法可以实现矢量化的元素获取操作：要么使用str.get，要么在str属性上使用索引

In [66]: matches=data.str.match(pattern,flags=re.IGNORECASE)

In [67]: matches
Out[67]: 
Dave True
Rob True
Steve True
Wes NaN
dtype: object

以下的str.get()方法和str()方法结果和书上不同，可能是版本问题。

In [71]: matches.str.get(1)
Out[71]: 
Dave NaN
Rob NaN
Steve NaN
Wes NaN
dtype: float64

In [72]: matches.str[0]
Out[72]: 
Dave NaN
Rob NaN
Steve NaN
Wes NaN
dtype: float64

可以利用对字符串进行子串截取

In [73]: data.str[:5]
Out[73]: 
Dave dave@
Rob rob@g
Steve steve
Wes NaN
dtype: object

表7-5介绍了矢量化的字符串方法

矢量化的字符串方法

完成本章的练习了，接下来继续学习下章的可视化知识。

lumugua
关注
专栏目录
字符串与正则表达式python实验报告分析_《利用Python进行数据分析》第7章 字符串操作与正则表达式...
weixin_39615257的博客
02-11 1564
字符串操作Python有简单易用的字符串和文本处理功能，大部分文本运算都直接做成了字符串对象的内置方法。对于更为复杂的模式匹配和文本操作，则可能需要用到正则表达式。字符串对象方法以逗号分隔的字符串可以用split拆分成数段In [4]: val='a,bc,c, gudio'In [5]: val.split(',')Out[5]: ['a', 'bc', 'c', ' gudio']In [6]...
Python编程基础教程：字符串操作和正则表达式
AI架构设计之禅
12-11 872
1.背景介绍 Python编程语言是一种强大的编程语言，具有易学易用的特点，广泛应用于各个领域。字符串操作和正则表达式是Python编程中的重要内容，它们可以帮助我们更好地处理和分析文本数据。本文将从基础入门到高级应用，详细讲解字符串操作和正则表达式的核心概念、算法原理、具体操作步骤以及数学模型公式。同时，我们还将通过具体代码实例和详细解释来帮助读者更
python字符串与正则表达式.pdf
05-13
python字符串与正则表达式
Python实践手册-字符串处理和正则表达式
u013010473的博客
01-05 391
文章目录1.字符串的反转2.字符串的串联3.字符串的字节长度4.正则查找匹配串索引5.匹配数字[0-9]6.匹配浮点数7.匹配字符串的开头(^)8.忽略大小写(re.I)9.compile的作用10.使用（）捕获单词，不想带空格11.英文分词12.从指定开始位置匹配match13.替换匹配的子串14.贪心捕获和非贪心捕获15.常用元字符16.常用通用字符17.密码安全检查18.爬取百度首页标题19...
正则表达式及其在python上的应用
生如蚁，美如神
12-03 770
今天学习了一早上正则表达式。如下内容部分转载自《读懂正则表达式就这么简单》 一、什么是正则表达式 正则表达式是一种特殊的字符串模式，用于匹配一组字符串，就好比用模具做产品，而正则就是这个模具，定义一种规则去匹配符合规则的字符。 1.2 常用的正则匹配工具 在线匹配工具： 1. http://www.regexpal.com/ 2. http://rubular.com/ ...
python编程—字符串和正则表达式知识点归纳
cy15625010944的博客
05-19 339
1 反转字符串 st="python" #方法1 ''.join(reversed(st)) #方法2 st[::-1] 2 查找第一个匹配串 import re s = 'i love python very much' pat = 'python' r = re.search(pat,s) print(r.span()) #(7,13) 3 split分割单词 使用多种方法分割单词。分割单词最简单还是使用split函数。 import re s = 'This module provides re
Python字符串与正则表达式学习笔记
12-20
1. 数值与布尔型2. 字符串2.1 字符串的创建2.2 字符串与数值的相互转换2.3 字符串的连接、复制和转义2.4 字符串的替换、分隔与合并2.5 Python的字符串常用内建函数2.6 字符串截取3. 正则表达式3.1 正则表达式基础知识3.2 正则表达式实例 1. 数值与布尔型 数值类型 整型int 浮点型float 布尔型 True False # 查看数据类型用type() a = 1 b = 1.1 c = True d = False print(type(a),type(b),type(c),type(d)) # 判断时返回的是布尔值 print(a == b) Fals
第05章 字符串与正则表达式.pptx
06-24
总的来说，Python中的字符串和正则表达式是处理文本数据的核心工具，广泛应用于数据清洗、数据提取和文本分析等场景。理解和掌握这些概念对于成为一位专业的IT从业者至关重要。通过实践和练习，你将能够更有效地利用...
在python中使用正则表达式查找可嵌套字符串组
10-19
同时，文件也指出了在使用正则表达式时需要注意的编码问题，以及如何利用Python的内置库进行有效的文件读取和字符串处理。掌握这些知识点，对于任何需要进行文本数据处理的Python开发者来说都是十分重要的。
Python正则表达式基础
04-02
Python正则表达式是Python编程语言中的一个强大工具，用于处理和分析文本字符串。它允许开发者通过模式匹配来查找、替换或提取数据，广泛应用于数据清洗、文本挖掘、日志分析等领域。在Python中，正则表达式主要通过...
python正则表达式的使用（实验代码）
12-13
正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。 Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。 re 模块使 Python 语言拥有全部的正则表达式功能。 compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。 re 模块也提供了与这些方法功能完全一致的函数，这些函数使用一个模式字符串做为它们的第一个参数。 python正则表达式的使用（实验代码），具体代码如下所示： import re\ndata='''12345 2019-05-20 13:
利用Python实现Excel的文件间的数据匹配功能
12-17
我们知道Excel有一个match函数，可以做数据匹配。 比如要根据人名获取成绩 而参考表sheet1的内容如下： 要根据sheet1匹配每人的成绩，用Excel是这么写 index(Sheet1!B:B,MATCH(A2,Sheet1!A:A,0)) 意思就是获取sheet1的B列的内容，根据我的A列匹配sheet1的A列的内容 但是如何用python实现这一点呢，我写了一个函数，非常好用，分享给大家。 这个函数考虑到了匹配多个字段，多个sheet。 import pandas as pd def match(file,sheetnames,reffile,refsheet,tar
一、正则表达式和Python语言（方法笼统介绍）
语言小蛀虫
09-12 304
一、re模块：核心函数和方法1. 仅re模块函数 函数名 描述 compile(pattern, flags=0) 使用任何可选的标记来编译正则表达式的模式，返回返回一个正则表达式对象。 2. re模块函数和正则表达式对象的方法 函数名 描述 match(pattern, string, flags=0) 尝试使用带有可选的标记的正则表达式的模式来匹配字符串。如果匹配成功
python 查找字符串
进击的Coder菜鸟
10-16 581
python 字符串查找有4个方法，1 find,2 index方法，3 rfind方法,4 rindex方法。 1 find()方法：查找子字符串，若找到返回从0开始的下标值，若找不到返回-1 info = 'abca' print info.find('a')##从下标0开始，查找在字符串里第一个出现的子串，返回结果：0 info = 'abca' print info.find('a...
Python开发技术详解-笔记_第06章-字符串与正则表达式
吴钦飞
10-23 1214
6. 字符串 与 正则表达式     - 字符串的格式化     - 字符串的截取、合并、过滤 等     - 字符串的查找     - 正则表达式的语法     - Python的正则表达式模块    6.1 字符串的操作   6.1.1 字符串的格式化    (1) 作用         Python将若干值插入带有"%"标记的字符串中,  
Python中定位子字符串的方法（模仿数据库的instr）
m0_63879292的博客
12-09 1264
子字符串查找，仿照数据库的instr方法
Python字符串切片及定位详解
qq_46038474的博客
11-30 4128
字符切片 str[n1:n2:n3] 表示按步长为n3（每隔一定长度取字符），从标号为n1，到n2-1取字符（注意范围是左闭右开）。 例子： str='Runoob' print(str) # 输出字符串 print(str[0:-1]) # 输出第一个到最后一个所有字符 print(str[0]) # 输出字符串第一个字符 print(str[2:5]) # 输出从第三个开始到第五个的字符 print(str[2:]) # 输出从第三个开始后的所有字符 print(str[1:5:2]) # 输
python实现vlookup匹配数据实战
qq_45640525的博客
04-26 5755
一般来说，Excel能实现的操作，python都能实现，今天就来探究一下python实现Excel的vlookup吧！本文仅仅简单介绍了pandas的vlookup使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法，更多的学习等待我们继续探究，朋友们可以多点尝试使用python解决问题。
详解python匹配问题
最新发布
Saki_Python的博客
12-30 893
一般数据建模步骤中，数据清洗耗时占比80%以上，因为现实中接触到的数据相当脏，无法直接简单的用pandas的merge函数解决。下面以QS大学排名的匹配为例，
Python3 RE正则表达式完全指南
"Python3中的正则表达式(Regex)是一种强大...正则表达式在Python中非常强大，能够处理复杂的字符串匹配和查找任务，广泛应用于数据清洗、文本分析和网络爬虫等领域。掌握好正则表达式对于提升Python编程能力大有裨益。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值