python文本处理的一些函数

python文本处理方法 re

pytnon re.sub()

• 匹配替换

re.sub(pattern, repl, string, count)
其中第二个函数是替换后的字符串；本例中为’-’
第四个参数指替换个数。默认为0，表示每个匹配项都替换
re.sub还允许使用函数对匹配项的替换进行复杂的处理。如：re.sub(r’\s’, lambda m: ‘[’ + m.group(0) + ‘]’, text, 0)；将字符串中的空格’ ‘替换为’[ ]'。

#示例一  将字符串中的空格 ' ' 替换成 '-' 
import re
text = "JGood is a handsome boy, he is cool, clever, and so on..."
print re.sub(r'\s+', '-', text)

#示例二
import re
import string
for line in newtxt:  # 循环处理每行数据
    #print(line)
    punt = '`*//*'   # 自定义特殊字符组
    str = re.sub(r"[%s]+"%punt, " ", line)  #去除"[%s]+"%punt  ，用" "分隔内容
    print(str)
    #datas = line.strip("\n").split(",")     # 对每行进行处理，strip("\n")去掉前后换行符，split(",")使用，号分隔
    #print(datas)     
   

re.split

可以使用re.split来分割字符串，如：re.split(r’\s+', text)；将字符串按空格分割成一个单词列表

group()

1.group([group1,…])

返回匹配到的一个或者多个子组。如果是一个参数，那么结果就是一个字符串，如果是多个参数，那么结果就是一个参数一个item的元组。group1的 默认值为0(将返回所有的匹配值).如果groupN参数为0，相对应的返回值就是全部匹配的字符串，如果group1的值是[1…99]范围之内的,那 么将匹配对应括号组的字符串。如果组号是负的或者比pattern中定义的组号大，那么将抛出IndexError异常。如果pattern没有匹配到， 但是group匹配到了，那么group的值也为None。如果一个pattern可以匹配多个，那么组对应的是样式匹配的最后一个。另外，子组是根据括 号从左向右来进行区分的。

例1
import re
a = "123abc456"
print re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(0)   #123abc456,返回整体
print re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(1)   #123
print re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(2)   #abc
print re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(3)   #456

1. 正则表达式中的三组括号把匹配结果分成三组
 group() 同group（0）就是匹配正则表达式整体结果
 group(1) 列出第一个括号匹配部分，group(2) 列出第二个括号匹配部分，group(3) 列出第三个括号匹配部分。
2. 没有匹配成功的，re.search（）返回None
3. 当然郑则表达式中没有括号，group(1)肯定不对了

例2
>>> m=re.match("(\w+) (\w+)","abcd efgh, chaj")
>>> m.group()            # 匹配全部
'abcd efgh'
>>> m.group(1)     # 第一个括号的子组.
'abcd'
>>> m.group(2)
'efgh'
>>> m.group(1,2)           # 多个参数返回一个元组
('abcd', 'efgh')
>>> m=re.match("(?P\w+) (?P\w+)","sam lee")
>>> m.group("first_name")  #使用group获取含有name的子组
'sam'
>>> m.group("last_name")
'lee'
下面把括号去掉
>>> m=re.match("\w+ \w+","abcd efgh, chaj")
>>> m.group()
'abcd efgh'
>>> m.group(1)
Traceback (most recent call last):
File "", line 1, in
m.group(1)
IndexError: no such group
If a group matches multiple times, only the last match is accessible:
如果一个组匹配多个，那么仅仅返回匹配的最后一个的。
>>> m=re.match(r"(..)+","a1b2c3")
>>> m.group(1)
'c3'
>>> m.group()
'a1b2c3'
Group的默认值为0，返回正则表达式pattern匹配到的字符串
>>> s="afkak1aafal12345adadsfa"
>>> pattern=r"(\d)\w+(\d{2})\w"
>>> m=re.match(pattern,s)
>>> print m
None
>>> m=re.search(pattern,s)
>>> m
>>> m.group()
'1aafal12345a'
>>> m.group(1)
'1'
>>> m.group(2)
'45'
>>> m.group(1,2,0)
('1', '45', '1aafal12345a')

2.groups([default])

返回一个包含所有子组的元组。Default是用来设置没有匹配到组的默认值的。Default默认是"None”,

>>> m=re.match("(\d+)\.(\d+)","23.123")
>>> m.groups()
('23', '123')
>>> m=re.match("(\d+)\.?(\d+)?","24") #这里的第二个\d没有匹配到，使用默认值"None"
>>> m.groups()
('24', None)
>>> m.groups("0")
('24', '0')

3.groupdict([default])

返回匹配到的所有命名子组的字典。Key是name值，value是匹配到的值。参数default是没有匹配到的子组的默认值。这里与groups()方法的参数是一样的。默认值为None

>>> m=re.match("(\w+) (\w+)","hello world")
>>> m.groupdict()
{}
>>> m=re.match("(?P\w+) (?P\w+)","hello world")
>>> m.groupdict()
{'secode': 'world', 'first': 'hello'}

strip()方法

• strip()方法 用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列

  该方法只能删除开头或是结尾的字符，不能删除中间部分的字符

实例一
#!/usr/bin/python
# -*- coding: UTF-8 -*-
str = "00000003210Runoob01230000000"; 
print str.strip( '0' );  # 去除首尾字符 0 
str2 = "   Runoob      ";   # 去除首尾空格
print str2.strip();
>>3210Runoob0123
>>Runoob
实例二
#!/usr/bin/python
# -*- coding: UTF-8 -*-
str = "123abcrunoob321"
print (str.strip( '12' ))  # 字符序列为 12
>>3abcrunoob3

re.search()

• re.search()扫描整个字符串并返回第一个成功的匹配,如果字符串没有匹配，则返回None

re.search(pattern, string, flags) 参数的含意与下面的re.match一样
re.match与re.search的区别：re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配

#示例一
import re

line="this hdr-biz model server"
pattern=r"hdr-biz"
m = re.search(pattern, line)
#示例二
text = "JGood is a handsome boy, he is cool, clever, and so on..."
m = re.search(r'\shan(ds)ome\s', text)
if m:
print m.group(0), m.group(1)
else:
print 'not search'

compile 函数

• compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用

  #示例一
  import re
  
  pattern = re.compile(r'\d+') 
  #示例二
  import re
  
  text = "JGood is a handsome boy, he is cool, clever, and so on..."
  regex = re.compile(r'\w*oo\w*')
  print regex.findall(text)   #查找所有包含'oo'的单词
  print regex.sub(lambda m: '[' + m.group(0) + ']', text) #将字符串中含有'oo'的单词用[]括起来

re.findall

• re.findall在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表

re.findall可以获取字符串中所有匹配的字符串。如：re.findall(r’\woo\w’, text)；获取字符串中，包含’oo’的所有单词

import re
 
line="this hdr-biz model args= server"
patt=r'server'
pattern = re.compile(patt)
result = pattern.findall(line)

re.finditer

• re.finditer和 findall 类似，在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个迭代器返回

import re
 
it = re.finditer(r"\d+","12a32bc43jf3")
for match in it:
  print (match.group())

re.match()

• re.match() 尝试从字符串的开始匹配一个模式，当不是从开始位置匹配，则返回None

re.match函数语法：re.match(pattern, string, flags=0)
参数说明
pattern:匹配的正则表达式
string:待匹配的字符串
flags:标志位，用于控制正则表达式的匹配方式 如：是否区分大小写，多行匹配等等
返回值说明
当匹配成功后，则返回匹配成功的对象，
否则返回None
在返回的对象中，我们可以使用
group(num) 或 groups()获取返回对象中的信息
group(num=0):匹配的整个表达式的字符串，
group() 可以一次输入多个组号，在这种情况下它将返回一个包含那些组所对应值的元组。
groups():返回一个包含所有小组字符串的元组，从 1 到 所含的小组号。

match对象的方法：

.group(0) : 获得匹配后的字符串

.start() : 匹配字符串在给定字符串的开始位置下标

.end() : 匹配字符串在给定字符串的结束位置下标

.span() : 返回一个元组类型，包含开始位置下标和结束位置下标

示例分享
#maomao365.com
#正则表达式
#re.match函数的示例分享
import re
print(re.match('www', 'www.maomao365.com').span()) # 在起始位置匹配
print(re.match('com', 'www.maomao365.com')) # 不在起始位置匹配
//输出
(0, 3)
None