【Python第五课】re正则表达式数据解析

最新推荐文章于 2024-05-11 19:54:28 发布

云先森(iyunsir)

最新推荐文章于 2024-05-11 19:54:28 发布

阅读量582

点赞数 2

分类专栏： Python系列文章标签： python

本文链接：https://blog.csdn.net/iyunsir/article/details/108341866

版权

Python系列专栏收录该内容

10 篇文章 0 订阅

订阅专栏

Re 正则表达式

正则表达式，就是使用字符，转义字符和特殊字符组成一个规则，
使用这个规则对文本的内容完成一个搜索或匹配或替换的功能、

正则表达式的组成

普通字符： 大小写字母，数字，符合。。。
转义字符：\w \W \d \D \s \S ...
特殊字符：.  * ? + ^ $ [] {} ()
匹配模式：I U。。。

示例：

# 使用正则表达式进行匹配的 基本语法
import re
# 定义字符串
vars = 'iloveyou521tosimida'
# 定义正则表达式
reg = 'love'
# 调用正则函数方法
res = re.findall(reg,vars)
print(res)

正则表达式规则定义详解

普通字符

# 正则表达式的规则定义
import re

# 普通字符

# vars = 'iloveyou'
# reg = 'love'
# res = re.search(reg,vars).group()
# print(res)

转义字符

# 转义字符 \w \W \d \D \s \S ...
varstr = 'a2$_ilove5	21you'

reg = '\w' # 代表 单个 字母、数字、下划线
reg = '\W' # 代表 单个的 非 字母、数字、下划线
reg = '\d' # 代表 单个的 数字
reg = '\D' # 代表 单个的 非数字
reg = '\s' # 代表 单个的 空格符或制表符
reg = '\S' # 代表 单个的 非 空格符或制表符
reg = '\w\w\w\w\d' # 组合使用

特殊字符

# 特殊字符 . * + ? {} [] () ^ $
varstr = 'hello WORLD  iloveyou5211imissyou'

reg = '.'    # . 点 代表 单个的 任意字符 除了换行符之外
reg = '\w*'  # * 代表匹配次数  任意次数
reg = '\w+'  # + 代表匹配次数  至少要求匹配一次
reg = '\w+?' # ? 拒绝贪婪，就是前面的匹配规则只要达成则返回
reg = '\w*?'
reg = '\w{5}' # {} 代表匹配次数，{4} 一个数字时，表示必须匹配的次数
reg = '\w{2,4}' # {} 代表匹配次数，{2,5} 两个数字时，表示必须匹配的区间次数
reg = '[A-Z,a-z,0-9,_]' # [] 代表字符的范围 [A-Z,a-z,0-9,_] == \w
reg = '\w+(\d{4})(\w+)'  # () 代表子组，括号中的表达式首先作为整个正则的一部分，另外会把符合小括号中的内容单独提取一份

varstr = '17610105211'
# 定义一个匹配手机号的正则表达式
reg = '^1\d{10}$' # ^ 代表开头  $ 代表结尾

# res = re.search(reg,varstr)
# print(res.group())
# print(res.groups())

'''
*号的特点： 
    如果使用*号，那么在匹配的开始处如果符合要求，
    则按照规则一直向后匹配，直到不符合匹配规则结束并把前面符合的数据返回
    
    如果在匹配的开始处就不符合要求，则直接返回，匹配到的次数为0
'''

正则模式

# 正则模式 re.I 不区分大小写
vars = 'iLOVEyou'

reg = '[a-z]{5,10}'
res = re.search(reg,vars,re.I)
print(res)

re模块相关函数

re.match() 函数

从头开始匹配
要么第一个就符合要求，要么不符合
匹配成功则返回Match对象，否则返回None
可以使用group()方法获取返回的数据
可以使用span()方法获取匹配的数据的下标区间

re.search() 函数

+ 从字符串开头到结尾进行搜索式匹配
+ 匹配成功则返回Match对象，否则返回None
+ 可以使用group()方法获取返回的数据
+ 可以使用span()方法获取匹配的数据的下标区间

search() 和 match() 方法的区别：

match()方法是从字符串的开头进行匹配，如果开始就不符合正则的要求，则匹配失败，返回None
search()方法是从字符串的开始位置一直搜索到字符串的最后，如果在整个字符串中都没有匹配到，则失败，返回None

re.findall()

按照正则表达式的规则在字符中匹配所有符合规则的元素，结果返回一个列表，如果没有找到则返回空列表

re.finditer()

按照正则表达式的规则在字符中匹配所有符合规则的元素，返回一个迭代器

re.sub() 搜索替换

按照正则表达式的规则，在字符串中找到需要被替换的字符串，完成一个替换
参数：
- pattern：正则表达式的规则，匹配需要被替换的字符串
- repl：替换后的字符串
- string：被替换的原始字符串

compile()

可以直接将正则表达式定义为正则对象，使用正则对象直接操作

示例：

import re

# 定义字符串
varstr = 'iloveyou521tosimida511'

# 正则表达式
reg = '\d{3}'
# 函数调用
# res = re.findall(reg,varstr)
# res = re.finditer(reg,varstr)
# print(list(res))

# 找到数字，替换成其它
# res = re.sub(reg,'AAA',varstr)
# print(res)

# 直接定义正则表达式对象
reg = re.compile('\d{3}')
# 直接使用创建的正则对象，去调用对应的方法或函数
res = reg.findall(string=varstr)
# print(res)

1.re正则模块-介绍


# 正则表达式 re
'''
正则表达式，就是使用字符，转义字符和特殊字符组成一个规则，
使用这个规则对文本的内容完成一个搜索或匹配或替换的功能

正则表达式的组成
    普通字符： 大小写字母，数字，符合。。。
    转义字符：\w \W \d \D \s \S ...
    特殊字符：.  * ? + ^ $ [] {} ()
    匹配模式：I U。。。
'''

# 使用正则表达式进行匹配的 基本语法
import re
# 定义字符串
vars = 'iloveyou521tosimida'
# 定义正则表达式
reg = 'love'
# 调用正则函数方法
res = re.findall(reg,vars)
print(res)

2.re模块相关函数-match与search

#  re模块相关函数 match与search

'''
re.match() 函数
    + 从头开始匹配
    + 要么第一个就符合要求，要么不符合
    + 匹配成功则返回Match对象，否则返回None
    + 可以使用group()方法获取返回的数据
    + 可以使用span()方法获取匹配的数据的下标区间

re.search()
    + 从字符串开头到结尾进行搜索式匹配
    + 匹配成功则返回Match对象，否则返回None
    + 可以使用group()方法获取返回的数据
    + 可以使用span()方法获取匹配的数据的下标区间

search() 和 match() 方法的区别：
    match()方法是从字符串的开头进行匹配，如果开始就不符合正则的要求，则匹配失败，返回None
    search()方法是从字符串的开始位置一直搜索到字符串的最后，如果在整个字符串中都没有匹配到，则失败，返回None


'''

import re
# 定义字符串
vars = 'iloveyou521tosimida'
# 定义正则表达式
reg = 'love'

# search
res = re.search(reg,vars)
print(res)
print(res.group())
print(res.span())

# 调用正则 match 函数方法
# res = re.match(reg,vars)
# print(res.group())  # 获取返回的数据结果
# print(res.span())   # 获取匹配结果的下标区间

3.re模块相关函数-其它函数

#
'''
re.findall()
    + 按照正则表达式的规则在字符中匹配所有符合规则的元素，结果返回一个列表，如果没有找到则返回空列表

re.finditer()
    + 按照正则表达式的规则在字符中匹配所有符合规则的元素，返回一个迭代器

re.sub() 搜索替换
    + 按照正则表达式的规则，在字符串中找到需要 被替换的字符串，完成一个替换
参数：
    pattern： 正则表达式的规则，匹配需要被替换的字符串
    repl：    替换后的字符串
    string：  被替换的原始字符串

compile()
    可以直接将正则表达式定义为 正则对象，使用正则对象直接操作

'''

import re

# 定义字符串
varstr = 'iloveyou521tosimida511'

# 正则表达式
reg = '\d{3}'
# 函数调用
# res = re.findall(reg,varstr)
# res = re.finditer(reg,varstr)
# print(list(res))

# 找到数字，替换成其它
# res = re.sub(reg,'AAA',varstr)
# print(res)

# 直接定义正则表达式对象
reg = re.compile('\d{3}')
# 直接使用创建的正则对象，去调用对应的方法或函数
res = reg.findall(string=varstr)
# print(res)

lines = [
    'i love 512 you',
    'i love 521 you',
    'i love 345 you',
    'i love 543 you',
]

reg = re.compile('\d{3}')
for i in lines:
    # reg = '\d{3}'
    # res = re.search(reg,i)
    # print(res.group())

    res = reg.search(i).group()
    print(res)

4.re模块-正则表达式的定义和规则-重点

# 正则表达式的规则定义
import re

# 普通字符

# vars = 'iloveyou'
#
# reg = 'love'
# res = re.search(reg,vars).group()
# print(res)

# 转义字符 \w \W \d \D \s \S ...
varstr = 'a2$_ilove5	21you'

reg = '\w' # 代表 单个 字母、数字、下划线
reg = '\W' # 代表 单个的 非 字母、数字、下划线
reg = '\d' # 代表 单个的 数字
reg = '\D' # 代表 单个的 非数字
reg = '\s' # 代表 单个的 空格符或制表符
reg = '\S' # 代表 单个的 非 空格符或制表符
reg = '\w\w\w\w\d' # 组合使用


# 特殊字符 . * + ? {} [] () ^ $
varstr = 'hello WORLD  iloveyou5211imissyou'

reg = '.'    # . 点 代表 单个的 任意字符 除了换行符之外
reg = '\w*'  # * 代表匹配次数  任意次数
reg = '\w+'  # + 代表匹配次数  至少要求匹配一次
reg = '\w+?' # ? 拒绝贪婪，就是前面的匹配规则只要达成则返回
reg = '\w*?'
reg = '\w{5}' # {} 代表匹配次数，{4} 一个数字时，表示必须匹配的次数
reg = '\w{2,4}' # {} 代表匹配次数，{2,5} 两个数字时，表示必须匹配的区间次数
reg = '[A-Z,a-z,0-9,_]' # [] 代表字符的范围 [A-Z,a-z,0-9,_] == \w
reg = '\w+(\d{4})(\w+)'  # () 代表子组，括号中的表达式首先作为整个正则的一部分，另外会把符合小括号中的内容单独提取一份

varstr = '17610105211'
# 定义一个匹配手机号的正则表达式
reg = '^1\d{10}$' # ^ 代表开头  $ 代表结尾



# res = re.search(reg,varstr)
# print(res.group())
# print(res.groups())

# 正则模式 re.I 不区分大小写
vars = 'iLOVEyou'

reg = '[a-z]{5,10}'
res = re.search(reg,vars,re.I)
print(res)

'''
# 特点： 
    如果使用*号，那么在匹配的开始处如果符合要求，
    则按照规则一直向后匹配，直到不符合匹配规则结束并把前面符合的数据返回
    
    如果在匹配的开始处就不符合要求，则直接返回，匹配到的次数为0
'''

5.re模块-正则实战-猿来如此


'''

数据地址：https://www.lmonkey.com/ask
数据字段： 问题，时间，url,作者
'''


import requests,re,json

# 1.定义请的url和请求头
url = 'https://www.lmonkey.com/ask'
headers = {
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}

# 2.发起请求
res = requests.get(url,headers=headers)

# 3.检测请求是否成功
if res.status_code == 200:
    # 4.获取返回的数据，
    res_html = res.text

    # 5。 进行数据解析

    # 定义解析问题标题的正则
    reg = '<div class="topic_title mb-0 lh-180 ml-n2">(.*?)<small'
    titlelist = re.findall(reg,res_html)
    # 定义解析作者的正则
    reg = '<strong>(.*?)</strong>'
    authorlist = re.findall(reg,res_html)
    # 定义解析时间的正则
    reg = '<span data-toggle="tooltip" data-placement="top" title="(.*?)">'
    datelist = re.findall(reg,res_html)
    # 定义解析url的正则
    reg = '<a href="(https://www.lmonkey.com/ask/\d+)" target="_blank">'
    urllist = re.findall(reg,res_html)
    # 压缩数据
    data = list(zip(titlelist,authorlist,datelist,urllist))

    # 常规方式 处理 数据，[{},{},{}]
    # datalist = []
    # for i in data:
    #     res = {'title':i[0],'url':i[1],'author':i[2],'datetime':i[3]}
    #     datalist.append(res)

    # 列表推导式
    datalist = [{'title':i[0],'url':i[1],'author':i[2],'datetime':i[3]} for i in data]

    # 数据入库
    with open('./data.json','w',encoding='utf-8') as fp:
        json.dump(datalist,fp)

云先森(iyunsir)

关注

2
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
【Python第五课】re正则表达式数据解析

Re 正则表达式正则表达式，就是使用字符，转义字符和特殊字符组成一个规则，使用这个规则对文本的内容完成一个搜索或匹配或替换的功能、正则表达式的组成普通字符：大小写字母，数字，符合。。。转义字符：\w \W \d \D \s \S ...特殊字符：. * ? + ^ $ [] {} ()匹配模式：I U。。。示例：# 使用正则表达式进行匹配的基本语法import re# 定义字符串vars = 'iloveyou521tosimida'# 定义正则表达式reg = 'l
复制链接

扫一扫

专栏目录