pyparsing，一个超实用的Python库！

最新推荐文章于 2024-12-04 18:30:30 发布

黑马聊AI

最新推荐文章于 2024-12-04 18:30:30 发布

阅读量1.3k

点赞数 20

分类专栏： Python编程文章标签： python 服务器数据库

本文链接：https://blog.csdn.net/2401_83617404/article/details/140566663

版权

Python编程专栏收录该内容

73 篇文章

订阅专栏

pyparsing 是一个强大的文本解析库，能够轻松解析复杂的文本格式，常用于读取配置文件、数据文件等场景，是 Python 程序员处理文本的得力工具。

如何安装pyparsing

使用 pip 命令可以轻松安装 pyparsing 库。在终端或命令提示符中输入以下命令：

pip install pyparsing

在 Python 代码中引入 pyparsing 库，只需使用以下代码：

import pyparsing as pp

pyparsing的功能特性

灵活：pyparsing 提供了高度灵活的文本解析能力，支持自定义语法规则。

强大：支持复杂的解析任务，包括嵌套结构、混合格式等。

易用：通过直观的 API 和表达式，简化了解析代码的编写。

快速：pyparsing 的性能优越，适用于处理大规模文本数据。

可扩展：易于与其他库集成，可以根据需求进行扩展和定制。

pyparsing的基本功能

文本解析

from pyparsing import *

# 定义一个简单的表达式解析规则
expression = Word(nums) + "+" + Word(nums)

# 测试字符串
test_string = "3+5"

# 解析结果
parsed_result = expression.parseString(test_string)

print(parsed_result)
# 输出: ['3', '+', '5']

组合规则

from pyparsing import *

# 定义一个规则组合，解析日期格式如 "2021-03-15"
date_format = Word(nums) + "-" + Word(nums, maxsplit=1) + "-" + Word(nums, maxsplit=1)

# 测试字符串
test_string = "2021-03-15"

# 解析结果
parsed_result = date_format.parseString(test_string)

print(parsed_result)
# 输出: ['2021', '-', '03', '-', '15']

转义字符

from pyparsing import *

# 定义一个规则，解析包含转义字符的字符串
escaped_string = QuotedString('"', escapeQuote="'")

# 测试字符串
test_string = '"Hello\\nWorld"'

# 解析结果
parsed_result = escaped_string.parseString(test_string)

print(parsed_result)
# 输出: ['Hello\nWorld']

循环解析

from pyparsing import *

# 定义一个规则，解析多个整数
numbers = OneOrMore(Word(nums))

# 测试字符串
test_string = "1 2 3 4 5"

# 解析结果
parsed_result = numbers.parseString(test_string)

print(parsed_result)
# 输出: ['1', '2', '3', '4', '5']

递归解析

from pyparsing import *

# 定义一个递归解析规则，解析括号内的表达式
expr = Forward()
number = Word(nums)
plus = Literal('+').setParseAction(lambda s, l, t: [int(l[0]), int(l[1])])
expr << (number + Optional(plus + expr))

# 测试字符串
test_string = "3+(2+4)"

# 解析结果
parsed_result = expr.parseString(test_string)

print(parsed_result)
# 输出: [3, ['+', 2, ['+', 4]]]

语法错误处理

from pyparsing import *

# 定义一个简单的表达式规则
expression = Word(nums) + "+" + Word(nums)

# 测试字符串（包含错误）
test_string = "3+5a"

try:
    parsed_result = expression.parseString(test_string)
    print(parsed_result)
except Exception as e:
    print(f"解析错误: {e}")

# 输出: 解析错误: Expected a number (at char 4), (at char 4)

pyparsing的高级功能

在掌握了pyparsing的基本用法后，我们可以进一步探索它的高级功能，这些功能可以帮助我们处理更复杂的文本解析任务。

使用 `infixNotation` 定义操作符优先级

pyparsing允许我们通过infixNotation方法来定义操作符的优先级，这对于解析表达式求值非常有用。

from pyparsing import *

# 定义数字和基础表达式
number = Word(nums)
factor = number | '(' + expression + ')'
term = factor + ZeroOrMore('*' + factor | '/' + factor)
expression = term + ZeroOrMore('+' + term | '-' + term)

# 定义操作符优先级
expression = infixNotation(expression,
                           [
                               ('+', 2, opAssoc.LEFT),
                               ('-', 2, opAssoc.LEFT),
                               ('*', 2, opAssoc.LEFT),
                               ('/', 2, opAssoc.LEFT),
                           ])

# 解析表达式
parsed_expr = expression.parseString("3 + 4 * (2 - 1)")
print(parsed_expr)

使用 `ParserElement` 创建组合解析器

通过ParserElement类，我们可以创建自定义的解析器，这些解析器可以组合现有的解析器元素，实现更复杂的解析逻辑。

from pyparsing import *

# 创建一个自定义解析器，用于解析日期
date_parser = (Word(nums) + '/' + Word(nums) + '/' + Word(nums)).setParseAction(lambda tokens: f"{tokens[0]}-{tokens[1]}-{tokens[2]}")

# 使用自定义解析器
parsed_date = date_parser.parseString("12/31/2022")
print(parsed_date)

使用 `ParseResults` 处理解析结果

pyparsing返回的解析结果是一个ParseResults对象，我们可以使用它来访问解析出的元素，并进行进一步处理。

from pyparsing import *

# 定义一个简单的表达式解析器
expr = Word(nums) + '+' + Word(nums)
parsed_result = expr.parseString("5+7")

# 使用 ParseResults 访问解析结果
print(parsed_result[0])  # 输出第一个数字
print(parsed_result[1])  # 输出 '+'
print(parsed_result[2])  # 输出第二个数字

解析复杂结构：JSON

pyparsing可以用来解析JSON格式，尽管它不是为这个目的设计的，但我们可以通过组合不同的解析器元素来实现。

from pyparsing import *

# 定义 JSON 解析器
json_string = nestedBrackets('{', '}', ZeroOrMore(Word(alphanums) + ':' + Word(alphanums)))
json_value = json_string.setParseAction(lambda tokens: {tokens[0]: tokens[2]})

# 使用 JSON 解析器
parsed_json = json_value.parseString("{\"name\": \"John\", \"age\": 30}")
print(parsed_json)

解析错误处理

pyparsing提供了强大的错误处理机制，可以帮助我们识别和报告解析过程中的错误。

from pyparsing import *

# 定义一个简单的整数解析器
integer = Word(nums).setParseAction(lambda tokens: int(tokens[0]))

# 尝试解析一个包含非数字字符的字符串
try:
    parsed_int = integer.parseString("12a3")
except Exception as e:
    print(e)  # 输出错误信息

这些高级功能扩展了pyparsing的解析能力，使其能够应对更多复杂的文本解析需求。

pyparsing的实际应用场景

数据解析

在处理复杂的数据格式时，pyparsing 可以帮助我们快速准确地解析数据。例如，解析 CSV 文件。

from pyparsing import *

# 定义 CSV 文件解析规则
csv = OneOrMore( delimitedList( Word(alphanums) ) ).setParseAction(lambda tokens: [token for sublist in tokens for token in sublist])

# 测试数据
test_data = "Name,Age\nAlice,30\nBob,25"

# 解析 CSV 数据
parsed_data = csv.parseString(test_data)
print(parsed_data)

文本分析

pyparsing 可以用于文本分析，如提取关键信息、统计词频等。

from pyparsing import *

# 定义英文句子解析规则
sentence = OneOrMore(Word(alphas)).setParseAction(lambda tokens: ' '.join(tokens))

# 测试数据
test_sentence = "The quick brown fox jumps over the lazy dog"

# 解析句子
parsed_sentence = sentence.parseString(test_sentence)
print(parsed_sentence)

配置文件解析

在处理配置文件时，pyparsing 可以帮助我们提取配置项的值。

from pyparsing import *

# 定义配置文件解析规则
config = OneOrMore(Word(alphanums) +~":"" + Word(alphanums)).setParseAction(lambda tokens: {tokens[0]: tokens[1]})

# 测试数据
test_config = "host:localhost\nport:8080"

# 解析配置文件
parsed_config = config.parseString(test_config)
print(parsed_config)

表达式解析

pyparsing 还可以用于解析数学表达式，从而实现计算功能。

from pyparsing import *

# 定义数学表达式解析规则
expr = Forward()
number = Word(nums)
plus = Literal('+').setParseAction(lambda tokens: tokens[0] + tokens[1])
minus = Literal('-').setParseAction(lambda tokens: tokens[0] - tokens[1])
factor = number | expr

# 表达式解析规则
expr << (factor + (plus | minus) + factor)

# 测试数据
test_expr = "3 + 4 - 1"

# 解析并计算表达式
parsed_expr = expr.parseString(test_expr)
print(parsed_expr)

代码语法检查

使用 pyparsing，我们可以创建一个简单的代码语法检查工具。

from pyparsing import *

# 定义 Python 代码解析规则
python_code = OneOrMore(Word(alphas) +~":" + OneOrMore(Word(alphas) | nums))

# 测试数据
test_code = "def add(a: int, b: int) -> int:\n return a + b"

# 解析 Python 代码
parsed_code = python_code.parseString(test_code)
print(parsed_code)

请求和响应解析

在处理网络请求和响应时，pyparsing 可以帮助我们解析 HTTP 头部信息。

from pyparsing import *

# 定义 HTTP 头部解析规则
http_header = OneOrMore(Word(alphas) +~":" + OneOrMore(Word(alphas) | nums))

# 测试数据
test_header = "GET / HTTP/1.1\nHost: www.example.com\nConnection: keep-alive"

# 解析 HTTP 头部
parsed_header = http_header.parseString(test_header)
print(parsed_header)