基于ANTLR4+python解析设备树文件

于 2024-05-22 16:03:44 发布
阅读量529 收藏 9
点赞数 4
分类专栏： antlr4 python3 文章标签： python antlr4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bgape002/article/details/139122313
版权

title: 基于ANTLR4+python解析设备树文件
top: 41
date: 2024-05-22 09:28:25
tags:

  • ANTLR4
  • 设备树
    categories:
  • ANTLR4

什么是设备树？

引导程序要初始化并且引导一个计算机系统实现多种软件模块的交互。例如Bootloaders和hypervisors(固件)程序, 他们在把控制权交给操作系统软件之前可能需要在系统硬件上做低级的初始化工作。同时，bootloaders，hypervisos能够依次加载系统并把控制权交给操作系统, 使得在软件之间的交互变的标准化、接口化并且易用。在这个文档中引导程序被用作泛指那些初始化系统状态并加载执行操作系统的程序。boot引导程序主要包括:固件、bootloaders和hypervisors。一个client程序主要包括:bootloader、hypervisors、操作系统和一些其他特别目的的程序。一个软件包可能包含boot程序和client程序。

设备树规范提供了一个完整的boot引导程序到client程序的接口定义和广泛且多样系统开发的最小集合。

设备树文件样例

// template.dts

/dts-v1/;
//memreserve/ <address> <length>;
/*
mem {
    mem;
};*/

/ {
	interrupt-parent = <&intc>;
	compatible = "linux,dummy-virt";
	#size-cells = <0x02>;
	#address-cells = <0x02>;
psci {
	cpu_on = <0xc4000003>;
	compatible = "arm,psci-1.0", "arm,psci-0.2", "arm,psci";
	cpu_suspend = <0xc4000001>;
	migrate = <0xc4000005>;
	cpu_off = <0x84000002>;
	method = "hvc";
	assigned-clocks = <&v2m_sysctl 0>, <&v2m_sysctl 1>, <&v2m_sysctl 3>, <&v2m_sysctl 3>;
};

mem {

};

memory {
	reg = <0x00 0x80000000 0x00 0x10000000>;
	device_type = "memory";
};

uart {
	compatible = "arm,pl011", "arm,primecell";
	clock-names = "uartclk", "apb_pclk";
	clocks = <&apb_pclk>, <&apb_pclk>;
	interrupts = <0x00 0x01 0x04>;
	reg = <0x00 0x9000000 0x00 0x1000>;
};

intc: intc {
	interrupt-controller;
	#size-cells = <0x02>;
	ranges;
	compatible = "arm,cortex-a15-gic";
	#interrupt-cells = <0x03>;
	reg = <0x00 0x8000000 0x00 0x10000>,              <0x00 0x8010000 0x00 0x10000>;
	#address-cells = <0x02>;
v2m {
	msi-controller;
	compatible = "arm,gic-v2m-frame";
	reg = <0x00 0x8020000 0x00 0x1000>;
};

};

timer {
	compatible = "arm,armv8-timer\0arm,armv7-timer";
	interrupts = <0x01 0x0d 0x104>,             <0x01 0x0e 0x104>, <0x01 0x0b 0x104>, <0x01 0x0a 0x104>;
	always-on;
};

ethernet: ethernet {
	compatible = "smsc,lan9118", "smsc,lan9115";
	reg-io-width = <4>;
	reg = <0x0 0xC0000000 0x0 0x10000>;
	smsc,irq-active-high;
	interrupts = <0 4 4>;
	phy-mode = "mii";
	smsc,irq-push-pull;
};

chosen {
	stdout-path = "/uart";
	rng-seed = <0x35d0afb0 0x45d1f049 0x9b6bc5af 0x61073667 0xfa7f51b8 0xa46898c7 0xf96fbe17 0x2093044>;
	kaslr-seed = <0xe61a0cad 0xcc2e0aab>;
};
cpus {
	#size-cells = <0x00>;
	};
};

/ {
cpus {
	#size-cells = <0x00>;
	#address-cells = <0x01>;
cpu-map {
socket0 {
cluster0 {
core0 {
	cpu = <&cpu_0>;
};};};};

cpu_0: cpu@0 {
	reg = <0x00>;
	info: compatible = "arm,cortex-a53";
	device_type = "cpu";
	extra_1 = [ab cd ef byte4: 00 ff fe];
	extra_2 = reglabel: <0 sizelabel: 0x1000000>;
};};};

  • 设备树文件注释方式同C语言。

  • 一份设备树文件中，如果同时记录了多个根（/），解析完成后需将多个根的数据合并，相同路径下的相同属性键对应的值进行覆盖。

  • 详细的设备树格式定义可见参考链接[1]。

ANTLR4描述（g4文件）

  • DTSLEXER.g4
lexer grammar DTSLexer;

LC     : '{';
RC     : '}';
LP     : '(';
RP     : ')';
SC     : ';';
EQ     : '=';
CO     : ',';
SL     : '/';

BEGIN_ADDRESS       : '<' -> skip, pushMode(ADDRESS);
BEGIN_HEX_MODE      : '[' -> skip, pushMode(HEX_MODE);
BEGIN_DEFINE_VAL    : '"' -> skip, pushMode(DEFINE_VAL);
BEGIN_LINE_COMMENT  : '//' -> skip, pushMode(LINE_COMMENT);
BEGIN_MUL_COMMENT   : '/*' ->skip, pushMode(MUL_COMMENT);

WS                  : [ \t\r\n]+ -> skip ;

MEMRESERVE          : SL 'memreserve' SL;
INCLUDE             : 'include' ;

VERSION             : SL 'dts-v' [0-9]+ SL;
LABEL               : LABEL_NAME CL;

NODE_NAME           : CHAR+(CHAR|[0-9]|[,._+]|'-')* AT (CHAR|[0-9]|[,._+]|'-')+
                    | CHAR+(CHAR|[0-9]|[,._+]|'-')*
                    ;
PROPERTY_NAME       : (CHAR|[0-9]|[,._+?#]|'-')+ ;

fragment CHAR       : [a-zA-Z] ;
fragment HEX        : '0' [Xx] [0-9a-fA-F]+ ;
fragment DEC        : ('0' [Dd])?[0-9]+ ;
fragment OCT        : '0' [Oo] [0-7]+ ;
fragment BIN        : '0' [Bb] [0-1]+ ;
fragment NUM        : HEX | DEC | OCT | BIN ;
fragment STR        : [\u0021\u0023-\u003a\u003c-\u007e]+ ;
fragment NAME_ADDR  : CHAR+(CHAR|[0-9]|[,._+]|'-')* ;
fragment AT         : '@';
fragment HA         : '#';
fragment CL     : ':';
fragment NODE_PATH  : (SL NODE_NAME)+ ;
fragment ASCII      : [\u0000-\u007e] ;
fragment LABEL_NAME : CHAR+(CHAR|[0-9]|'_')* ;

// ADDRESS
mode ADDRESS;
WS_1                : [ \t\r\n]+ -> skip ;
PL     : '+';
MI     : '-';
AS     : '*';
DI     : '/' ;
MO     : '%';
AM     : '&';

LABEL_1             : LABEL ;
ADDRESS_VALUE       : NUM+ | [0-9]+
                    | AM LABEL_NAME
                    | AM LC NODE_PATH RC
                    ;
END_ADDRESS         : '>' -> skip, popMode ;


// HEX_MODE
mode HEX_MODE;
WS_2                : WS -> skip;
LABEL_2             : LABEL ;
HEX_NUM             : [0-9a-fA-F]+ ;
END_HEX_MODE        : ']' -> skip, popMode ;


// DEFINE_VAL
mode DEFINE_VAL;
LABEL_3             : LABEL ;
PROPERTY_VALUE      : [\u0021\u0023-\u007e]+ ;
END_DEFINE_VAL      : '"' -> skip, popMode ;


// LINE_COMMENT
mode LINE_COMMENT;
END_LINE_COMMENT    : '\n' -> skip, popMode ;
SKIP_ALL            : ASCII -> skip ;

// MUL_COMMENT
mode MUL_COMMENT;
END_MUL_COMMENT     : '*/' -> skip, popMode;
SKIP_ALL_1          : ASCII -> skip ;
  • DTSPARSER.g4
parser grammar DTSParser;

options {
    tokenVocab = DTSLexer;
}

top             : version_stat memory_stat? node+ EOF ;
version_stat    : VERSION SC ;
memory_stat     : MEMRESERVE ADDRESS_VALUE ADDRESS_VALUE SC ;

node            : node_key LC node_value* RC SC ;
node_key        : SL
                | labels* NODE_NAME
                ;
node_value      : stat
                | node
                ;

stat            : labels* property_key (EQ property_value)? SC ;
property_key    : PROPERTY_NAME
                | NODE_NAME
                ;
property_value  : labels* value_type labels* (CO labels* value_type labels*)* CO? ;

value_type      : PROPERTY_VALUE
                | (labels* ADDRESS_VALUE)+
                | (labels* HEX_NUM)+
                ;
labels          : LABEL | LABEL_1 | LABEL_2 | LABEL_3 ;
  • 值得注意的是，我们忽略了设备树语法中的#inclued 'file'，该类语句为预处理命令，需要单独解析处理，这里暂且忽略了。

基于visitor接口的python实现

# myDTS.py

from antlr4 import *
from antlr4.error.ErrorListener import ErrorListener

from DTSLexer import DTSLexer
from DTSParser import DTSParser
from DTSParserVisitor import DTSParserVisitor


class MyVisitor(DTSParserVisitor):
    def __init__(self):
        self._roots = []

    def visitProperty_key(self, ctx: DTSParser.Property_keyContext):
        return ctx.getText()

    def visitValue_type(self, ctx: DTSParser.Value_typeContext):
        text = []
        for it in ctx.getChildren():
            if it in ctx.labels():
                continue
            text.append(it.getText())
        return ' '.join(text)

    def visitProperty_value(self, ctx: DTSParser.Property_valueContext):
        val = set()
        for it in ctx.getChildren():
            if it in ctx.labels() or it.getText() == ',':
                continue
            val.add(self.visit(it))
        return val

    def visitStat(self, ctx: DTSParser.StatContext):
        if ctx.property_value():
            return {self.visit(ctx.property_key()): self.visit(ctx.property_value())}
        else:
            return {self.visit(ctx.property_key()): set()}

    def visitNode_key(self, ctx: DTSParser.Node_keyContext):
        items = list(ctx.getChildren())
        return items[-1].getText()

    def visitNode(self, ctx:DTSParser.NodeContext):
        key = self.visit(ctx.node_key())
        val = {}
        for it in ctx.node_value():
            val.update(self.visit(it))
        return {key: val}

    def visitTop(self, ctx:DTSParser.TopContext):
        for it in ctx.node():
            self._roots.append(self.visit(it)['/'])

    def merge_roots(self):
        root, *roots = self._roots
        for cur in roots:
            self.recursive_merge(root, cur, [''])
        del self._roots
        return root

    def recursive_merge(self, base, cur, keys):
        delimiter = '/'
        for key, val in cur.items():
            if key not in base:
                base.update({key: val})
            else:
                keys.append(key)
                if isinstance(val, set):
                    base.update({key: val})
                    print(f"WARNING: Replace key '{delimiter.join(keys)}'.")
                else:
                    self.recursive_merge(base.get(key), val, keys)


class DTSException(ErrorListener):
    def syntaxError(
            self,
            recognizer,
            offendingSymbol,
            line: int,
            column: int,
            msg: str,
            e: RecognitionException,
    ):
        raise SyntaxError(f"Syntax error on line {line}, column {column}: {msg}")



def dts2dict(file):
    lexer = DTSLexer(FileStream(file))
    token_stream = CommonTokenStream(lexer)
    parser = DTSParser(token_stream)
    parser.removeErrorListeners()
    parser.addErrorListener(DTSException())
    tree = parser.top()
    visitor = MyVisitor()
    visitor.visit(tree)
    return visitor.merge_roots()


print(MyDTS.dts2dict('template.dts'))

设备树文件转python字典（dts2dict）

{'interrupt-parent': {'&intc'},
 'compatible': {'linux,dummy-virt'}, 
 '#size-cells': {'0x02'}, 
 '#address-cells': {'0x02'}, 
     'psci': {
         'cpu_on': {'0xc4000003'}, 
         'compatible': {'arm,psci-1.0', 'arm,psci', 'arm,psci-0.2'}, 
         'cpu_suspend': {'0xc4000001'}, 
         'migrate': {'0xc4000005'}, 
         'cpu_off': {'0x84000002'}, 
         'method': {'hvc'}, 
         'assigned-clocks': {'&v2m_sysctl 3', '&v2m_sysctl 1', '&v2m_sysctl 0'}
     }, 
 	'mem': {}, 
 	'memory': {
        'reg': {'0x00 0x80000000 0x00 0x10000000'}, 
        'device_type': {'memory'}
    }, 
 	'uart': {
        'compatible': {'arm,pl011', 'arm,primecell'},
        'clock-names': {'uartclk', 'apb_pclk'}, 
        'clocks': {'&apb_pclk'}, 
        'interrupts': {'0x00 0x01 0x04'}, 
        'reg': {'0x00 0x9000000 0x00 0x1000'}
    }, 
    'intc': {
        'interrupt-controller': set(), 
        '#size-cells': {'0x02'}, 
        'ranges': set(), 
        'compatible': {'arm,cortex-a15-gic'}, 
        '#interrupt-cells': {'0x03'}, 
        'reg': {'0x00 0x8000000 0x00 0x10000', '0x00 0x8010000 0x00 0x10000'}, 
        '#address-cells': {'0x02'}, 
        'v2m': {
            'msi-controller': set(), 
            'compatible': {'arm,gic-v2m-frame'}, 
            'reg': {'0x00 0x8020000 0x00 0x1000'}
        }
    }, 
 	'timer': {
        'compatible': {'arm,armv8-timer\\0arm,armv7-timer'}, 
        'interrupts': {'0x01 0x0a 0x104', '0x01 0x0e 0x104', '0x01 0x0d 0x104', '0x01 0x0b 0x104'}, 
        'always-on': set()
    }, 
 	'ethernet': {
        'compatible': {'smsc,lan9115', 'smsc,lan9118'}, 
        'reg-io-width': {'4'}, 
        'reg': {'0x0 0xC0000000 0x0 0x10000'},
        'smsc,irq-active-high': set(),
        'interrupts': {'0 4 4'}, 
        'phy-mode': {'mii'}, 
        'smsc,irq-push-pull': set()
    }, 
 	'chosen': {
        'stdout-path': {'/uart'}, 
        'rng-seed': {'0x35d0afb0 0x45d1f049 0x9b6bc5af 0x61073667 0xfa7f51b8 0xa46898c7 0xf96fbe17 0x2093044'},
        'kaslr-seed': {'0xe61a0cad 0xcc2e0aab'}
    }, 
 	'cpus': {
        '#size-cells': {'0x00'}, 
        '#address-cells': {'0x01'}, 
        'cpu-map': {
            'socket0': {
                'cluster0': {
                    'core0': {
                        'cpu': {
                            '&cpu_0'
                        }
                    }
                }
            }
        }, 
        'cpu@0': {
            'reg': {'0x00'},
            'compatible': {'arm,cortex-a53'},
            'device_type': {'cpu'}, 
            'extra_1': {'ab cd ef 00 ff fe'}, 
            'extra_2': {'0 0x1000000'}
        }
    }
}

参考链接

[1] 设备树文件规范

[2] Linux设备树语法规范

bgape002
关注
专栏目录
系列：用python+antlr解析hive sql获得数据血缘关系（一）
傲慢程序员的偏见
01-03 7414
工作刚开始，边学边记，预计不止两篇三篇的，先提个系列 系列目标 编程获得数据血缘关系的需求对数据仓库来说并不普遍，只有数据规模达到很大的程度，或者存在复杂数据生产关系的报表数量增加到很大的程度，单独的数据血缘关系工作才有必要。 在规模没达到之前，人工的识别和管理是更经济有效的。 本系列想要做到的目标是这个uber的 queryparser的一个子集，在有限知道目标数据表结构的前提下，发现并记录目标...
antlr4-cpp:ANTLR 4 的 C++ 目标，包括模板和运行时
06-01
ANTLR 4 的实验性 C++ 14 目标 这个 ANTLR 4 目标是一个非常早期的正在进行中的工作，最初创建用于学习和实践 C++ 11 和 14 中的新功能的开发。开发过程尚未确定，但我们欢迎来自社区的任何意见时间。 构建状态 操作系统 编译器 配置 地位 Linux 铛 无（禁用） 视窗 视觉工作室 2015 调试 x86 执照 这个项目是在 3-clause BSD 许可下获得许可的。 有关详细信息，请参阅。
推荐项目：Py3Antlr4Book - 一个Python 3与ANTLR 4结合的学习资源
gitblog_00026的博客
04-26 360
推荐项目：Py3Antlr4Book - 一个Python 3与ANTLR 4结合的学习资源 项目地址:https://gitcode.com/jszheng/py3antlr4book Py3Antlr4Book 是一个由开发者Jszheng创建的开源项目，主要目的是帮助程序员更深入地理解和使用ANTLR 4解析器生成器，结合Python 3进行语法解析和语言处理。该项目通过一系列实例，详细介绍...
ANTLR 4 权威指南 C++ 计算器
05-20
ANTLR4 是由 Java 开发的，大部分的示例也是 Java 的，当前资源使用 C++ 实现了 ANTLR 4权威指南 第四章中的计算器，我在 linux 测试通过
C++使用ANTLR4
qq_48201696的博客
03-28 5114
Antlr4 For C++ In Linux Antlr是什么 Antlr实际上做了两件事，一是翻译语法和词法，并生成相应代码，然后就是为翻译出来的语法词法代码提供运行时的支持 将Antlr4放入Linux 首先要确保Linux下有JDK环境，检查一下JVM是否存在，没有的话需要安装一下 下载Antlr的jar包，去Antlr的官网下载即可Download ANTLR 拿到jar包之后，在环境变量中添加这个jar包 # 假如我们已经下载了jar包，并知道他的位置，我是放到了/usr/local/l
antlr4安装、环境配置和使用（python3）
最新发布
bgape002的博客
05-21 1804
这是一个利用ANTLR解析JSON转XML的案例// JSON.g4json: obj| array;obj;array;value;| '-'?| '-'?;INT;import sysbuf = "\n"buf = "\n"# listenercase.json为本例待解析处理的输入文件，文件语言为JSONJSON.g4为本例对应的ANTLR4语言描述文件为本例对应的python语言描述文件。
antlr4生成c_Antlr4 C ++目标
weixin_39850920的博客
12-28 379
We're starting a project where we will need to parse python source files in a C++ application. I've used Antlr2 a while back to generate a few compilers, but this is the first time I'm using Antlr4.It...
antlr4生成c_将ANTLR 4集成到C ++应用程序中
weixin_35147304的博客
12-28 284
Recently I picked up a copy of The Definitive ANTLR 4 Reference and since I am sophisticated when it comes to working with grammars and languages I wanted to work on my DSL I once have written using y...
基于 Antlr4 的 Hive SQL 解析.zip
04-29
在本课程设计中，主题是“基于Antlr4的Hive SQL解析”，这涉及到了两个主要的技术领域：Antlr4和Hive SQL。Antlr4是一个强大的解析工具，用于生成解析器和词法分析器，它能处理各种语言的语法，包括SQL。而Hive SQL...
java Antlr 4 语法文件合集
04-07
Antlr 4 支持多种编程语言，包括 Java，C#，Python，JavaScript 等，而在这个“java Antlr 4 语法文件合集”中，我们主要关注的是与 Java 相关的内容。 Antlr 4 的核心概念主要包括语法（Grammar）、解析树（Parse ...
antlr-haskell：Haskell的语言解析准引用程序，主要基于ANTLR4
02-04
描述简洁明了，指出“antlr-haskell”是一个基于ANTLR4的Haskell语言解析工具。这意味着它使用ANTLR4的语法规则定义，然后将其转换为Haskell代码，以实现对特定语言的解析。 标签中，“haskell”和“antlr”是关键...
Antlr4 C++ 计算器
09-30
使用C++实现了《ANTLR4权威指南》中第三章的计算器，代码中已经包含了ANTLR4 运行时代码，不需要额外安装
antlr 生成C++描述的分析程序
03-20
antlr 生成C++描述的分析程序 语法分析器 语法分析器生成工具
ts-parser:使用ANTLR4生成的TypeScript解析器
05-16
总的来说，`ts-parser`是基于ANTLR4构建的一个强大工具，它使得开发者可以轻松地解析和处理TypeScript代码，广泛应用于各种编译器、IDE插件以及代码分析工具的开发中。通过理解和使用`ts-parser`，可以加深对...
【python】使用Antlr4实现识别sql中的表或视图名
DarkAthena的博客
10-10 1764
前言 先上成果预览图吧 作为一个数据库sql开发者，肯定有很多人和我一样，想要有一个工具，能传入任意sql，解析出sql中的所有表。 我之前有一篇文章【AIO】将任意查询sql转换成带远程数据库DBLINK的sql 中就提到了，使用纯文本硬解析会存在很多不确定因素，比如oracle新版本就添加了新的sql语法，有些场景太难处理，而解析器则只需要配置好规则，并且标准化规则的语法，那么扩展性就很强了。 antlr4 https://github.com/antlr/antlr4 Antlr这个老早就有了，如今
antlr4 with python(interface is not good as Java)
贾亮的专栏
06-12 386
antlr4 with python install python config antlr4(need JDK) write you parser syntax and verify it convert to python and install python runtime pip install antlr4-python3-runtime write you customer list...
antlr4 + python写一个简单的计算器
秋雨夕照的博客
02-15 581
用antlr4写一个简单的计算器，它可以支持加减乘除和括号的运算。我需要用antlr4生成一个名为CalcLexer的词法分析器，一个名为CalcParser的语法分析器，一个名为CalcVisitor的访问器，和一个名为Calc的主程序。
python3中的Antlr4（windows）
qq_20849045的博客
12-04 8319
安装教程，我参考的是：https://www.aliyun.com/jiaocheng/525558.html 为了方便大家看，内容是 1. 到官网http://www.antlr.org/download.html 或者https://pypi.python.org/pypi/antlr4-python3-runtime/下载 antlr4-python3-runtime-4.7.macos...
python antlr4需要的python 版本_python多版本管理器pyenv
weixin_28873501的博客
01-31 158
查看Linux版本1[root@web~]#cat/etc/redhat-release2CentOSLinuxrelease7.6.1810(Core)3[root@web~]#uname-a4Linuxweb3.10.0-957.21.3.el7.x86_64#1SMPTueJun1816:35:19UTC2019x86_64x86_6...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值