关于robotframework4版本源码中词法解析部分的分析

最新推荐文章于 2023-04-19 11:15:12 发布
最新推荐文章于 2023-04-19 11:15:12 发布
阅读量442 收藏 2
点赞数 1
分类专栏： robotframework 文章标签： python 后端 测试工具
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fengzun_yi/article/details/120942596
版权

  robot通过解析测试用例文件，对测试用例进行后续操作。在robot3.2.2版本之前直接是将文件内容用list解析为类似于表格的一种格式。词法解析部分从3.2.2版本开始就利用了编译原理当中的token和抽象语法树进行了重写。
  token可以理解为一个字段，在robot需要处理的测试用例文件中，每一行中的每一个“单词”，都可以看作一个字段，例如下面这一行：

[Tags]    ID=1    ANIMAL=cat    COLOR=red    SIZE=big

在源码robot/parsing/lexer/tokenizer.py文件中

_space_splitter = re.compile(r'(\s{2,}|\t)', re.UNICODE)
self._space_splitter.split(line)

主要由这两行来分离每一个字段
所以词法解析给出的9个token为

['[Tags]', '    ', 'ID=1','    ','ANIMAL=cat','    ','COLOR=red','    ','SIZE=big']

  当然，此处并没有详细描述形成token的过程，不过详情可参考文档：Robot Framework Documentation
  文档中的第18页记录获取token的方法，如果想了解详细过程，可以按照文档中的提示写如下测试代码进行调试：

from robot.api.parsing import get_tokens
path = 'example.robot'
for token in get_tokens(path):
	print(repr(token))

假如example.robot为以下内容：

*** Test Cases ***
Example
    Keyword    argument
Second example
    Keyword    xxx
*** Keywords ***
Keyword
    [Arguments]    ${arg}
    Log    ${arg}

解析完成生成的token为：

Token(TESTCASE_HEADER, '*** Test Cases ***', 1, 0)
Token(EOL, '\n', 1, 18)
Token(EOS, '', 1, 19)
Token(TESTCASE_NAME, 'Example', 2, 0)
Token(EOL, '\n', 2, 7)
Token(EOS, '', 2, 8)
Token(SEPARATOR, ' ', 3, 0)
Token(KEYWORD, 'Keyword', 3, 4)
Token(SEPARATOR, ' ', 3, 11)
Token(ARGUMENT, 'argument', 3, 15)
Token(EOL, '\n', 3, 23)
Token(EOS, '', 3, 24)
Token(EOL, '\n', 4, 0)
Token(EOS, '', 4, 1)

  创建完token之后，接着就要利用抽象语法树去构建model对象了，构建model是为了将文件中测试套件、测试用例、settings、variables、resource、keywords等信息用类似于tree的结构表现出来，便于后续对用例的其他操作。
  model中包含block和statement。statement只是存放相应的token值。block可以简单理解为json串中的key，作为一个标识。而每一个block和statement也可以作为block的value。例：

  图中的block有TestCaseSection、TestCase、If，statement有SectionHeader、EmptyLine、TestCaseName，block标识的是测试文件中相应的部分，如：TestCaseSection标识测试文件中的***TestCases***。
  每一个block中都包含header和body这两个属性，header存放标识名称，例如：***TestCases***、example case等等。而statement中存放着具体的token。当然也有其他的属性，例如lineno等，其他属性表示此block或statement在文件中对应的位置或者此处有无其他的errors（主要是不存在的section或无法识别的数据）。

robot/parsing/parser/fileparser.py文件中

    def parse(self, statement):
        parser_class = {
            Token.SETTING_HEADER: SettingSectionParser,
            Token.VARIABLE_HEADER: VariableSectionParser,
            Token.TESTCASE_HEADER: TestCaseSectionParser,
            Token.KEYWORD_HEADER: KeywordSectionParser,
            Token.COMMENT_HEADER: CommentSectionParser,
            Token.ORTHOGONAL_HEADER: OrthogonalSectionParser,
            Token.COMMENT: ImplicitCommentSectionParser,
            Token.ERROR: ImplicitCommentSectionParser,
            Token.EOL: ImplicitCommentSectionParser
        }[statement.type]
        parser = parser_class(statement)
        self.model.sections.append(parser.model)
        return parser

  定义并创建block，这些block对应文件中*** XXX ***的部分，然后由每一个block再去创建生成block中相应的block或着statement，例如 TestCaseSectionParser，其中header存放testcase的名字，body存放***testcases***中的内容，而其中可能会有多个testcase，每一个testcase又是一个block，以此类推，直至出现具体的token值，把token存放到statement中。

  由于本人时间问题，不在这里详细描述创建过程，不过详情可参考文档：Robot Framework Documentation
文档中第19页有一段测试代码，运行调试，进行分析后可以了解详细过程：

import astpretty
from robot.api.parsing import get_model
model = get_model('example.robot')
astpretty.pprint(model)

本人是新手小白，博客中如有讲解不到的地方请多包含。也可以在下方留言，以便及时更正，谢谢。
我是MySoul，期待和你一起进步。

最后附上生成的model示例：

File(
    source='F:\\robot4\\demos\\if.robot',
    lineno=1,
    col_offset=0,
    end_lineno=33,
    end_col_offset=4,
    errors=(),
    sections=[
        OrthogonalSection(
            lineno=1,
            col_offset=0,
            end_lineno=5,
            end_col_offset=1,
            errors=(),
            header=SectionHeader(lineno=1, col_offset=0, end_lineno=1, end_col_offset=27, errors=(), type='ORTHOGONAL_HEADER', tokens=(Token(ORTHOGONAL_HEADER, '*** Orthogonal Factors ***', 1, 0), Token(EOL, '\n', 1, 26))),
            body=[
                OrthogonalFactor(lineno=2, col_offset=0, end_lineno=2, end_col_offset=28, errors=(), type='NAME', tokens=(Token(NAME, 'ANIMAL', 2, 0), Token(SEPARATOR, '       ', 2, 6), Token(ARGUMENT, '["cat", "dog"]', 2, 13), Token(EOL, '\n', 2, 27))),
                OrthogonalFactor(lineno=3, col_offset=0, end_lineno=3, end_col_offset=38, errors=(), type='NAME', tokens=(Token(NAME, 'COLOR', 3, 0), Token(SEPARATOR, '        ', 3, 5), Token(ARGUMENT, '["red", "green", "blue"]', 3, 13), Token(EOL, '\n', 3, 37))),
                OrthogonalFactor(lineno=4, col_offset=0, end_lineno=4, end_col_offset=29, errors=(), type='NAME', tokens=(Token(NAME, 'SIZE', 4, 0), Token(SEPARATOR, '        ', 4, 4), Token(ARGUMENT, '["big", "small"]', 4, 12), Token(EOL, '\n', 4, 28))),
                EmptyLine(lineno=5, col_offset=0, end_lineno=5, end_col_offset=1, errors=(), type='EOL', tokens=(Token(EOL, '\n', 5, 0),)),
            ],
        ),
        VariableSection(
            lineno=6,
            col_offset=0,
            end_lineno=9,
            end_col_offset=1,
            errors=(),
            header=SectionHeader(lineno=6, col_offset=0, end_lineno=6, end_col_offset=18, errors=(), type='VARIABLE HEADER', tokens=(Token(VARIABLE_HEADER, '*** Variables ***', 6, 0), Token(EOL, '\n', 6, 17))),
            body=[
                Variable(lineno=7, col_offset=0, end_lineno=7, end_col_offset=16, errors=(), type='VARIABLE', tokens=(Token(VARIABLE, '${AGE}', 7, 0), Token(SEPARATOR, '        ', 7, 6), Token(ARGUMENT, '5', 7, 14), Token(EOL, '\n', 7, 15))),
                Variable(lineno=8, col_offset=0, end_lineno=8, end_col_offset=18, errors=(), type='VARIABLE', tokens=(Token(VARIABLE, '${NAME}', 8, 0), Token(SEPARATOR, '       ', 8, 7), Token(ARGUMENT, 'dog', 8, 14), Token(EOL, '\n', 8, 17))),
                EmptyLine(lineno=9, col_offset=0, end_lineno=9, end_col_offset=1, errors=(), type='EOL', tokens=(Token(EOL, '\n', 9, 0),)),
            ],
        ),
        TestCaseSection(
            lineno=10,
            col_offset=0,
            end_lineno=29,
            end_col_offset=1,
            errors=(),
            header=SectionHeader(lineno=10, col_offset=0, end_lineno=10, end_col_offset=19, errors=(), type='TESTCASE HEADER', tokens=(Token(TESTCASE_HEADER, '*** Test Cases ***', 10, 0), Token(EOL, '\n', 10, 18))),
            body=[
                EmptyLine(lineno=11, col_offset=0, end_lineno=11, end_col_offset=1, errors=(), type='EOL', tokens=(Token(EOL, '\n', 11, 0),)),
                TestCase(
                    lineno=12,
                    col_offset=0,
                    end_lineno=20,
                    end_col_offset=1,
                    errors=(),
                    header=TestCaseName(lineno=12, col_offset=0, end_lineno=12, end_col_offset=8, errors=(), type='TESTCASE NAME', tokens=(Token(TESTCASE_NAME, 'if case', 12, 0), Token(EOL, '\n', 12, 7))),
                    body=[
                        If(
                            lineno=13,
                            col_offset=0,
                            end_lineno=19,
                            end_col_offset=8,
                            errors=(),
                            header=IfHeader(lineno=13, col_offset=0, end_lineno=13, end_col_offset=32, errors=(), type='IF', tokens=(Token(SEPARATOR, '    ', 13, 0), Token(IF, 'IF', 13, 4), Token(SEPARATOR, '    ', 13, 6), Token(ARGUMENT, '"$${ANIMAL}" == "dog"', 13, 10), Token(EOL, '\n', 13, 31))),
                            body=[KeywordCall(lineno=14, col_offset=0, end_lineno=14, end_col_offset=43, errors=(), type='KEYWORD', tokens=(Token(SEPARATOR, '        ', 14, 0), Token(KEYWORD, 'Log', 14, 8), Token(SEPARATOR, '    ', 14, 11), Token(ARGUMENT, '$${SIZE}$${COLOR}$${ANIMAL}', 14, 15), Token(EOL, '\n', 14, 42)))],
                            orelse=If(
                                lineno=15,
                                col_offset=0,
                                end_lineno=18,
                                end_col_offset=23,
                                errors=(),
                                header=ElseIfHeader(lineno=15, col_offset=0, end_lineno=15, end_col_offset=36, errors=(), type='ELSE IF', tokens=(Token(SEPARATOR, '    ', 15, 0), Token(ELSE_IF, 'ELSE IF', 15, 4), Token(SEPARATOR, '   ', 15, 11), Token(ARGUMENT, '"$${ANIMAL}" == "cat"', 15, 14), Token(EOL, '\n', 15, 35))),
                                body=[KeywordCall(lineno=16, col_offset=0, end_lineno=16, end_col_offset=19, errors=(), type='KEYWORD', tokens=(Token(SEPARATOR, '        ', 16, 0), Token(KEYWORD, 'Log', 16, 8), Token(SEPARATOR, '    ', 16, 11), Token(ARGUMENT, 'mew', 16, 15), Token(EOL, '\n', 16, 18)))],
                                orelse=If(
                                    lineno=17,
                                    col_offset=0,
                                    end_lineno=18,
                                    end_col_offset=23,
                                    errors=(),
                                    header=ElseHeader(lineno=17, col_offset=0, end_lineno=17, end_col_offset=9, errors=(), type='ELSE', tokens=(Token(SEPARATOR, '    ', 17, 0), Token(ELSE, 'ELSE', 17, 4), Token(EOL, '\n', 17, 8))),
                                    body=[KeywordCall(lineno=18, col_offset=0, end_lineno=18, end_col_offset=23, errors=(), type='KEYWORD', tokens=(Token(SEPARATOR, '        ', 18, 0), Token(KEYWORD, 'Log', 18, 8), Token(SEPARATOR, '    ', 18, 11), Token(ARGUMENT, 'unknown', 18, 15), Token(EOL, '\n', 18, 22)))],
                                    orelse=None,
                                    end=None,
                                ),
                                end=None,
                            ),
                            end=End(lineno=19, col_offset=0, end_lineno=19, end_col_offset=8, errors=(), type='END', tokens=(Token(SEPARATOR, '    ', 19, 0), Token(END, 'END', 19, 4), Token(EOL, '\n', 19, 7))),
                        ),
                        EmptyLine(lineno=20, col_offset=0, end_lineno=20, end_col_offset=1, errors=(), type='EOL', tokens=(Token(EOL, '\n', 20, 0),)),
                    ],
                ),
                TestCase(
                    lineno=21,
                    col_offset=0,
                    end_lineno=29,
                    end_col_offset=1,
                    errors=(),
                    header=TestCaseName(lineno=21, col_offset=0, end_lineno=21, end_col_offset=9, errors=(), type='TESTCASE NAME', tokens=(Token(TESTCASE_NAME, 'if case2', 21, 0), Token(EOL, '\n', 21, 8))),
                    body=[
                        If(
                            lineno=22,
                            col_offset=0,
                            end_lineno=28,
                            end_col_offset=8,
                            errors=(),
                            header=IfHeader(lineno=22, col_offset=0, end_lineno=22, end_col_offset=32, errors=(), type='IF', tokens=(Token(SEPARATOR, '    ', 22, 0), Token(IF, 'IF', 22, 4), Token(SEPARATOR, '    ', 22, 6), Token(ARGUMENT, '"$${ANIMAL}" == "dog"', 22, 10), Token(EOL, '\n', 22, 31))),
                            body=[KeywordCall(lineno=23, col_offset=0, end_lineno=23, end_col_offset=20, errors=(), type='KEYWORD', tokens=(Token(SEPARATOR, '        ', 23, 0), Token(KEYWORD, 'Log', 23, 8), Token(SEPARATOR, '    ', 23, 11), Token(ARGUMENT, 'wang', 23, 15), Token(EOL, '\n', 23, 19)))],
                            orelse=If(
                                lineno=24,
                                col_offset=0,
                                end_lineno=27,
                                end_col_offset=23,
                                errors=(),
                                header=ElseIfHeader(lineno=24, col_offset=0, end_lineno=24, end_col_offset=36, errors=(), type='ELSE IF', tokens=(Token(SEPARATOR, '    ', 24, 0), Token(ELSE_IF, 'ELSE IF', 24, 4), Token(SEPARATOR, '   ', 24, 11), Token(ARGUMENT, '"$${ANIMAL}" == "cat"', 24, 14), Token(EOL, '\n', 24, 35))),
                                body=[KeywordCall(lineno=25, col_offset=0, end_lineno=25, end_col_offset=19, errors=(), type='KEYWORD', tokens=(Token(SEPARATOR, '        ', 25, 0), Token(KEYWORD, 'Log', 25, 8), Token(SEPARATOR, '    ', 25, 11), Token(ARGUMENT, 'mew', 25, 15), Token(EOL, '\n', 25, 18)))],
                                orelse=If(
                                    lineno=26,
                                    col_offset=0,
                                    end_lineno=27,
                                    end_col_offset=23,
                                    errors=(),
                                    header=ElseHeader(lineno=26, col_offset=0, end_lineno=26, end_col_offset=9, errors=(), type='ELSE', tokens=(Token(SEPARATOR, '    ', 26, 0), Token(ELSE, 'ELSE', 26, 4), Token(EOL, '\n', 26, 8))),
                                    body=[KeywordCall(lineno=27, col_offset=0, end_lineno=27, end_col_offset=23, errors=(), type='KEYWORD', tokens=(Token(SEPARATOR, '        ', 27, 0), Token(KEYWORD, 'Log', 27, 8), Token(SEPARATOR, '    ', 27, 11), Token(ARGUMENT, 'unknown', 27, 15), Token(EOL, '\n', 27, 22)))],
                                    orelse=None,
                                    end=None,
                                ),
                                end=None,
                            ),
                            end=End(lineno=28, col_offset=0, end_lineno=28, end_col_offset=8, errors=(), type='END', tokens=(Token(SEPARATOR, '    ', 28, 0), Token(END, 'END', 28, 4), Token(EOL, '\n', 28, 7))),
                        ),
                        EmptyLine(lineno=29, col_offset=0, end_lineno=29, end_col_offset=1, errors=(), type='EOL', tokens=(Token(EOL, '\n', 29, 0),)),
                    ],
                ),
            ],
        ),
        KeywordSection(
            lineno=30,
            col_offset=0,
            end_lineno=33,
            end_col_offset=4,
            errors=(),
            header=SectionHeader(lineno=30, col_offset=0, end_lineno=30, end_col_offset=17, errors=(), type='KEYWORD HEADER', tokens=(Token(KEYWORD_HEADER, '*** Keywords ***', 30, 0), Token(EOL, '\n', 30, 16))),
            body=[
                Keyword(
                    lineno=31,
                    col_offset=0,
                    end_lineno=33,
                    end_col_offset=4,
                    errors=(),
                    header=KeywordName(lineno=31, col_offset=0, end_lineno=31, end_col_offset=5, errors=(), type='KEYWORD NAME', tokens=(Token(KEYWORD_NAME, 'Test', 31, 0), Token(EOL, '\n', 31, 4))),
                    body=[
                        KeywordCall(lineno=32, col_offset=0, end_lineno=32, end_col_offset=21, errors=(), type='KEYWORD', tokens=(Token(SEPARATOR, '    ', 32, 0), Token(KEYWORD, 'Log', 32, 4), Token(SEPARATOR, '   ', 32, 7), Token(ARGUMENT, 'Test begin', 32, 10), Token(EOL, '\n', 32, 20))),
                        EmptyLine(lineno=33, col_offset=0, end_lineno=33, end_col_offset=4, errors=(), type='EOL', tokens=(Token(EOL, '    ', 33, 0),)),
                    ],
                ),
            ],
        ),
    ],
)
-My-Soul-
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RobotFramework（一）
Roy_Allen的博客
10-27 1063
这是一个基于python的测试框架 使用关键字驱动，即用python封装出关键字 使用关键字构建可被执行的测试用例
robotframework过程源码分析(2)
08-08
robotframework过程源码分析2 以robotframework执行一个例子为准，分析例子执行过程，设计到robotframework源码的执行过程，值得一看，因为太大，分为上下压缩包！希望对大家有帮助
robotframework过程源码分析1
08-05
以robotframework执行一个例子为准，分析例子执行过程，设计到robotframework源码的执行过程，值得一看，因为太大，分为上下压缩包！希望对大家有帮助
RobotFramewok源代码分析
Web魔法师
09-14 7036
下面是RF安装目录结构图：   由图可以看出，RF采用的是Facde外观设计模式。根据每个目录的名字几乎不用解释就能明白它下面的代码是做什么用的了，很清晰，如api文件夹（或称为api包）提供的是RF的公共的api，调用形式可以采用： from robot.api import ApiName。api包下的几个模块：logger模块是测试库的公共日志接口，负责向日
Robot Framework 源代码阅读笔记 之 一 - CSDN博客
09-06
Robot Framework 源代码阅读笔记 之 一 - CSDN博客
RobotFramework V4.1 源码解析1-src/robot
最新发布
xyh421的专栏
04-19 696
一直在做其他事情，没办法静下来心去认真查看源码学习。最近chatgpt出来了，在c的带领下，学习变得简单的多的多的多,但是只能读取21年9月以前的数据，so v4.1。
解决python报错ModuleNotFoundError: No module named ‘xxx‘
空山新雨后，天气晚来秋
02-18 1万+
解决python报错ModuleNotFoundError: No module named ‘xxx‘
调用自定义模块出现ModuleNotFoundError: No module named ‘XXX‘的解决方案
热门推荐
ZeropointS的博客
03-08 11万+
问题：确保将调用的模块与被调用的模块放在同一目录下，但仍出现ModuleNotFoundError: No module named ‘XXX’。 Python会在以下路径中搜索它想要寻找的模块： 程序所在的文件夹 标准库的安装路径 操作系统环境变量PYTHONPATH所包含的路径 产生问题的原因可能是：IDE(我使用的是Pycharm)没有将当前目录添加到工作目录中，导致了在搜索的目录中...
词法分析器_词法分析器_源码
10-02
词法分析器，也称为扫描器或lexical analyzer，在编译器设计中扮演着至关重要的角色。它是编译过程的第一步，负责将源代码转换...此外，分析源码还能帮助理解如何处理边缘情况和错误，以及如何优化词法分析过程的性能。
简易sql词法分析器和语法分析器.zip
07-14
在词法分析的实现中我们分别实现了两套机制：手工构造词法分析以及基于 NFA 转 DFA 的确定化以及 DFA 最小化算法，下面我将详细这两种实现方式。 详细介绍参考：...
cifafenxiqi.rar_5J4_词法分析器
09-24
《Cifafenxiqi.rar_5J4_词法分析器》是一款专用于进行词法分析的工具，它主要用于解析程序源代码中的词汇元素，帮助程序员理解和验证代码的语法结构。词法分析是编译器设计的一个关键步骤，通常由词法分析器完成。这...
robotframework全套资源
08-23
RF百度云下载，永久有效，完整全套资源，详细安装教程。
词法分析器_词法分析器_C++_源码
10-04
词法分析器，也称为扫描器或lexical analyzer，在编译原理中扮演着至关重要的角色。它是编译器的第一阶段，负责将源代码...通过阅读和分析“词法分析器.c”的源码，我们可以学习到更多关于C/C++词法分析的细节和技巧。
词法分析器源码—算符优先 带比较详细的注释
06-09
词法分析器源码—算符优先 带比较详细的注释 实验报告资源：https://download.csdn.net/download/weixin_45627598/85530877 static string V[10][2]; //存储拆分后的文法 int vi = 0; //存储拆分后有多少行 int t =...
已解决（Python报错）ModuleNotFoundError: No module named…
努力让自己发光，对的人才能迎着光而来
07-17 3万+
已解决（Python报错）ModuleNotFoundError: No module named…
robotframework源码解析
xyh421的专栏
08-08 2436
首先，要知道如何分析和学习源码，之前不太了解。查阅了相关资料，总算知道了一点点。所以删除了之前的，从新写了新的。如何学习源码 知乎：如何更有效地学习开源项目的代码？ pycharm查看运行原理，知道程序执行的大体流程 分析robot如何解析测试用例 分析robot如何运行已经解析好的测试用例 分析robot如何生成xml结果文件 分析robot如何转换xml为html文件
Weka java.io.IOException:premature end of line,read token[EOL],line 3
baijie95
05-10 2492
最后发现是arff文件第二行，一个属性定义为numeric类型，名称又为“40%”造成的错误， 只要将数据类型改变，或者把“40%”改为纯文字表述“百分之四十”就可以了。
解决weka数据挖掘打开csv文件报read 9,expected 1.read token[eol] ,line 3错误原因
weixin_34357962的博客
01-05 1252
这问题我查了很多资料，意思是csv中读到9个属性（特征/维度）值，但是只读到一个，第三行有问题。 然后还有各种讲解数据中格式空格符的问题之类的；其实按照设置@attribute的属性方法来讲根本没什么错误。根据方法改了许久，没有效果，而且搞笑的是，我换了行的位置用空行代替第3行还报同样错误。最后解决方案，直接把该此文件转为.arff后缀文...
robot framework 源码分析学习
xyh421的专栏
09-17 1315
序言： 因为robot是非常好的一个自动化测试框架，包含的知识体系是非常的多，对python，对自动化测试，都有非常好的学习意义，所以写下这文章，留作学习笔记，也算是纪念。 1. 如何分析学习源码 2. robot执行的大体流程 3. robot如何解析测试用例 4. robot如何运行解析好的测试用例 5. robot如何生成测试报告

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值