用python写基于正则和二分法的简易词法分析器（函数部分）

先上代码，我是野路子写法。

import re
#此代码中的regex是正则表达式的意思

#先切割括号，再切割参数
def split_head(param_str:str):
    regex_QuKuoHao = r"\(|\)"
    pre_syntax = re.split(regex_QuKuoHao, param_str)
    
    function_name = pre_syntax[0]
    pre_syntax_params = pre_syntax[1]
    
    pre_syntax_params2 = pre_syntax_params.replace(r",", " ")#这一个步骤是用来处理多余空格的
    function_params = re.split(r"[ ]+", pre_syntax_params2)#这一个步骤是用来处理多余空格的
    
    result = {}
    result['function_name'] = function_name
    result['function_params'] = function_params
    
    return result

# a = split_function(test_str)
# print(type(a))

我们这次这个词法分析器主要是用来函数调用的词法分析上面（分词）

如a(1,2,3,4)，我们这次主要把这中类型的代码做词法分析。

那么首先就要把括号去掉，留下函数名称和函数参数数组。

所以，我们会用到下面的正则表达式，表示查找 "(" 或者 ")" 符号。然后使用split方法切割，这是第一次二分。

#这样就切成了两部分
a #函数名
[1,2,3,56] #函数参数列表

 接着，我们要继续切割函数参数列表，使用下图的正则进行切割。

 因为a(1,2,3,    56) 我们编程的时候参数之间是可以有很多空格的，所以要用\s+匹配多次。

然后我们把匹配到的字符都转换成空格，就变成了下图这样。

但是我们需要参数数组，所以需要再次二分。用split切割

 

[1,2,3,56] #这个就是最终的参数数组

 上述方法的缺点，无法实现高级编程语法，比如把函数作为参数传递

a(1,2,3,b())

面对这种问题还需要进一步的研究。

以上的代码包含在了我的开源项目中 ：iapp2Java

它主要的用途是：把iapp的iyu裕语言代码转换为java代码。