中文脚本编译器的设计与实现(二）词法分析器

最新推荐文章于 2022-11-03 08:49:13 发布
最新推荐文章于 2022-11-03 08:49:13 发布
阅读量374 收藏 4
点赞数 2
分类专栏： 编译原理 php 文章标签： 词法分析器 正则表达式 php ados
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/littlezhuhui/article/details/93708392
版权

总则

词法分析器的主要功能是切分输入的文本串。将输入串分割为各种类型的记号。这了实现分词，有两种主要的作法，一种是有限状态机，一种是正则表达式匹配。本项目选用PHP做为开发语言，自然可以利用PHP中方便易用的正则表达式功能进行分词。

具体实施

仅仅使用php的正则表达式，还不足以构造一个好的词法分析器。因此在实施时还采取了如下一些措施

1.将词法规则表与词法分析引擎分离，这样做的好处是，当要处理新类型的源代码时，不用变动词法分析引擎，而只需要修改词法规则表。

2.为提高分词的效率，采用首字母分类hash法，也就是说对一个给定的文本串，取其首字母，根据首字母为关键字建立的hash表，可以极大地缩小需要进行匹配的词法规则项。也就是先用首字母查找再用正则表达式匹配，这样可以极大地减少需要进行正则表达式匹配的次数。

3.为了能够处理中文文本，要求源码采用utf8编码，并且对词法规则与词法分析引擎做特别处理，比如求字符串长度时，用mb_strlen($input,“utf-8”)代替strlen,
取子串时，用mb_substr代替substr等。

词法规则表

下面是一个词法规则表示例，注意，词法规则表是可以根据需要随时扩展的，并且非常方便扩展，这也是本项目的一个最重要的设计原则。

<?php
/*!
 * ADOS 语言的词法规则
 * 45022300@qq.com
 * Version 0.9.0
 *
 * Copyright 2016, Zhu Hui
 * Released under the MIT license
 */

return	[
		['/^\/\*/','_lcom'		,'/'],
		['/^\*\//','_rcom'		,'*'],
		['/(^#.*?\n)/s','_com'	,'#'],			
		['/^\"(.*?)\"/','_cons'	,'"'],
		['/^\(/','_lp'			,'('],
		['/^\)/','_rp'			,')'],
		['/^\[/','_lb'			,'['],
		['/^\]/','_rb'			,']'],
		['/^\{/','_lcb'			,'{'],
		['/^\}/','_rcb'			,'}'],
		['/^;/','_semi'			,';'],
		['/^,/','_comma'		,','],
		['/^==/','_bieq'		,'='],
		['/^!=/','_uneq'		,'!'],
		['/^\>=/','_greq'		,'>'],
		['/^小于等于/u','_leeq'	,'小'],
		['/^小于或等于/u','_leeq'	,'小'],
		['/^\<\?ados\b/','_null','<'],
		['/^\<\?/','_null'		,'<'],
		['/^\<=/','_leeq'		,'<'],
		['/^赋值为/u','_equa'	,'赋'],
		['/^变成/u','_equa'		,'变'],
		['/^=/','_equa'			,'='],
		['/^\>/','_grea'		,'>'],
		['/^\</','_less'		,'<'],
		['/^拼接/u','_union'		,'拼'],
		['/^\+\+/','_union'		,'+'],
		['/^增加/u','_inc'		,'增'],
		['/^减少/u','_dec'		,'减'],
		['/^\+=/','_inc'		,'+'],
		['/^-=/','_dec'			,'-'],	
		['/^\+/','_add'			,'+'],
		['/^-/','_sub'			,'-'],
		['/^\*/','_mul'			,'*'],
		['/^\//','_div'			,'/'],	
		['/^%/','_mod'			,'$'],
		['/^@/','_at'			,'@'],
		['/^&&/','_and'			,'&'],
		['/^\|\|/','_or'		,'|'],	
		['/^!/','_not'			,'!'],		
		['/^[0-9]+([.]{1}[0-9]+){0,1}/','_num',''],
		['/^\./','_dot'			,'.'],
		['/^让\b/u','_null'		,'让'],
		['/^try\b/','_try'		,'t'],
		['/^执行\b/u','_try'	,'执'],
		['/^wait\b/','_wait'	,'w'],
		['/^等待\b/u','_wait'	,'等'],
		['/^如果\b/u','_if'		,'如'],
		['/^if\b/','_if'		,'i'],
		['/^则\b/u','_null'		,'则'],
		['/^则重复执行\b/u','_null','则'],
		['/^时则重复执行\b/u','_null','时'],
		['/^否则\b/u','_else'	,'否'],
		['/^else\b/','_else'	,'e'],
		['/^goto\b/','_goto'	,'g'],
		['/^转到\b/u','_goto'	,'转'],		
		['/^for\b/','_for'		,'f'],
		['/^当\b/u','_while'	,'当'],	
		['/^while\b/','_while'	,'w'],	
		['/^var\b/','_var'		,'v'],
		['/^function\b/','_func','f'],
		['/^return\b/','_retn'	,'r'],
		['/^class\b/','_class'	,'c'],
		['/^this\b/','_this'	,'t'],
		['/^public\b/','_public','p'],
		['/^private\b/','_private','p'],
		['/^new\b/','_new'		,'n'],
		['/^from\b/','_from'	,'f'],
		['/^输出\b/u','_print'	,'输'],
		['/^print\b/','_print'	,'p'],
		['/^[\x{4e00}-\x{9fa5}A-Za-z_][\x{4e00}-\x{9fa5}A-Za-z0-9_]*:/u','_lbel',''],
		['/^[\x{4e00}-\x{9fa5}A-Za-z_][\x{4e00}-\x{9fa5}A-Za-z0-9_]*\b/u','_iden',''],
		['/^\s*/','_null','']
		];

稍微留意一下，可以看出词法规则表其实就是php中的数组，数组的每一项又是一个三元组。

下面取其中的几个做例子来解释

例1：

 ['/^\/\*/','_lcom'		,'/'],

这是一个三元组，第一部分是一个正则表达式的模式串，第二部分是记号名（tokenName),第三部分是这个记号的首字母。
对正则表达式比较熟悉的人可以看出来，这个模式会匹配注释符号’/*’,如果匹配了，就把这个token叫做 _lcom ,表示这是一个注释块的左侧开头部分。

例2:

['/^[0-9]+([.]{1}[0-9]+){0,1}/','_num',''],

这个三元组的第一部是一个模式串，与这个模式串匹配的一定是一个数字串，比如123,可以与这个模式匹配，但a12就不能与这个模式匹配。如果匹配上了，表明切分出了一个记号，这个记号是一个数字串，它的tokenName就是 _num。有意思的一点是由于数字串的首字母不固定，所以这个三元组的第三部分是一个空串，表明其没有固定的首字母，在建立hash表时，这些没有固定首字母的词法规则单列一类。

例3:

['/^如果\b/u','_if'		,'如'],

这个三无组的第一部分是一个模式串，它与中文单词’如果’匹配，也就是说源代码中出现‘如果’地方，将被识别为一个关键词，它的tokenName称之为‘_if ’。
留意一下，该规则接下的一条规则是

['/^if\b/','_if'		,'i'],

这就说明不论是中文的‘如果’还是英文的‘if’，经过词法分析器处理之后，都变成tokenName为’_if’的词法记号。

所有的词法规则都按上述原则进行组织。

词法分析引擎

词法分析引擎实现代码如下：

<?php
/*!
 * ADOS 词法分析器
 * 45022300@qq.com
 * Version 0.9.0
 *
 * Copyright 2016, Zhu Hui
 * Released under the MIT license
 */

namespace Ados;

//根据源语言的类型加载词法规则表
$lexi_rules	= require_once 'lexi_rule/'.C('SrcLang').'.php';

class ScriptLexer
{	
	//终结符数组
	public $terminalArray;

	//规则前缀索引表
	private $rulePrefixTable;

	public function __construct()
	{
		$this->buildTerminalArray();

		$this->rulePrefixTable=$this->buildRulePrefixTable();	
	}

	//将输入串分解为记号数组
	public function split($input)
	{
		$tokenList=[];

		$beginTime=time();

		//行号与列号从1开始计数
		$lineNum = 1;
		$colNum	 = 1;

		while(mb_strlen($input,"utf-8")>0){

			$pos=0;	

			//如果使用substr,中文可能会出现乱码，因此使用对中文处理不会乱码的mb_substr
			$firstChar=mb_substr($input, 0,1,"utf-8");

			if(array_key_exists($firstChar, $this->rulePrefixTable)){

				foreach ($this->rulePrefixTable[$firstChar] as $rule) {

					if (preg_match($rule[0], $input, $matches, PREG_OFFSET_CAPTURE)){															
						if($rule[1]=='_null'){
							//检查空白串中包含的换行符的数目
							str_replace("\n", '', $matches[0][0],$cnt);
							$lineNum+=$cnt;

							//确定列号 
							if($cnt>0){
								$colNum = 1;
							}	
							$colPos = strrpos($matches[0][0], "\n");
							if ($colPos === false) { // 注意: 三个等号
							    $colNum+=mb_strlen($matches[0][0],"utf-8");
							}else{
								$colNum+=mb_strlen($matches[0][0],"utf-8")-$colPos-1;
							}
							
						}else{		
							if($rule[1]=='_com'){
								//行注释中包含换行符
								$lineNum+=1;
								$colNum = 1;
							}else{

								$tokenValue=$matches[0][0];
								if($rule[1]=='_cons'){
									$tokenValue=mb_substr($tokenValue,1,null,"utf-8");	 
									$tokenValue=mb_substr($tokenValue,0,mb_strlen($tokenValue,"utf-8")-1,"utf-8");
								}

								//插入有效的记号到数组,记号格式为 ［记号名，记号值，记号在原文中的行号,记号在原文中的列号]
								$tokenList[]=[$rule[1],$tokenValue,$lineNum,$colNum];	

								$colNum+=mb_strlen($matches[0][0],"utf-8");	
							}	
						}

						$pos=mb_strlen($matches[0][0],"utf-8");					
						$input=mb_substr($input,$pos,null,"utf-8");	

						break;		
					}
				}

			}

			if(!$pos){
				foreach ($this->rulePrefixTable['other'] as $rule) {
					
					if (preg_match($rule[0], $input, $matches, PREG_OFFSET_CAPTURE)){															
						if($rule[1]=='_null'){
							//检查空白串中包含的换行符的数目
							str_replace("\n", '', $matches[0][0],$cnt);
							$lineNum+=$cnt;

							//确定列号 
							if($cnt>0){
								$colNum = 1;
							}	
							$colPos = strrpos($matches[0][0], "\n");
							if ($colPos === false) { // 注意: 三个等号
							    $colNum+=mb_strlen($matches[0][0],"utf-8");
							}else{
								$colNum+=mb_strlen($matches[0][0],"utf-8")-$colPos-1;
							}
							
						}else{		
							if($rule[1]=='_com'){
								//行注释中包含换行符
								$lineNum+=1;
								$colNum = 1;
							}else{

								$tokenValue=$matches[0][0];
								if($rule[1]=='_cons'){
									$tokenValue=mb_substr($tokenValue,1,null,"utf-8");	 
									$tokenValue=mb_substr($tokenValue,0,mb_strlen($tokenValue,"utf-8")-1,"utf-8");
								}

								//插入有效的记号到数组,记号格式为 ［记号名，记号值，记号在原文中的行号,记号在原文中的列号]
								$tokenList[]=[$rule[1],$tokenValue,$lineNum,$colNum];	

								$colNum+=mb_strlen($matches[0][0],"utf-8");	
							}	
						}

						$pos=mb_strlen($matches[0][0],"utf-8");					
						$input=mb_substr($input,$pos,null,"utf-8");	

						break;		
					}
				}

			}

			//如果没有一个正则表达式能匹配，则说明有词法错误
			if(!$pos){
				$srcText="'".mb_substr($input,$pos,2,"utf-8")."'";
				die (I('lexi error').$lineNum.",".I('unexpected').$srcText."\n");	
			}					
		}

		$usedTime= time()-$beginTime;
		//echo I('used time :'),$usedTime,"\n<br>";

		return $tokenList ;		
	}	

	//分行显示记号数组
	public function printTokenList($tokenList){
		$i=0;
		foreach ($tokenList as $token ) {
			echo $i,"->[",$token[2],',',$token[3],"] ", $token[0],' : ',$token[1],"\n";	
			$i+=1;		
		}
	}

	//处理记号列表，除lcom与rcom的记号都置为other
	public function commentTokenList($tokenList){
		$resultList=[];
		foreach ($tokenList as $token ) {
			if($token[0]=='_lcom' || $token[0]=='_rcom'){
				$resultList[]=$token;
			}else{
				$resultList[]=['_other',$token[1],$token[2],$token[3]];
			}	
		}
		return $resultList;	
	}	

	//建立规则前缀索引表,以规则左部应匹配的第1个字符为键值建立哈希表
	private function buildRulePrefixTable(){

		global $lexi_rules;	
	
		$tbl=[];
		$tbl['other']=[];
		foreach ($lexi_rules as $rule) {
			$key=$rule[2];
			if($key==''){
				$tbl['other'][]=$rule;
			}else{
				if(array_key_exists($key, $tbl))	{
					$tbl[$key][]=$rule;
				}else{
					$tbl[$key]=[];
					$tbl[$key][]=$rule;
				}	
			}
			
		}
		return $tbl;
	}	

	//建立终结符表
	private function buildTerminalArray(){

		global $lexi_rules;	
		
		$this->terminalArray=[];
		foreach ($lexi_rules as $rule){
			$this->terminalArray[]=$rule[1];
		}
	}	

}

词法分析引擎是一个php的class。它的核心方法是split。这个方法根据上文所述的词法规则表，将输入的源文本串切分成为记号（token)数组。

词法分析实例

下面是一个很简单的源文本

让 x 变成 (10+2)*3;
输出 "x -> " 拼接 x ;

这两句话很好理解，也就是让 x这个变量的值变成 (10+2)*3, 即让x变成36嘛，然后输出 ‘x->36’。

这里先不管具体的表达式计算，那是后话，要在语法分析阶段去做。现在咱们只看一下词法分析的结果。

0->[1,3] _iden : x
1->[1,5] _equa : 变成
2->[1,8] _lp : (
3->[1,9] _num : 10
4->[1,11] _add : +
5->[1,12] _num : 2
6->[1,13] _rp : )
7->[1,14] _mul : *
8->[1,15] _num : 3
9->[1,16] _semi : ;
10->[2,1] _print : 输出
11->[2,4] _cons : x -> 
12->[2,12] _union : 拼接
13->[2,15] _iden : x
14->[2,17] _semi : ;

对以上结果做一个简单的说明

针对上述的两行源文本做词法分析之后，得到了15个词法记号(token)

第0个token是’_iden’ (标示符)，它的值是’x’,它在源文件中的起点是第1行第3列。（备注 源文件中的单词’让’是一个助词，直接被词法分析器忽略了)

第1个token是’_equa’ (等号)，它的值是’变成’,它在源文件中的起点是第1行第5列

第2个token是’_lp’ (左小括号)，它的值是’(’,它在源文件中的起点是第1行第8列

第3个token是’_num’ (数字串)，它的值是’10’,它在源文件中的起点是第1行第9列

第4个token是’_add’ (加号)，它的值是’+’,它在源文件中的起点是第1行第11列

第5个token是’_num’ (数字串)，它的值是’2’,它在源文件中的起点是第1行第12列

第6个token是’_rp’ (右小括呈)，它的值是’)’,它在源文件中的起点是第1行第12列

剩下的结果文本行感兴趣的朋友可以自行分析。

至此，一个简单易用的词法分析就成功创建了。

littleZhuHui
关注
专栏目录
chinese-lexer:Lexer for Chinese (汉语词法分析器)
06-22
ChineseLexer Lexer for Chinese (汉语词法分析器)
汉语语言词法分析器ICTCLAS10
10-28
汉语语言词法分析器ICTCLAS10,很好用哟! 希望各位下载后给一些好评哈
全文索引--两种中文词法分析器比较(chinese_vgram_lexer chinese_lexer)
renfengjun
10-19 3424
本文通过实验阐述了关于全文索引中两种词法分析器的分词效果
中文脚本编译器的设计与实现(一）概论(2)编译器的总体结构
littlezhuhui的专栏
07-31 277
编译器的总体结构
THULAC-Python:高效的中文词法分析器
05-11
THULAC：一个高效的中文词法分析工具包 目录 项目介绍 THULAC（THU Lexical Analyzer for Chinese）由清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包，具有中文分词和词性标注功能。THULAC具有如下几个特点： 能力强。利用我们集成的目前世界上规模最大的人工分词和词性标注中文语料库（约含5800万字）训练而成，模型标注能力强大。 准确率高。该工具包在标准数据集Chinese Treebank（CTB5）上分词的F1值可达97.3％，词性标注的F1值可达到92.9％，与该数据集上最好方法效果相当。 速度较快。同时进行分词和词性标注速度为300KB/s，每秒可处理约15万字。只进行分词速度可达到1.3MB/s。 编译和安装 python版(兼容python2.x版和python3.x版) 从github下载(需下载模型文件，见)
miniC语言编译器设计与实现（编译原理实验课程）
毕业作品网站
11-03 3409
第一个部分为定义部分，其中可以有一个%{到%}的区间部分，主要包含c语言的一些宏定义，如文件包含、宏名定义，以及一些变量和类型的定义和声明。会直接被复制到词法分析器源程序lex.yy.c中。根据密码学编程时的某个函数（例如计算最大公约数函数）需要完成的程序功能，运用编译原理课程中的知识，设计一个类C语言程序设计语言相应的词法及语法，并实现该语言的编译器，将源码翻译为能在模拟器上运行的目标代码。用正则表达式表示的词法规则等价转化为相应的有穷自动机FA，确定化、最小化，最后依据该FA，编写对应的词法分析程序。
cpp实现的一个简易的编译器，分层设计了词法分析器、语法分析器、AST的处理.zip
03-25
这个编译器包括三个主要部分：词法分析器、语法分析器和抽象语法树（AST）处理。通过理解这些组件，我们可以深入理解编译器的工作原理。 1. **词法分析器**： - 词法分析器（Lexer）是编译器的第一步，它将输入的...
Linux shell编写C语言词法分析器
01-10
Linux shell编写C语言词法分析器是一个有趣且实用的项目，它将shell脚本的灵活性与C语言的解析能力相结合，用于分析C语言源代码的结构。以下是对这个项目的详细说明，以及涉及到的关键知识点。 首先，词法分析是...
基于JavaScript和LR1分析的C语言智能错误处理编译器前端，包括词法分析器和语法分析器不包括语义分析.zip
04-17
**词法分析器（Lexer 或 Lexical Analyzer）** 词法分析是编译器的第一个阶段，它将源代码分解成一系列有意义的符号，称为“标记”（Token）。这些标记通常是关键字、标识符、常量、运算符等。在这个项目中，"词法...
开源脚本语言-编译器开发1
07-23
开源脚本语言- 编译器开发[附带源代码] 脚本引擎Beta(V2.0).rar
基于有限自动机方法的简单词法分析程序的设计与实现
06-21
基于有限自动机方法的简单词法分析程序的设计与实现 ——无符号实数的识别
词法分析程序的设计与实现
12-04
词法分析程序的示例，仅供参考。 使用LEX编写。 北邮 大三 编译原理 词法分析 词法分析程序的设计与实现 实验内容设计并实现C语言的词法分析程序，要求如下： 1)可以识别出用C语言编写的源程序中的每个单词符号，并以记号的形式输出每个单词符号。 2)可以识别并读取源程序中的注释。 3)可以统计源程序汇总的语句行数、单词个数和字符个数，其中标点和空格不计算为单词，并输出统计结果 4)检查源程序中存在的错误，并可以报告错误所在的行列位置。 5)发现源程序中存在的错误后，进行适当的恢复，使词法分析可以继续进行，通过一次词法分析处理，可以检查并报告源程序中存在的所有错误
类C语言词法分析器的设计与实现
11-30
类C语言词法分析器的设计与实现~~~~~~~~~~~~~~~~~~~~~~
词法分析的设计与实现
03-13
词法分析的设计与实现 一、课程设计的目的 1、基本掌握计算机语言的词法分析程序的开发方法。 2、实现一个词法分析程序，将字符串流分解成终结符流供语法分析使用。 3、通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。
C--语言编译器，词法分析器|语法分析器|中间代码（四元式）生成.zip
最新发布
04-17
标题 "C--语言编译器，词法分析器|语法分析器|中间代码（四元式）生成" 提供了关于构建一个C--语言编译器的信息，涉及到编译器设计与实现的关键步骤：词法分析、语法分析以及中间代码（四元式）的生成。这些是编译...
cifafenxiqi.rar_visual c_词法分析器
09-23
在这个名为“cifafenxiqi.rar_visual c_词法分析器”的压缩包中，包含了一个使用Visual C++编写的词法分析器程序，它可以帮助开发者理解和实现编译器的词法分析部分。 词法分析器的主要任务是识别源代码中的关键词...
词法分析自动生成器CScanGenner的设计与实现
诚诚心的专栏
06-04 1523
词法分析自动生成器CScanGenner的设计与实现作者：谢煜波    文章来源：http://iamxiaohan.nease.net/article/TheDesignOfCScanGenner.htm    点击数： 488    更新时间：2005-5-27本文作者: 谢煜波 (iamxiaohan@126.com)(pdf下载：http://purec.binghua.com/S
关于编译原理词法分析程序的设计（VC实现）
憨人的快乐
11-18 2389
大家都知道，构造编译器的第一步就是词法分析，即 对程序设计语言的源程序进行扫描的过程中，将字符流形式的源程序转化为一个由各类单词符号组成的流的词法分析方法。 当然，后续还有语法分析，语义分析等步骤，说到语义分析，就不得不提之前看到的一则新闻：英国少年成全球最年轻技术富豪 15岁获李嘉诚投资。他获得投资的原因 很简单： 2011年，15岁的尼克在家准备考试时，发现逐条点开各个新闻效率太低，于
基于LEX的C语言词法分析器设计与实现
词法分析器的应用非常广泛，例如在编译器、解释器、脚本语言解释器等领域都有广泛的应用。词法分析器可以帮助开发者更快速地构建高质量的编译器和解释器，提高开发效率和代码质量。 **总结** 基于LEX的C语言词法...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值