DFA词法分析器

本文介绍了DFA(确定有限状态自动机)在词法分析器中的使用,详细阐述了词法分析器的基本定义,包括它如何识别关键字如if、else、while等,以及如何处理基本数据类型和运算符。同时提到了Lexer的设计,并提及了Token、TokenType等核心类的实现参考。
摘要由CSDN通过智能技术生成

词法分析器定义

  • 关键字有if、else、while、continue、break、true、false、int、char、bool;
  • if和while语句同c#;
  • 四则运算、逻辑运算、关系运算同c#;
  • 基本数据类型char、bool、int;
  • 不支持注释。

DFA

Lexer

    Token、TokenType、Integer、Char、Work、Type等class参考《词法分析器》。

public class DFALexer
{
    public int LineNumber { get; set; }

    private State state = State.START;
    private StringReader reader;
    private IDictionary<string, Word> reserveds = new Dictionary<string, Word>();

    public DFALexer()
    {
        Reserve(new Word(TokenType.IF, "if"));
        Reserve(new Word(TokenType.ELSE, "else"));
        Reserve(new Word(TokenType.WHILE, "while"));
        Reserve(new Word(TokenType.BREAK, "break"));
        Reserve(new Word(TokenType.CONTINUE, "continue"));
        Reserve(Word.TRUE);
        Reserve(Word.FALSE);
        Reserve(Word.NULL);
        Reserve(Type.INT);
        Reserve(Type.CHAR);
        Reserve(Type.BOOL);
    }

    private void Reserve(Word word) => reserveds.Add(word.Lexeme, word);

    public void LoadCode(string code)
    {
        if (reader != null)
            reader.Dispose();

        reader = new StringReader(code);
        LineNumber = 1;
    }

    public Token Scan()
    {
        if (reader is null) throw new Exception("forget to call LoadCode function");

        var curChar = (char)reader.Read();
        //omit white space
        for (; ; curChar = (char)reader.Read())
        {
            if (curChar == ' ' || curChar == '\t') continue;
            else if (curChar == '\r')
            {
                curChar = (char)reader.Read();
                if (curChar =
  • 2
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1.根据状态转换图直接编程 编写一个词法分析程序,它从左到右逐个字符的对源程序进行扫描,产生一个个的单词的二元式,形成二元式(记号)流文件输出。在此,词法分析程序作为单独的一遍,如下图所示。 具体任务有: (1)组织源程序的输入 (2)识别单词的类别并记录类别编号和值,形成二元式输出,得到单词流文件 (3)删除注释、空格和无用符号 (4)发现并定位词法错误,需要输出错误的位置在源程序中的第几行。将错误信息输出到屏幕上。 (5)对于普通标识符和常量,分别建立标识符表和常量表(使用线性表存储),当遇到一个标识符或常量时,查找标识符表或常量表,若存在,则返回位置,否则返回0并且填写符号表或常量表。 标识符表结构:变量名,类型(整型、实型、字符型),分配的数据区地址 注:词法分析阶段只填写变量名,其它部分在语法分析、语义分析、代码生成等阶段逐步填入。 常量表结构:常量名,常量值 单词的构词规则: 字母=[A-Z a-z] 数字=[0-9] 标识符=(字母|_)(字母|数字|_)* 数字=数字(数字)*( .数字+|) 2.S语言表达式和语句说明 1.算术表达式:+、-、*、/、% 2.关系运算符:>、>=、<、<=、==、!= 3.赋值运算符:=,+=、-=、*=、/=、%= 4.变量说明:类型标识符 变量名表; 5.类型标识符:int char float 6.If语句:if 表达式then 语句 [else 语句] 7.For语句:for(表达式1;表达式2;表达式3) 语句 8.While语句:while 表达式 do 语句 9.S语言程序:由函数构成,函数不能嵌套定义。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值