词法分析器

最新推荐文章于 2022-02-13 17:30:00 发布

xueyan0096

最新推荐文章于 2022-02-13 17:30:00 发布

阅读量353

点赞数

文章标签：编译原理

本文链接：https://blog.csdn.net/xueyan0096/article/details/109427513

版权

本文介绍了词法分析器的基本概念，详细讨论了Token及其TokenType的定义，涵盖Integer和Char类型的Token，以及Word和Type Token的区别。文章还提到了词法分析器在处理C#语言的关键字、运算符和基本数据类型时的规则，并简要提及了测试部分。

摘要由CSDN通过智能技术生成

词法分析器定义

关键字有if、else、while、continue、break、true、false、int、char、bool；
if和while语句同c#；
四则运算、逻辑运算、关系运算同c#;
基本数据类型char、bool、int；
不支持注释。

Token & TokenType

词法分析器用来给语法分析器提供Token，每个Token都有一个属性TokenType用来指明其类别。

public enum TokenType
{
    //if, while
    IF,
    ELSE,
    WHILE,
    BREAK,
    CONTINUE,
    //<=, >=, ==, !=, &&, ||, <, >
    LE,
    GE,
    EQ,
    NE,
    AND,
    OR,
    LT,
    GT,
    //=, !, &, |
    ASSIGN,
    BITNOT,
    BITAND,
    BITOR,
    //primitive type, identifier
    PRIMITIVE,
    ID,
    //integer, char
    INTEGER,
    CHAR,
    //true, false
    TRUE,
    FALSE,
    //arithmetic, delimiter
    ARITHMETIC,
    DELIMITER,
}


public class Token
{
    public TokenType Type { get; private set; }

    public Token(TokenType type)
        => this.Type = type;

    public override string ToString()
        => $"{Enum.GetName(typeof(TokenType), Type)}";
}

Integer & Char

Integer Token是代码输入的整数值，Char Token是代码输入的字符值。

public class Integer : Token
{
    public int Value { get; private set; }

    public Integer(int value) : base(TokenType.INTEGER)
        => this.Value = value;

    public override string ToString()
        => $"INTEGER\t{Value}";;
}

public class Char : Token
{
    public char Value { get; private set; }

    public Char(char value) : base(TokenType.CHAR)
        => this.Value = value;

    public override string ToString()
        => $"Char\t{Value}";
}

Word & Type

Word Token是运算符、关键字和变量名，Type Token是基本类型bool、int、char。

public class Type : Word
{
    public static readonly Type INT = new Type(TokenType.PRIMITIVE, "int", 4);
    public static readonly Type CHAR = new Type(TokenType.PRIMITIVE, "char", 1);
    public static readonly Type BOOL = new Type(TokenType.PRIMITIVE, "bool", 1);     

    public int Width { get; private set; } // width is used for storage allocation

    public Type(TokenType type, string lexeme, int width) : base(type, lex