词法分析器

本文介绍了词法分析器的基本概念,详细讨论了Token及其TokenType的定义,涵盖Integer和Char类型的Token,以及Word和Type Token的区别。文章还提到了词法分析器在处理C#语言的关键字、运算符和基本数据类型时的规则,并简要提及了测试部分。
摘要由CSDN通过智能技术生成

词法分析器定义

  • 关键字有if、else、while、continue、break、true、false、int、char、bool;
  • if和while语句同c#;
  • 四则运算、逻辑运算、关系运算同c#;
  • 基本数据类型char、bool、int;
  • 不支持注释。

Token & TokenType

    词法分析器用来给语法分析器提供Token,每个Token都有一个属性TokenType用来指明其类别。

public enum TokenType
{
    //if, while
    IF,
    ELSE,
    WHILE,
    BREAK,
    CONTINUE,
    //<=, >=, ==, !=, &&, ||, <, >
    LE,
    GE,
    EQ,
    NE,
    AND,
    OR,
    LT,
    GT,
    //=, !, &, |
    ASSIGN,
    BITNOT,
    BITAND,
    BITOR,
    //primitive type, identifier
    PRIMITIVE,
    ID,
    //integer, char
    INTEGER,
    CHAR,
    //true, false
    TRUE,
    FALSE,
    //arithmetic, delimiter
    ARITHMETIC,
    DELIMITER,
}


public class Token
{
    public TokenType Type { get; private set; }

    public Token(TokenType type)
        => this.Type = type;

    public override string ToString()
        => $"{Enum.GetName(typeof(TokenType), Type)}";
}

Integer & Char

    Integer Token是代码输入的整数值,Char Token是代码输入的字符值。

public class Integer : Token
{
    public int Value { get; private set; }

    public Integer(int value) : base(TokenType.INTEGER)
        => this.Value = value;

    public override string ToString()
        => $"INTEGER\t{Value}";;
}

public class Char : Token
{
    public char Value { get; private set; }

    public Char(char value) : base(TokenType.CHAR)
        => this.Value = value;

    public override string ToString()
        => $"Char\t{Value}";
}

Word & Type

    Word Token是运算符、关键字和变量名,Type Token是基本类型bool、int、char。

public class Type : Word
{
    public static readonly Type INT = new Type(TokenType.PRIMITIVE, "int", 4);
    public static readonly Type CHAR = new Type(TokenType.PRIMITIVE, "char", 1);
    public static readonly Type BOOL = new Type(TokenType.PRIMITIVE, "bool", 1);     

    public int Width { get; private set; } // width is used for storage allocation

    public Type(TokenType type, string lexeme, int width) : base(type, lex
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值