（1）词法分析器

简单来说就是写一个函数，这个函数的输入是文字流，我们要把这个文字流的标签搞出来

比如某种语言标签如下

enum Token {
  tok_eof = -1,

  // commands
  tok_def = -2,
  tok_extern = -3,

  // primary
  tok_identifier = -4,
  tok_number = -5,
};

然后词法分析器相当于一个函数，排除空格，检查扫描的文字，然后给出标签

static std::string IdentifierStr; // Filled in if tok_identifier

static double NumVal;             // Filled in if tok_number

/// gettok - Return the next token from standard input.

static int gettok() {

  static int LastChar = ' ';

  // Skip any whitespace.

  while (isspace(LastChar))

    LastChar = getchar();

  if (isalpha(LastChar)) { // identifier: [a-zA-Z][a-zA-Z0-9]*

    IdentifierStr = LastChar;

    while (isalnum((LastChar = getchar())))

      IdentifierStr += LastChar;

    if (IdentifierStr == "def")

      return tok_def;

    if (IdentifierStr == "extern")

      return tok_extern;

    return tok_identifier;

  }

  if (isdigit(LastChar) || LastChar == '.') { // Number: [0-9.]+

    std::string NumStr;

    do {

      NumStr += LastChar;

      LastChar = getchar();

    } while (isdigit(LastChar) || LastChar == '.');

    NumVal = strtod(NumStr.c_str(), nullptr);

    return tok_number;

  }

//跳注释

  if (LastChar == '#') {

    // Comment until end of line.

    do

      LastChar = getchar();

    while (LastChar != EOF && LastChar != '\n' && LastChar != '\r');

    if (LastChar != EOF)

      return gettok();

  }

  // Check for end of file.  Don't eat the EOF.

  if (LastChar == EOF)

    return tok_eof;

  // Otherwise, just return the character as its ascii value.

  int ThisChar = LastChar;

  LastChar = getchar();

  return ThisChar;

}

这段代码是一个词法分析器的实现，用于将输入分解成标记（tokens）。它定义了一个全局变量IdentifierStr用于保存标识符的名称，NumVal用于保存数值字面量的值。

gettok函数从标准输入中读取下一个字符，并根据字符的类型返回相应的标记。它首先跳过任何空格字符，然后根据字符的类型进行不同的处理。

如果字符是字母，则识别为标识符。gettok会读取连续的字母和数字字符，将它们保存在IdentifierStr中，并根据IdentifierStr的值判断是否是关键字（如"def"和"extern"）或是普通的标识符。

如果字符是数字或小数点，则识别为数值字面量。gettok会读取连续的数字和小数点字符，将它们保存在NumStr中，并使用strtod函数将其转换为双精度浮点数，保存在NumVal中。

如果字符是井号（#），则识别为注释。gettok会跳过注释直到行尾，并递归调用gettok函数获取下一个标记。

如果字符是文件结尾（EOF），则返回标记tok_eof表示已到达文件结尾。

否则，将字符作为其ASCII值返回。

总的来说，这段代码实现了一个简单的词法分析器，可以将输入分解成标记，并根据标记的类型进行相应的处理。

源码地址1. Kaleidoscope: Kaleidoscope Introduction and the Lexer — LLVM 18.0.0git documentation