深入研究Clang（五） Clang Lexer代码阅读笔记之Lexer

最新推荐文章于 2024-08-08 07:07:47 发布

snsn1984

最新推荐文章于 2024-08-08 07:07:47 发布

阅读量7k

点赞数 3

分类专栏：编译技术及LLVM 深入研究Clang 文章标签： LLVM clang 编译器代码笔记

本文链接：https://blog.csdn.net/snsn1984/article/details/41312801

版权

本文是关于Clang词法分析器（Lexer）的深入研究，主要探讨了Lexer的源码位置，包括clang/lib/Lex和clang/include/clang/Lex目录下的头文件。作者指出Lexer是PreprocessorLexer的子类，并提到了clangBasic库在分析Lexer代码中的作用。文章重点分析了Lexer.h和PreprocessorLexer.h中的相关定义，并预告了后续将继续对Preprocessor类的复杂实现进行探讨。

摘要由CSDN通过智能技术生成

作者：史宁宁（snsn1984）

Clang的Lexer（词法分析器）的源码的主要位置如下：

clang/lib/Lex 这里是主要的Lexer的代码；

clang/include/clang/Lex 这里是Lexer的头文件代码的位置；

同时，Lexer还使用了clangBasic库，所以要分析Lexer的代码，clangBasic（clang/lib/Basic）的一些代码也会用到。

首先从Lexer入手。

clang/include/clang/Lex/Lexer.h

clang::Lexer:

00057   //===--------------------------------------------------------------------===//
00058   // Context-specific lexing flags set by the preprocessor.
00059   //
00060
00061   /// ExtendedTokenMode - The lexer can optionally keep comments and whitespace
00062   /// and return them