【Antlr】Antlr将词法符号送入不同的通道、处理注释

已于 2023-06-20 21:59:48 修改
阅读量806 收藏
点赞数
分类专栏： 临时专栏-无用 文章标签： python java 数学建模
于 2020-06-29 22:27:31 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/106463792
版权
临时专栏-无用 专栏收录该内容
40 篇文章 478 订阅 ¥29.90 ¥99.00
订阅专栏
本文介绍了ANTLR如何处理词法符号通道，尤其是注释和空白字符。ANTLR将正常词法符号送入语法分析器通道，其余内容如注释和空白送入隐藏通道。通过在词法规则中指定channel，可以将注释和空白放入不同通道，然后在语言应用中通过TokenStreamRewriter访问和处理隐藏通道的注释。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

上一篇文章：【Antlr】Antlr识别歧义性文本

出自：antlr 权威指南 并且补充

绝大多数编程语言忽略词法符号间的空格和注释，这意味着它们可以出现在任何地方。这就给语法分析器带来了一个难题，它必须时刻考虑两种可选的词法符号的存在:空白字符和注释。常见的解决方案是， 令词法分析器匹配这些词法符号并丢弃。

examples/Cymbol.g4
WS : [ \t\n\r]+
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Antlr】Antl 语法参考，基本词法、基本语法、注释
九师兄
02-04 269
antlr 权威指南并且补充，仅供自己学习使用，方便查找。
ANTLR4(三) 语义判定 词法符号特性
pourtheworld的博客
08-29 1984
ANTLR4 定制嵌入式语法及三个词法符号特性定制嵌入式语法预期效果语法文件运行效果词法分析特性通过模式切换处理相同文件中的不同格式语法文件运行词法分析器重写输入流重写Listener运行结果将词法符号送入不同通道 定制嵌入式语法 我们可以在语法规则的定义中，加上嵌入式的动作。 我们将从一个文本文件中，根据列号，取出该列每行的值。 预期效果 输入文件t.rows： 输出： 语法文件 观察以下代码： 我们在该语法分析器中加入了新成员：col（也就是列号）、一个自定义的RowsParser（获取输入的文件及
Antlr中文文档初稿8（《ANTLR记号流》）
weixin_34306593的博客
11-24 167
本章翻译人 CowNew开源团队 周晓 记号词表 每一个文法都指定了带有规则(子结构)和词表语言结构。这些符号在运行时被转换成整型的"记号类型"从而可以有效的比较。定义从符号到记号类型的映射的文件对ANTLR和ANTLR生成的分析器来说是基础。 这份文档描述了ANTLR使用和生成的这类文件，还介绍了用于控制词表的选项。 导言 在分析时，一个语法分析器文法通过符号...
1.Antlr4-简介入门
最新发布
xianpo的博客
04-14 1142
ANTLR v4是一款功能强大的语法分析器生成器，可以用来读取、处理、执行和转换结构化文本或二进制文件。它被广泛应用于学术界和工业界构建各种语言、工具和框架。
antlr提取代码注释
What
05-19 4508
使用antlr提取源代码注释的时候，需要定义不同的channel来导流，将注释导流到特定channel
mparser:用 ANTLR 编写的 matlab 词法分析器和解析器，带有 mex 接口。-matlab开发
05-30
这是一个使用 ANTLR 编写的 MATLAB 词法分析器和解析器。 的目标这个包是提供一种从内部解析 MATLAB 代码的方法MATLAB，并能够对结果进行源代码翻译AST。 这个包的主要工作是“mparser”，一个 MEX 文件，它接受...
ANTLR 权威参考 第一章 开始antlr
邢立军的技术专栏
11-13 276
第一部分 介绍ANTLR和计算机语言翻译 第一章    开始antlr   本书是antlr的参考指南：一个复杂的解析程序生成器，你可以用这个解析程序实现语言的解释器，编译器或其他翻译器。这不是一本编译器的书，也不是语言理论的教科书。虽然你能找到很多关于编译器和编译原理基础的书，但很多语言类应用并不是编译器。这本书更适合构建普通，日常使用的语言类应用。本书附带大量例子，解释和参考资料，立足于...
Antlr 和文本处理【源于网络】
08-15 415
Antlr 和文本处理 在我的另一篇文章《 使用 Antlr 开发领域语言》中对 Antlr 是什么、它能做什么以及如何安装使用都做了说明。今天我们的主要工作是关注如何使用 Antlr 处理文本。 Antlr 是一个语言识别工具，主要用于处理计算机编程语言。用户根据编程语言处理的特点，自定义的上下文无关文法。Antlr 根据这些文法，自动生成词法分析器（Lexer）、语法分析器（Parser）...
Antlr中$channel = HIDDEN
jazywoo_在路上
06-09 2727
有时象注释这样的部分在编译时并不是完全放弃的，如java中在/**….*/的注释形式中可以添加说明最终生成程序的文档，在.NET中使用 /// 注释形式也有类似的功能。也就是说我们在编译代码时忽略这些注释，而在分析生成文档时又要用到这些注释。这样的话就不能使用skip();方法了，skip()方法是抛弃其内容。所以ANTLR中加入了channel属性用来指定当前匹配的内容是属于哪一个频道，分析过程
ANTLR笔记2 - 简单语法说明
weixin_34221773的博客
03-01 220
ANTLR的语法文件使用扩展巴科斯范式EBNF描述，记得编译原理的用起来非常简单，需要进一步了解的是怎么构造自己的recognizer和translator。很多的语法不需要从头写，一方面很多语言标准中基本都使用EBNF描述，另一方面ANTLR网站http://www.antlr.org/grammar/list上有大量写好的语法文件，可以参考使用。 我已经忘得一干二净，从头大致了解一下。 ...
ANTLR4(十四) 调用在隐藏Channel里的信息
pourtheworld的博客
09-06 4031
写在之前 我们曾经介绍过这样一种情况： 忽略空白和注释，但在必要的时候也能调用他们。我们的处理方法是： 将不需要的注释和空白放到 channel HIDDEN中。 那么这次，我们尝试将空白和注释放在多个Channel中。 之后我们会用一个例子演示如何读取在隐藏Channel中的信息。 将空白和注释放到不同的Channel中 注意在最新的版本中，以下这种方法已经过时了。 @lexer::members { public static final int WHITESPACE = 1; publ
ANTLR4权威指南 - 第5章 设计语法
热门推荐
NullPointerException
08-19 1万+
第5章 设计语法 在第I部分，我们熟悉了ANTLR，并在一个比较高的层次上了解了语法以及语言程序。现在，我们将要放慢速度来学习下实现更实用任务的一些细节上的技巧，例如建立内部数据结构，提取信息，生成输入对应的翻译内容等。在我们开始的第一步，首先，就是需要学习怎样建立语法。在这一章，我们会着眼于语言学结构中最通用的词法和句法，并且学习怎样用ANTLR来描述这些词法和句法。以这些ANTLR建立的结
ANTLR语法总结
02-09 1万+
转自http://blog.chinaunix.net/uid-20606073-id-1916338.html 1. ANTLR的语法的一般规则    一个计算机语言由一系列的句子(Sentences)组成。句子（Sentence）由一串的词汇（Vocabulary）和标点（Sybols）组成，而不是一串随机的字符。句子可以分解为短语（Phrase），Phrase可以分解为Sub
Antlr4介绍和Helloworld
离离原上草，一岁一枯荣，野火烧不尽，春风吹又生。
04-09 2193
摘要：本文将首先介绍Antlr4，以及如何通过Antlr4 grammer生成对应的hello的AST 1. Antlr4简单介绍 Antlr4（Another Tool for Language Recognition）是一款基于Java开发的开源的语法分析器生成工具，能够根据语法规则文件生成对应的语法分析器，广泛应用于DSL构建，语言词法语法解析等领域。现在在非常多的流行的框架中都用使用，例如，在构建特定语言的AST方面，CheckStyle工具，就是基于Antlr来解析Java的语法结构的（当前Jav
ANTLR学习（三）antlr的功能
weixin_52224421的博客
05-29 820
文章目录算数表达式语言匹配算数表达式的语言语法语法导入处理错误输入使用访问者模式构建一个计算器利用监听器构建一个翻译器如何将动作直接嵌入语法文件在语法中嵌入任意动作使用语义判定改变语法分析过程词法分析特性孤岛语法重写输入流将词法符号送入不同通道 算数表达式语言 匹配算数表达式的语言 我们的表达式语言组成的程序就是一系列语句，每个语句都由换行符终止，一个语句可以是一个表达式、一个赋值语句或者是一个空行。 语法 //Expr.g4 grammar Expr; /** The start rule; begin
IDEA开发多步骤对话框和ANTLR的生成的树的访问方式
qq_40752308的博客
09-28 178
首先书写如何搞一个连续对话框，这里需要引用的是IDEA自带的东西，其中有一些步骤需要自己写一个重复对话框的时候需要注意。详细步骤如下： 对话框需要extends的是AbstractEx，而不是WrapperDialog类。 然后就是重写函数和注意点 1.重写上下文相关的方法，首先是getStepId，需要给当前的页面一个ID，上下文可以标识到，根据自己的实际写，需要的是Object类 2. 然后就是获取连续对话框上下文的方法 get...
Antlr4 ---词法规则
04stone37
01-02 4989
规则存放位置  词法规则既可以和语法规则写在同一个文件{xxx}.g4，也可以单独放在词法规则文件{xxx}Lexer.g4； 匹配原则 最长匹配原则： 输入串将被最长匹配的词法规则匹配； 优先声明原则： 若输入串能同时被多个词法规则匹配，那么声明在词法文件最前面的规则生效； 解析内容  词法规则作用是将一个个字符按照定义的规则聚集成字符，主要有以下四类： 标识符： 即各类编程语言中的变量名...
antlr基本语法
l634374852的专栏
03-15 4703
1 在antlr中，字符串是用单引号引起来的，如果需要表示单引号，则加一个反斜杠表示，‘|”。 2 产生式形式：产生式左部：产生式右部； 3 基本符号 1）“|”：表示或，表示两边的符号出现任何一个都会匹配。 2）“()+”：表示括号内部的符号可以出现一次或者多次。 3）“()*”：表示括号内部的符号可以出现零次或者多次。 4）“()?”:括号内部的符号可以出现零次或者一次。 5）“{
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值