[用go实现解释器]笔记1-词法分析

最新推荐文章于 2024-06-22 13:58:38 发布
最新推荐文章于 2024-06-22 13:58:38 发布
阅读量648 收藏
点赞数 1
文章标签： golang 笔记 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60707623/article/details/132056463
版权

本文是《用go实现解释器》的读书笔记

​

https://malred-blog​malred.github.io/2023/06/03/ji-suan-ji-li-lun-ji-shu-ji/shi-ti/go-compile/yong-go-yu-yan-shi-xian-jie-shi-qi/go-compiler-1/#toc-heading-6icon-default.png?t=N6B9http://个人博客该笔记地址

​github.com/malred/malangicon-default.png?t=N6B9http://代码仓库

1. 词法分析

1.1 词法分析

为了解释源代码,需要将其转换为易于理解的形式, 最终对代码求值之前, 需要两次转换源代码的表示形式

词法分析器的作用如下:

let x = 5 + 5; -> [LET,INDENTIFIER(“x”),EQUAL_SIGN,INTERGER(5),PLUS_SIGN,INTERGER(5),SEMICOLON] 设 x = 5 + 5;-> [LET，INDENTIFIER（“X”），EQUAL_SIGN，INTERGER（5），PLUS_SIGN，INTERGER（5），SEMICOLON]

不同词法分析器生成的词法单元会有区别

  • 空白字符不会被识别(python 等语言会)

  • 完整的词法分析器还可将行列号和文件名附加到词法单元中,后续语法分析可以更好地报错

1.2 定义词法单元

先定义词法分析器输出的词法单元 这是要解析的语句段(Monkey 语言)

let five = 5;
let ten = 10;

let add = fn(x,y) {
    x + y;
}

let result = add(five, ten);

  • 数字都是整数,按字面量处理,并赋予单独的类型

  • 变量名和数字等语言,统一用作标识符

  • 还有一些看着像标识符的,但实际是关键字,会特殊处理

定义 Token 数据结构,属性有 1.词法单元类型;2.字面量 词法单元类型定义为字符串,消耗一些性能,但是调试使用方便

// token/token.go
package token

// 词法单元类型
type TokenType string

// 词法单元
type Token struct {
    Type TokenType
    // 字面量
    Literal string
}

将词法单元类型定义为常量

const (
    // 特殊类型
    ILLEGAL = "ILLEGAL" // 未知字符
    EOF     = "EOF"     // 文件结尾

    // 标识符+字面量
    IDENT = "IDENT" // add, foobar, x, y
    INT   = "INT"   // 1343456

    // 运算符
    ASSIGN = "="
    PLUS   = "+"

    // 分隔符
    COMMA     = ","
    SEMICOLON = ";"

    LPAREN = "("
    RPAREN = ")"
    LBRACE = "{"
    RBRACE = "}"

    // 关键字
    FUNCTION = "FUNCTION"
    LET      = "LET"
)

1.3 词法分析器

词法分析器接收源代码(字符串),然后调用 NextToken()逐个遍历字符进行词法分析 生产环境,将文件名和行号附加到词法单元,最好使用 io.Reader 加上文件名来初始化词法分析器

// lexer/lexer.go
package lexer

type Lexer struct {
    input        string
    position     int  // 输入的字符串中的当前位置(指向当前字符)
    readPosition int  // 输入的字符串中的当前读取位置(指向当前字符串之后的一个字符(ch))
    ch           byte // 当前正在查看的字符
}

func New(input string) *Lexer {
    l := &Lexer{input: input}
    return l
}

// 读取下一个字符
func (l *Lexer) readChar() {
    if l.readPosition >= len(l.input) {
        l.ch = 0 // NUL的ASSII码(0)
    } else {
        // 读取
        l.ch = l.input[l.readPosition]
    }
    // 前移
    l.position = l.readPosition
    l.readPosition += 1
}

  • readChar 的作用是读取 input 中下个字符,然后将索引前推,NUL 字符的 ASCII 码是 0,表示”尚未读取任何内容”或”文件结尾”

  • 该分析器只支持 ASCII 字符,不能支持所有 Unicode 字符,如果要支持,则 l.ch 要改为 rune 类型,并且要修改读取下一个字符的方式,字符也有可能会是多字节,l.input[l.readPosition]将无法工作

在 New 中调用 readChar 以初始化

func New(input string) *Lexer {
    l := &Lexer{input: input}
    // 初始化 l.ch,l.position,l.readPosition
    l.readChar()
    return l
}

第一版 NextToken

// lexer/lexer.go
package lexer

import (
    "go-monkey-compiler/token"
)

// 创建词法单元的方法
func newToken(tokenType token.TokenType, ch byte) token.Token {
    return token.Token{
        Type:    tokenType,
        Literal: string(ch),
    }
}

// 根据当前的ch创建词法单元
func (l *Lexer) NextToken() token.Token {
    var tok token.Token

    switch l.ch {
    case '=':
        tok = newToken(token.ASSIGN, l.ch)
    case ';':
        tok = newToken(token.SEMICOLON, l.ch)
    case '(':
        tok = newToken(token.LPAREN, l.ch)
    case ')':
        tok = newToken(token.RPAREN, l.ch)
    case ',':
        tok = newToken(token.COMMA, l.ch)
    case '+':
        tok = newToken(token.PLUS, l.ch)
    case '{':
        tok = newToken(token.LBRACE, l.ch)
    case '}':
        tok = newToken(token.RBRACE, l.ch)
    case 0:
        tok.Literal = ""
        tok.Type = token.EOF
    }

    l.readChar()
    return tok
}

测试

// lexer/lexer_test.go
package lexer

import (
    "go-monkey-compiler/token"
    "testing"
)

func TestNextToken(t *testing.T) {
    input := `=+(){},;`

    tests := []struct {
        expectedType    token.TokenType
        expectedLiteral string
    }{
        {token.ASSIGN, "="},
        {token.PLUS, "+"},
        {token.LPAREN, "("},
        {token.RPAREN, ")"},
        {token.LBRACE, "{"},
        {token.RBRACE, "}"},
        {token.COMMA, ","},
        {token.SEMICOLON, ";"},
        {token.EOF, ""},
    }

    l := New(input)

    for i, tt := range tests {
        tok := l.NextToken()

        if tok.Type != tt.expectedType {
            t.Fatalf("tests[%d] - tokentype wrong. expected=%q, got==%q", i, tt.expectedType, tok.Type)
        }

        if tok.Literal != tt.expectedLiteral {
            t.Fatalf("tests[%d] - literal wrong. expected=%q, got==%q", i, tt.expectedLiteral, tok.Literal)
        }
    }

}

go test ./lexer

添加标识符/关键字/数字的处理

// lexer/lexer.go
// 判断读取到的字符是不是字母
func isLetter(ch byte) bool {
    return 'a' <= ch && ch <= 'z' || 'A' <= ch && ch <= 'Z' || ch == '_'
}

// 读取字母(标识符/关键字)
func (l *Lexer) readIdentifier() string {
    position := l.position
    for isLetter(l.ch) {
        // 如果接下来还有字母,就一直移动指针到不是字母
        l.readChar()
    }
    return l.input[position:l.position]
}

func (l *Lexer) NextToken() token.Token {
    var tok token.Token

    switch l.ch {
        // ...
    default:
        if isLetter(l.ch) {
            tok.Literal = l.readIdentifier()
            tok.Type = token.LookupIdent(tok.Literal)
            return tok
        } else {
            tok = newToken(token.ILLEGAL, l.ch)
        }
    }

    l.readChar()
    return tok
}

在 token.go 里添加识别关键字和用户定义标识符的方法

// 关键字map
var keywords = map[string]TokenType{
    "fn":  FUNCTION,
    "let": LET,
}

func LookupIdent(ident string) TokenType {
    // 从关键字map里找,找到了就说明是关键字
    if tok, ok := keywords[ident]; ok {
        return tok
    }
    // 标识符
    return IDENT
}

此时如果遇到空白字段,会报错 IDENT!=ILLEGAL,需要添加跳过空格的方法

// lexer/lexer.go

// 跳过空格
func (l *Lexer) skipWhitespace() {
    for l.ch == ' ' || l.ch == '\t' || l.ch == '\n' || l.ch == '\r' {
        l.readChar()
    }
}

// 根据当前的ch创建词法单元
func (l *Lexer) NextToken() token.Token {
    var tok token.Token

    // 跳过空格
    l.skipWhitespace()

    switch l.ch {
        // ...
    }
    // ...
}

现在添加将数字转为词法单元的功能 数字的识别还可以是浮点数/16 进制/8 进制等,但是书中为了教学而简化了

// 跳过空格
func (l *Lexer) skipWhitespace() {
    for l.ch == ' ' || l.ch == '\t' || l.ch == '\n' || l.ch == '\r' {
        l.readChar()
    }
}

// 判断是否是数字
func isDigit(ch byte) bool {
    return '0' <= ch && ch <= '9'
}

// 读取数字
func (l *Lexer) readNumber() string {
    // 记录起始位置
    position := l.position
    for isDigit(l.ch) {
        l.readChar()
    }
    return l.input[position:l.position]
}

// 根据当前的ch创建词法单元
func (l *Lexer) NextToken() token.Token {
    var tok token.Token

    // 跳过空格
    l.skipWhitespace()

    switch l.ch {
        // ...
    default:
        if isLetter(l.ch) {
            tok.Literal = l.readIdentifier()
            tok.Type = token.LookupIdent(tok.Literal)
            // 因为readIdentifier会调用readChar,所以提前return,不需要后面再readChar
            return tok
        } else if isDigit(l.ch) {
            tok.Type = token.INT
            tok.Literal = l.readNumber()
            return tok
        } else {
            tok = newToken(token.ILLEGAL, l.ch)
        }
    }

    l.readChar()
    return tok
}

拓展测试用例,处理开头提到的那个 Monkey 代码段

// lexer/lexer_test.go
package lexer

import (
    "go-monkey-compiler/token"
    "testing"
)

func TestNextToken(t *testing.T) {
    input :=
        `
    let five = 5;
    let ten = 10;
    let add = fn(x,y) {
        x + y;
    };

    let result = add(five, ten);
    `

    tests := []struct {
        expectedType    token.TokenType
        expectedLiteral string
    }{
        {token.LET, "let"},
        {token.IDENT, "five"},
        {token.ASSIGN, "="},
        {token.INT, "5"},
        {token.SEMICOLON, ";"},
        {token.LET, "let"},
        {token.IDENT, "ten"},
        {token.ASSIGN, "="},
        {token.INT, "10"},
        {token.SEMICOLON, ";"},
        {token.LET, "let"},
        {token.IDENT, "add"},
        {token.ASSIGN, "="},
        {token.FUNCTION, "fn"},
        {token.LPAREN, "("},
        {token.IDENT, "x"},
        {token.COMMA, ","},
        {token.IDENT, "y"},
        {token.RPAREN, ")"},
        {token.LBRACE, "{"},
        {token.IDENT, "x"},
        {token.PLUS, "+"},
        {token.IDENT, "y"},
        {token.SEMICOLON, ";"},
        {token.RBRACE, "}"},
        {token.SEMICOLON, ";"},
        {token.LET, "let"},
        {token.IDENT, "result"},
        {token.ASSIGN, "="},
        {token.IDENT, "add"},
        {token.LPAREN, "("},
        {token.IDENT, "five"},
        {token.COMMA, ","},
        {token.IDENT, "ten"},
        {token.RPAREN, ")"},
        {token.SEMICOLON, ";"},
        {token.EOF, ""},
    }

    l := New(input)

    for i, tt := range tests {
        tok := l.NextToken()

        if tok.Type != tt.expectedType {
            t.Fatalf("tests[%d] - tokentype wrong. expected=%q, got==%q", i, tt.expectedType, tok.Type)
        }

        if tok.Literal != tt.expectedLiteral {
            t.Fatalf("tests[%d] - literal wrong. expected=%q, got==%q", i, tt.expectedLiteral, tok.Literal)
        }
    }

}

1.4 拓展词法单元和词法分析器

添加对 == ! != - / * < > 和关键字 true false if else return 的支持 可分为

  • 单字符语法单元(如-,!)

  • 双字符语法单元(如==) <- 后续添加支持

  • 关键字语法定义(如 return)

添加对- / * < > 的支持 token 常量中添加新定义

const (
    // ...

    // 运算符
    ASSIGN   = "="
    PLUS     = "+"
    MINUS    = "-"
    BANG     = "!"
    ASTERISK = "*"
    SLASH    = "/"

    LT = "<"
    GT = ">"

    // ...
)

lexer.go 的 switch 中添加新的词法单元生成

// 根据当前的ch创建词法单元
func (l *Lexer) NextToken() token.Token {
    var tok token.Token

    // 跳过空格
    l.skipWhitespace()

    switch l.ch {
    case '=':
        tok = newToken(token.ASSIGN, l.ch)
    case '+':
        tok = newToken(token.PLUS, l.ch)
    case '-':
        tok = newToken(token.MINUS, l.ch)
    case '!':
        tok = newToken(token.BANG, l.ch)
    case '/':
        tok = newToken(token.SLASH, l.ch)
    case '*':
        tok = newToken(token.ASTERISK, l.ch)
    case '<':
        tok = newToken(token.LT, l.ch)
    case '>':
        tok = newToken(token.GT, l.ch)
    // ...
    }

    l.readChar()
    return tok
}

测试

// lexer/lexer_test.go
package lexer

import (
    "go-monkey-compiler/token"
    "testing"
)

func TestNextToken(t *testing.T) {
    input :=
        `
    let five = 5;
    let ten = 10;

    let add = fn(x, y) {
    x + y;
    };

    let result = add(five, ten);
    !-/*5;
    5 < 10 > 5;
    `

    tests := []struct {
        expectedType    token.TokenType
        expectedLiteral string
    }{
        {token.LET, "let"},
        {token.IDENT, "five"},
        {token.ASSIGN, "="},
        {token.INT, "5"},
        {token.SEMICOLON, ";"},
        {token.LET, "let"},
        {token.IDENT, "ten"},
        {token.ASSIGN, "="},
        {token.INT, "10"},
        {token.SEMICOLON, ";"},
        {token.LET, "let"},
        {token.IDENT, "add"},
        {token.ASSIGN, "="},
        {token.FUNCTION, "fn"},
        {token.LPAREN, "("},
        {token.IDENT, "x"},
        {token.COMMA, ","},
        {token.IDENT, "y"},
        {token.RPAREN, ")"},
        {token.LBRACE, "{"},
        {token.IDENT, "x"},
        {token.PLUS, "+"},
        {token.IDENT, "y"},
        {token.SEMICOLON, ";"},
        {token.RBRACE, "}"},
        {token.SEMICOLON, ";"},
        {token.LET, "let"},
        {token.IDENT, "result"},
        {token.ASSIGN, "="},
        {token.IDENT, "add"},
        {token.LPAREN, "("},
        {token.IDENT, "five"},
        {token.COMMA, ","},
        {token.IDENT, "ten"},
        {token.RPAREN, ")"},
        {token.SEMICOLON, ";"},
        {token.BANG, "!"},
        {token.MINUS, "-"},
        {token.SLASH, "/"},
        {token.ASTERISK, "*"},
        {token.INT, "5"},
        {token.SEMICOLON, ";"},
        {token.INT, "5"},
        {token.LT, "<"},
        {token.INT, "10"},
        {token.GT, ">"},
        {token.INT, "5"},
        {token.SEMICOLON, ";"},
    }

    l := New(input)

    for i, tt := range tests {
        tok := l.NextToken()

        if tok.Type != tt.expectedType {
            t.Fatalf("tests[%d] - tokentype wrong. expected=%q, got=%q",
                i, tt.expectedType, tok.Type)
        }

        if tok.Literal != tt.expectedLiteral {
            t.Fatalf("tests[%d] - literal wrong. expected=%q, got=%q",
                i, tt.expectedLiteral, tok.Literal)
        }
    }
}

进一步拓展,添加新关键字的解析 true false if else return 将新关键字分别添加到 token 的常量列表和 keywords 关键字 map 里

const (
    // ...

    // 关键字
    FUNCTION = "FUNCTION"
    LET      = "LET"
    TRUE     = "TRUE"
    FALSE    = "FALSE"
    IF       = "IF"
    ELSE     = "ELSE"
    RETURN   = "RETURN"
)

// 关键字map
var keywords = map[string]TokenType{
    "fn":     FUNCTION,
    "let":    LET,
    "true":   TRUE,
    "false":  FALSE,
    "if":     IF,
    "else":   ELSE,
    "return": RETURN,
}

测试

// lexer/lexer_test.go
package lexer

import (
    "go-monkey-compiler/token"
    "testing"
)

func TestNextToken(t *testing.T) {
    input :=
        `
    let five = 5;
    let ten = 10;

    let add = fn(x, y) {
    x + y;
    };

    let result = add(five, ten);
    !-/*5;
    5 < 10 > 5;

    if (5 < 10) {
        return true;
    } else {
        return false;
    }
    `

    tests := []struct {
        expectedType    token.TokenType
        expectedLiteral string
    }{
        {token.LET, "let"},
        {token.IDENT, "five"},
        {token.ASSIGN, "="},
        {token.INT, "5"},
        {token.SEMICOLON, ";"},
        {token.LET, "let"},
        {token.IDENT, "ten"},
        {token.ASSIGN, "="},
        {token.INT, "10"},
        {token.SEMICOLON, ";"},
        {token.LET, "let"},
        {token.IDENT, "add"},
        {token.ASSIGN, "="},
        {token.FUNCTION, "fn"},
        {token.LPAREN, "("},
        {token.IDENT, "x"},
        {token.COMMA, ","},
        {token.IDENT, "y"},
        {token.RPAREN, ")"},
        {token.LBRACE, "{"},
        {token.IDENT, "x"},
        {token.PLUS, "+"},
        {token.IDENT, "y"},
        {token.SEMICOLON, ";"},
        {token.RBRACE, "}"},
        {token.SEMICOLON, ";"},
        {token.LET, "let"},
        {token.IDENT, "result"},
        {token.ASSIGN, "="},
        {token.IDENT, "add"},
        {token.LPAREN, "("},
        {token.IDENT, "five"},
        {token.COMMA, ","},
        {token.IDENT, "ten"},
        {token.RPAREN, ")"},
        {token.SEMICOLON, ";"},
        {token.BANG, "!"},
        {token.MINUS, "-"},
        {token.SLASH, "/"},
        {token.ASTERISK, "*"},
        {token.INT, "5"},
        {token.SEMICOLON, ";"},
        {token.INT, "5"},
        {token.LT, "<"},
        {token.INT, "10"},
        {token.GT, ">"},
        {token.INT, "5"},
        {token.SEMICOLON, ";"},
        {token.IF, "if"},
        {token.LPAREN, "("},
        {token.INT, "5"},
        {token.LT, "<"},
        {token.INT, "10"},
        {token.RPAREN, ")"},
        {token.LBRACE, "{"},
        {token.RETURN, "return"},
        {token.TRUE, "true"},
        {token.SEMICOLON, ";"},
        {token.RBRACE, "}"},
        {token.ELSE, "else"},
        {token.LBRACE, "{"},
        {token.RETURN, "return"},
        {token.FALSE, "false"},
        {token.SEMICOLON, ";"},
        {token.RBRACE, "}"},
    }

    l := New(input)

    for i, tt := range tests {
        tok := l.NextToken()

        if tok.Type != tt.expectedType {
            t.Fatalf("tests[%d] - tokentype wrong. expected=%q, got=%q",
                i, tt.expectedType, tok.Type)
        }

        if tok.Literal != tt.expectedLiteral {
            t.Fatalf("tests[%d] - literal wrong. expected=%q, got=%q",
                i, tt.expectedLiteral, tok.Literal)
        }
    }
}

拓展,添加对!=和==的支持 添加常量

const (
    // ...

    EQ     = "=="
    NOT_EQ = "!="

    // ...
)

因为每次读入一个字符,所以不能直接 case !=来判别,应该复用!和=的判断分支,根据下一个字符来决定是返回=还是==

// 向前查看一个字符,但是不移动指针
func (l *Lexer) peekChar() byte {
    if l.readPosition >= len(l.input) {
        return 0
    } else {
        return l.input[l.readPosition]
    }
}

// 根据当前的ch创建词法单元
func (l *Lexer) NextToken() token.Token {
    var tok token.Token

    // 跳过空格
    l.skipWhitespace()

    switch l.ch {
    case '=':
        if l.peekChar() == '=' {
            // 记录当前ch (=)
            ch := l.ch
            l.readChar()
            literal := string(ch) + string(l.ch)
            tok = token.Token{Type: token.EQ, Literal: literal}
        } else {
            tok = newToken(token.ASSIGN, l.ch)
        }
    // ...
    case '!':
        if l.peekChar() == '=' {
            // 记录当前ch (!)
            ch := l.ch
            l.readChar()
            literal := string(ch) + string(l.ch)
            tok = token.Token{Type: token.NOT_EQ, Literal: literal}
        } else {
            tok = newToken(token.BANG, l.ch)
        }

    // ...
    }

    l.readChar()
    return tok
}
测试

 

// lexer/lexer_test.go
package lexer

import (
    "go-monkey-compiler/token"
    "testing"
)

func TestNextToken(t *testing.T) {
    input :=
        `
    let five = 5;
    let ten = 10;

    let add = fn(x, y) {
    x + y;
    };

    let result = add(five, ten);
    !-/*5;
    5 < 10 > 5;

    if (5 < 10) {
        return true;
    } else {
        return false;
    }

    10 == 10;
    10 != 9;
    `

    tests := []struct {
        expectedType    token.TokenType
        expectedLiteral string
    }{
        {token.LET, "let"},
        {token.IDENT, "five"},
        {token.ASSIGN, "="},
        {token.INT, "5"},
        {token.SEMICOLON, ";"},
        {token.LET, "let"},
        {token.IDENT, "ten"},
        {token.ASSIGN, "="},
        {token.INT, "10"},
        {token.SEMICOLON, ";"},
        {token.LET, "let"},
        {token.IDENT, "add"},
        {token.ASSIGN, "="},
        {token.FUNCTION, "fn"},
        {token.LPAREN, "("},
        {token.IDENT, "x"},
        {token.COMMA, ","},
        {token.IDENT, "y"},
        {token.RPAREN, ")"},
        {token.LBRACE, "{"},
        {token.IDENT, "x"},
        {token.PLUS, "+"},
        {token.IDENT, "y"},
        {token.SEMICOLON, ";"},
        {token.RBRACE, "}"},
        {token.SEMICOLON, ";"},
        {token.LET, "let"},
        {token.IDENT, "result"},
        {token.ASSIGN, "="},
        {token.IDENT, "add"},
        {token.LPAREN, "("},
        {token.IDENT, "five"},
        {token.COMMA, ","},
        {token.IDENT, "ten"},
        {token.RPAREN, ")"},
        {token.SEMICOLON, ";"},
        {token.BANG, "!"},
        {token.MINUS, "-"},
        {token.SLASH, "/"},
        {token.ASTERISK, "*"},
        {token.INT, "5"},
        {token.SEMICOLON, ";"},
        {token.INT, "5"},
        {token.LT, "<"},
        {token.INT, "10"},
        {token.GT, ">"},
        {token.INT, "5"},
        {token.SEMICOLON, ";"},
        {token.IF, "if"},
        {token.LPAREN, "("},
        {token.INT, "5"},
        {token.LT, "<"},
        {token.INT, "10"},
        {token.RPAREN, ")"},
        {token.LBRACE, "{"},
        {token.RETURN, "return"},
        {token.TRUE, "true"},
        {token.SEMICOLON, ";"},
        {token.RBRACE, "}"},
        {token.ELSE, "else"},
        {token.LBRACE, "{"},
        {token.RETURN, "return"},
        {token.FALSE, "false"},
        {token.SEMICOLON, ";"},
        {token.RBRACE, "}"},
        {token.INT, "10"},
        {token.EQ, "=="},
        {token.INT, "10"},
        {token.SEMICOLON, ";"},
        {token.INT, "10"},
        {token.NOT_EQ, "!="},
        {token.INT, "9"},
        {token.SEMICOLON, ";"},
        {token.EOF, ""},
    }

    l := New(input)

    for i, tt := range tests {
        tok := l.NextToken()

        if tok.Type != tt.expectedType {
            t.Fatalf("tests[%d] - tokentype wrong. expected=%q, got=%q",
                i, tt.expectedType, tok.Type)
        }

        if tok.Literal != tt.expectedLiteral {
            t.Fatalf("tests[%d] - literal wrong. expected=%q, got=%q",
                i, tt.expectedLiteral, tok.Literal)
        }
    }
}

1.5 编写 REPL

REPL 即 Read-Eval-Print-Loop(读取-求值-打印循环) REPL 读取输入,传给解释器求值,任何输出,并重复之前的步骤 这里是输入源代码,然后每次读取一行,直到遇到 EOF,期间输出词法生成器生成的词法单元

// repl/repl.go
package repl

import (
    "bufio"
    "fmt"
    "go-monkey-compiler/token"
    "go-monkey-compiler/lexer"
    "io"
)

const PROMPT = ">> "

func Start(in io.Reader, out io.Writer) {
    scanner := bufio.NewScanner(in)

    for {
        scanned := scanner.Scan()
        if !scanned {
            return
        }

        line := scanner.Text()
        l := lexer.New(line)

        for tok := l.NextToken(); tok.Type != token.EOF; tok = l.NextToken() {
            fmt.Fprintf(out, "%+v\n", tok)
        }
    }
}

创建 main.go,启动 REPL

// main.go
package main

import (
    "fmt"
    "go-monkey-compiler/repl"
    "os"
    "os/user"
)

func main() {
    user, err := user.Current()
    if err != nil {
        panic(err)
    }
    fmt.Printf("Hello %s! This is the Monkey programming language!\n", user.Username)
    fmt.Printf("Feel free to type in commands\n")
    repl.Start(os.Stdin, os.Stdout)
}

测试

​

飞鸟malred
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Go-go.vm一个简单的虚拟机-编译器和解释器-用golang编写
08-13
go.vm 一个简单的虚拟机 - 编译器和解释器 - 用golang编写
编译原理 - 词法分析：C/C++实现
11-15
其次，我在实验中学到了如何设计和实现词法分析器的基本框架和算法，并且了解了正则表达式的基本规则和常用操作符，以及如何使用正则表达式定义词法规则，从而构建词法分析器。在实验过程中，我遇到了困难包括：理解...
纯golang写的解释器，轻量级编程语言开发
pywee的博客
11-13 584
利用纯 golang 编写的解释器，目前在持续开发中，我计划把它写成一个轻量级的编程语言用于web开发。如果能够顺利实现所需要的基本功能，那么通过它编写一个golang模板引擎将会非常容易。
推荐项目：wagon - WebAssembly在Go中的强大解释器
gitblog_00033的博客
05-16 298
推荐项目：wagon - WebAssembly在Go中的强大解释器 项目地址:https://gitcode.com/go-interpreter/wagon 项目介绍 wagon 是一个基于Go语言的WebAssembly（简称WASM）解释器，为Go程序员提供了一个工具集，可以解码和执行WASM二进制文件。虽然目前项目处于只读模式并寻找新的维护者，但其提供的功能和潜在价值仍然不容忽视。 项目...
用 Go 构建一个 SQL 解析器
360技术
06-25 924
奇技指南在本文中，小编将向大家简单介绍如何在 Go 中构造 LL(1) 解析器，并应用于解析SQL查询。希望大家能用 Go 对简单的解析器算法有一个了解和简单应用。本文来...
《用Go语言自制解释器》之第5章 宏系统
yxqq378287007的博客
09-19 649
《用Go语言自制解释器》之第5章 宏系统
《用Go语言自制解释器》之第1章 词法分析
yxqq378287007的博客
08-26 845
《用Go语言自制解释器》之第1章 词法分析
编译原理大作业-词法分析器、语法分析器源码（java实现）.zip
03-15
编译原理大作业-词法分析器、语法分析器源码（java实现）.zip编译原理大作业-词法分析器、语法分析器源码（java实现）.zip编译原理大作业-词法分析器、语法分析器源码（java实现）.zip编译原理大作业-词法分析器、...
编译原理实验1-词法分析器.zip
04-16
本实验“编译原理实验1-词法分析器”旨在让学生理解和实现这个过程。 实验1-词法分析器.docx文档很可能是实验的具体说明，包括实验目标、步骤、要求和可能的解决方案。在这样的文档中，通常会详细介绍如何设计一个...
实验一-词法分析（通过Lex实现，实现代码容易看懂）
06-23
注意：取负运算和减法运算在词法分析器里是被看做是同一个词法记号。 5)语句：支持赋值语句、do-while、while、for循环语句，if-else、switch-case条件分之语句、函数调用、函数返回、跳转等语句。涉及的词法记号...
编译原理-词法分析-基于状态机的简单动态词法分析器
02-12
简单的词法分析器，能够接收一系列不同的正则变量定义，通过正则表达式后缀式的构建、nfa的构建、dfa的构建及其最简化、dfa的合并等步骤实现动态词法分析。
《用Go语言自制解释器》之第4章 扩展解释器
yxqq378287007的博客
09-01 647
《用Go语言自制解释器》之第4章 扩展解释器
《用Go语言自制解释器》之第2章 语法分析
yxqq378287007的博客
08-29 645
《用Go语言自制解释器》之第2章 语法分析
go语言实现SQL解析器
qq_45206551的博客
08-20 1044
SQL解析由词法分析和语法/语义分析两个部分组成。 词法分析主要是把输入转化成一个个Token。其中Token中包含Keyword（也称symbol）和非Keyword。例如：SQL语句select username from userinfo，在分析之后，会得到4个Token，其中有2个Keyword，分别为select和from 语法分析就是生成语法树的过程。 ...
从零用Go实现一个python简单解释器
草帽boy的博客
02-20 1003
编译型语言和解释型语言 和其他编译型语言类似,要 执行python代码 会经历几个步骤。 分别是这三个步骤: 1. 词法分析 2. 语法解析 3. 编译 解释型语言区别于编译型型语言,他有一个很大的缺点由于不需要事前先编译成机器码,而是在动态执行的时候在解释器运行期间那一条解释一条,这些被解释完成的代码 会在内存中存放 python中称为 code object(代码对象)，写python的小...
《用Go语言自制解释器》之第3章 求值
yxqq378287007的博客
08-30 455
《用Go语言自制解释器》之第3章 求值
如何用Go语言实现一个基于宏系统的解释器？
最新发布
m0_59186239的博客
06-22 350
首先，你需要定义你的宏系统语言的基本语法规则。这通常包括关键字、标识符、操作符、表达式等元素的定义。
Go设计模式(27)-解释器模式
09-01 245
解释器模式可以描述如何构建一个简单的“语言”解释器。这个模式只在一些特定的领域才有可能用到，如编译器、规则引擎、正则表达式等。好在解释器模式比较简单，大家可以了解一下。
Go和Java实现解释器模式
YIYIYI
08-15 1444
Go和Java实现解释器模式
利用c++编译原理----词法分析器
05-08
词法分析器是编译器中的一个重要组成部分，也是编译器的第一步。它的主要任务是将源代码中的字符流转换为有意义的单词流，也就是将源代码转换为一系列的词法单元。在C++中，词法分析器使用正则表达式来定义各种词法单元，例如标识符、关键字、运算符、常量等等。 在C++中，词法分析器通常采用有限自动机（DFA）来实现。DFA是一种状态机，它可以接受一个有限的输入字符序列并产生一个有限的输出序列。通过定义各种状态和状态之间的转移规则，DFA可以根据输入字符流自动地进行状态转移，最终生成词法单元序列。 在编写词法分析器时，需要注意一些细节问题，例如如何处理注释、如何处理字符串常量、如何处理数字常量等等。此外，还需要考虑如何处理错误输入和错误单词等异常情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

飞鸟malred

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值