如何在python中使用tree sitter获得代码片段(1)

最新推荐文章于 2024-11-08 15:24:40 发布

2401_83946044

最新推荐文章于 2024-11-08 15:24:40 发布

阅读量888

点赞数 25

分类专栏： 2024年程序员学习文章标签： python 前端 linux

本文链接：https://blog.csdn.net/2401_83946044/article/details/137486128

版权

2024年程序员学习专栏收录该内容

271 篇文章 2 订阅

订阅专栏

code = f’{所有代码内容}’
src = bytes(code, ‘utf8’)
tree = parser.parse(src)

这样就很轻易地获得解析完的语法树了，是一个形如这样的结构，子节点我用缩进表示，兄弟节点就是同一层缩进的

program
comment
export statement
…

AST的使用场景

获得这样一棵语法树之后，通常会有以下几种使用场景

1. 看看树里的每个node是什么，以及node在代码原文中对应的片段是什么

这里要注意两个概念

node type：解析代码的时候实际上会对各种代码片段归类，比如说“statement block”这种node type，通常表示一个由花括号包裹的片段，不管是if，while还是函数体的花括号，里面可能都会包含一个子节点，它的node type都是"statement block"。
node text：每个node都会对应代码原文中的一段，父节点对应的片段会包含子节点对应的片段。注意，parser是在bytes上运作的，所以我们想要还原字符串的时候，还要从bytes还原回来：src_bytes[cursor.node.start_byte: cursor.node.end_byte].decode('utf-8')

举一个遍历语法树，打印node type 和 node text的例子

def display_tree(src_bytes, cursor, ident=4, node_text=True):
‘’’
display syntax node of the tree and its corresponding text

Args:
src_bytes: input bytes of the source code
cursor
ident: use to format the display info
node_text: whether to display the text of the node
‘’’
if node_text:
print(’ ’ * ident + cursor.node.type + ’ [’ + repr(
src_bytes[cursor.node.start_byte: cursor.node.end_byte].decode(‘utf-8’)) + ‘]’)
else:
print(’ ’ * ident + cursor.node.type)

if cursor.goto_first_child():
display_tree(src_bytes, cursor, ident + 4)
cursor.goto_parent()

while cursor.goto_next_sibling():
display_tree(src_bytes, cursor, ident)

cursor = tree.walk()
display_tree(src, cursor)

注意，遍历语法树使用到的cursor，是一个引用，在调用cursor.goto_parent()等方法时，会修改其指向的值，这一点在递归的时候要加以注意，在递归内部修改，也会影响到外部的cursor

此外，你可能会注意到，这个例子中使用了很多node的方法、cursor的方法，但是py-tree-sitter的github readme并没有给出很清晰的解说，你可以从这里看到更详细的，node / cursor 有哪些可供使用的方法、可供访问的属性
在这里插入图片描述

2. 使用query直接捕获树中的某一类节点

另一个需要掌握的使用场景是，不通过遍历的方式，直接捕获树上所有某种节点，比如我要拿到所有的函数调用、变量声明的代码片段。使用query时要注意，query是基于sexp来捕获的，它和我们上面遍历出来的各个node会有一点出入。sexp是形如 (program (comment) (export_statement declaration: (function_declaration name: (identifier)...)))的一种字符串表示，用括号来表示层级，附带一些形如declaration: 的子节点标识，这种标识在我们上面的遍历并打印node type的过程中一般是看不见的

因此，推荐想要使用query时，先使用print(tree.root_node.sexp())，看一下整体的情况，比如得到一个如下的内容在这里插入图片描述