Python程序设计基础教程如何在python中使用tree sitter获得代码片段，手把手教你在Python-Studio上分析内存泄漏

最新推荐文章于 2024-08-15 15:45:19 发布

m_v_648374雨馨

最新推荐文章于 2024-08-15 15:45:19 发布

阅读量415

点赞数 3

分类专栏： 2024年程序员学习文章标签： python 开发语言

本文链接：https://blog.csdn.net/m0_57509491/article/details/137388539

版权

2024年程序员学习专栏收录该内容

256 篇文章 0 订阅

订阅专栏

首先需要获得你要解析的目标语言的“语法知识”，比如python需要python对应的知识、javascript需要javascript对应的知识。获得的途径有两个（建议去github搜 {语言} tree-sitter 就可以看到readme里的教程），以python为例

第一种是直接通过pip install （推荐）

pip install tree-sitter, tree-sitter-python

import tree_sitter_python as tspython
from tree_sitter import Language, Parser

PY_LANGUAGE = Language(tspython.language(), “python”)

第二种是通过源文件编译出.so文件（这种可能在你的语言比较冷门、对应的包更新不勤快的时候用比较好）

首先保证自己的电脑上装有C编译器（一般windows下载了 Visual Studio就okay），在github上找到对应知识的实现，拉取

git clone https://github.com/tree-sitter/tree-sitter-python

接下来写一个小脚本，对它进行编译，获得的.so文件就是解析目标语言所需的“知识”了

from tree_sitter import Language, Parser

Language.build_library(

Store the library in the `build` directory

“build/my-languages.so”,

Include one or more languages

[“vendor/tree-sitter-go”, “vendor/tree-sitter-javascript”, “vendor/tree-sitter-python”],
)

这个.so文件的位置要记住，每次在代码里使用都要先加载它

PY_LANGUAGE = Language("build/my-languages.so", "python")

2. parser的使用

完成配置后，就可以把这个“知识”装载到parser中，接着就可以用parser来解析代码了。

parser = Parser()
parser.set_language(PY_LANGUAGE)

通常来说，我们掌握解析字符串类型的代码内容就够了，如果有其他的数据类型的代码，也可以传递一个read的方法到parser的parse函数里（具体参考官方github的官方仓库吧）。注意，parser是基于bytes工作的，所以我们需要先把字符串类型转换为bytes，之后node内容的解析等都要记住在bytes上操作

code = f’{所有代码内容}’
src = bytes(code, ‘utf8’)
tree = parser.parse(src)

这样就很轻易地获得解析完的语法树了，是一个形如这样的结构，子节点我用缩进表示，兄弟节点就是同一层缩进的

program
comment
export statement
…

AST的使用场景

获得这样一棵语法树之后，通常会有以下几种使用场景

1. 看看树里的每个node是什么，以及node在代码原文中对应的片段是什么

这里要注意两个概念

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

最后

🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。

一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算

MP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算**