Python 静态类型解析工具简介和实践

一 背景

    Python是一门强类型的动态类型语言，开发者可以给对象动态指定类型（动态），但类型不匹配的操作是不被允许的（强类型，如str和int两个变量无法相加）。
    动态类型帮助开发者写代码轻松愉快，然而，俗话说：动态一时爽，重构火葬场。动态类型也带来了许多麻烦，如果动态语言能加入静态类型标记的话，主要有以下几点好处：

• 编写更便捷。配合各种IDE工具，可以实现定义跳转，类型提示等。
• 编码更可靠。既然有了类型定义的加持，许多工具能够在静态编码阶段就能提前发现语义错误。
• 重构更放心。明确了接口的出入参，使代码重构更明确更稳定。

    目前主流语言大多数是支持静态类型的，如Java，Go，Rust。而动态语言（Python，JS）也在拥抱静态类型，如Type。
本文主要介绍一下Python对静态类型的支持、社区发展的现状、类型检查工具介绍与对比，以及类型解析的实战。

二 Python 的静态类型支持

早在06年的Python3.0就引入了类型annotation的语法，并列出了许多改进项。

#加类型前
defadd(a, b):
	returna + b

# 加类型后
defadd(a:int, b:int)-> int:
	returna + b

随着持续的演进，到Python3.5，能够做到Type Hints，配合类型标注，IDE可以做Type Checking。进而到Python3.7，静态类型支持基本完善。

下面我来具体介绍下类型检查工具和一些基础概念。

三 类型检查工具简介

Python作者和主流大厂都陆续推出了Python类型检查工具：

这些类型解析工具的功能大同小异，下面简单介绍下：

1. mypy
       最早的官方推出的mypy是由Python之父Guido van Rossum亲自开发，被各种主流编辑器所集成（如PyCharm, Emacs, Sublime Text, VS Code等），用户基础和文档经验都很丰富。

2. pytype
         谷歌的pytype可以做类型检查，并且提供了一些实用小工具，下文会简单介绍下其应用：
         annotate-ast，过程中的AST树标记工具。
         merge-pyi，把生成的pyi文件合并回原文件中，甚至还能做到隐藏类型，在类型检查时再加载。
         pytd-tool，解析pyi文件的工具，解析成pytype自定义的PYTD文件。
         pytype-single，再给定所有依赖的pyi文件的前提下，可以解析单个Python文件。
         pyxref，交叉引用的生成器。

3. pyre
   脸书的pyre-check有两个特别的功能：
         Watchman功能， 可以监听代码文件，追踪改动。
         Query功能，可以对源码做局部区域性的检查，例如查询某行中一个表达式的类型、查询一个类的全部方法并返回成列表等，避免了全局检查。

4. pyright
   微软的pyright是最晚开源推出的，宣称有以下优点：
         速度快。相较于 mypy 及其它用 Python 写的检查工具，它的速度是 5 倍甚至更多。
         不依赖 Python 环境。它用 Type 写成，运行于 node 上，不依赖 Python 环境或第三方包。
         可配置性强。支持自由地配置，支持指定不同的运行环境（PYTHONPATH 设置、Python 版本、平台目标）。
         检查项齐全。支持类型检查及其它语法项的检查（如 PEP-484、PEP-526、PEP-544），以及函数返回值、类变量、全局变量的检查，甚至可以检查条件循环语句。
         命令行工具。它包含两个 VS Code 插件：一个命令行工具和一个语言服务器协议（Language Server Protocol）。
         内置 Stubs 。使用的是 Typeshed 的副本（注：使用静态的 pyi 文件，检查内置模块、标准库和三方件 ）。
         语言服务特性。悬停提示信息、符号定义的跳转、实时的编辑反馈。

Pytype 使用介绍

接下来重点介绍一下pytype。为什么选取pytype呢，首先mypy比较古老，很多功能没有新出的工具新颖和实用。计划使用Python LSP来处理Python文件提供一些语法服务的功能，pyre-check用的是Ocamel，所以我们就拿Python语言的pytype来实现想要的功能，而且pytype提供了一些实用工具，比如解析一个pyi文件，基于Python文件生成pyi文件等。

1 基本概念
pyi 文件： pyi的“i”指的是interfiace，将Python文件的类型定义用接口的形式存储到pyi文件里，来辅助类型检查。
大家常用的Pycharm，可以关注下项目空间的External Libraries > Python 3.6 > Typeshed Stubs里面就有许多内置的pyi文件，来辅助编码过程的类型提示和定位。

Typeshed Stubs：上面提到了typeshed stubs，这相当于是提前集成的pyi集合，pycharm似乎自己维护了一份数据。许多比较大的开源项目也在陆续提供stubs，比如pyTorch。Tensorflow也正在考虑。很多Python大库去制作pyi工程量比较大，而且还有很多C的API调用，大家还需要耐心等待。