模块化(module)程序设计理念
模块和包概念的进化史
“量变引起质变”、“物以类聚”
函数——类和对象——模块——包
- Python程序由模块组成。一个模块对应 python源文件,一般后缀名是:.py。
- 模块由语句组成。运行 Python程序时,按照模块中语句的顺序依次执行。
- 语句是Python程序的构造单元,用于创建对象、变量赋值、调用函数、控制语句等。
标准库模块(standard library)
与函数类似,模块也分为标准库模块和用户自定义模块。 Python标准库提供了操作系统功能、网络通信、文本处理、文件处理、数学运算等基本的功能。比如: random(随机数)、math(数学运算)、 time(时间处理)、 file(文件处理)、os(和操作系统交互)、sys(和解释器交互)等。
另外,Python还提供了海量的第三方模块,使用方式和标准库类似。功能覆盖了我们能想象到的所有领域,比如:科学计算、WEB开发、大数据、人工智能、图形系统等。
模块化编程有如下几个重要优势:
- 便于将一个任务分解成多个模块,实现团队协同开发,完成大规模程序 。
- 实现代码复用。一个模块实现后,可以被反复调用。
- 可维护性增强
模块化编程的一般流程
- 设计API,进行功能描述。
- 编码实现API中描述的功能。
- 在模块中编写测试代码,并消除全局代码。
- 使用私有函数实现不被外部客户端调用的模块函数。
模块的API和功能描述要点
API(Application Programming Interface 应用程序编程接口)是用于描述模块中提供的函数和类的功能描述和使用方式描述。模块化编程中,首先设计的就是模块的API(即要实现的功能描述),然后开始编码实现API中描述的功能。最后,在其他模块中导入本模块进行调用。可以通过help(模块名)查看模块的API。一般使用时先导入模块然后通过help函数查看。
例如导入math模块,并通过help()查看math模块的API:
import math
help(math)
也可以在python的api文档中查询。双击打开chm文档,即可通过索引输入模块名查询到对应的API内容
通过__doc__可以获得模块的文档字符串的内容。如:
import math
print(math.__doc__)
模块的创建和测试代码
每个模块都有一个名称,通过特殊变量__name__可以获取模块的名称。在正常情况下,模块名字对应源文件名。仅有一个例外,就是当一个模块被作为程序入口时(主程序、交互式提示符下),它的__name__的值为“main”。我们可以根据这个特点,将模块源代码文件中的测试代码进行独立的处理。例如:
import math
math.__name__ #输出'math'
模块的导入
模块化设计的好处之一就是“代码复用性高”。写好的模块可以被反复调用,重复使用。模块的导入就是“在本模块中使用其他模块”。
import语句导入
import 加载的模块分为四个通用类别:
a.使用 python编写的代码(.py 文件);
b.已被编译为共享库或DLL 的C或 C++扩展;
c.包好一组模块的包;
d.使用 C编写并链接到 python解释器的内置模块。
我们一般通过 import 语句实现模块的导入和使用,import 本质上是使用了内置函数__import__()。 当我们通过 import 导入一个模块时,python解释器进行执行,最终会生成一个对象,这个对象就代表了被加载的模块。
我们通过import导入多个模块,本质上也是生成多个module类的对象而已。
有时候,我们也需要给模块起个别名,本质上,这个别名仅仅是新创建一个变量引用加载的模块对象而已。
from…import导入
Python中可以使用from…import 导入模块中的成员。基本语法格式如下:
from 模块名 import 成员1,成员2,…
如果希望导入一个模块中的所有成员,则可以采用如下方式:
from 模块名 import
【注】尽量避免“from 模块名 import * ”这种写法。* 表示导入模块中所有的不是以下划线(_)开头的名字都导入到当前位置。但不知道导入什么名字,很有可能会覆盖掉之前已经定义的名字。而且可读性极其的差。一般生产环境中尽量避免使用
import语句和from…import语句的区别
import 导入的是模块。from…import 导入的是模块中的一个函数/一个类。
如果进行类比的话,import 导入的是“文件”,我们要使用该“文件”下的内容,必须前面加“文件名称”。from…import 导入的是文件下的“内容”,我们直接使用这些“内容”即可,前面再也不需要加“文件名称”了。
import()动态导入
import 语句本质上就是调用内置函数__import__(),我们可以通过它实现动态导入。给 import()动态传递不同的的参数值,就能导入不同的模块。
注意:一般不建议我们自行使用__import__()导入,其行为在python2和python3中有差异,会导致意外错误。如果需要动态导入可以使用importlib模块。
模块的加载问题
当导入一个模块时,模块中的代码都会被执行。不过,如果再次导入这个模块,则不会再次执行。导入模块更多的时候需要的是定义模块 中的变量、函数、对象等。这些并不需要反复定义和执行。“只导入一次 import-only-once”就成了一种优化。
一个模块无论导入多少次,这个模块在整个解释器进程内有且仅有一个实例对象。
重新加载
有时候我们确实需要重新加载一个模块,这时候可以使用: importlib.reload() 方法
包package的使用
包(package)的概念和结构
当一个项目中有很多个模块时,需要再进行组织。我们将功能类似的模块放到一起,形成了“包”。本质上,“包”就是一个必须有__init__.py的文件夹。
包下面可以包含“模块(module)”,也可以再包含“子包(subpackage)”。就像文件夹下面可以有文件,也可以有子文件夹一样。
pycharm中创建包
在pycharm 开发环境中创建包,非常简单。在要创建包的地方单击右键:New–>Python package 即可。pycharm会自动帮助我们生成带有__init__.py文件的包。
导入包操作和本质
包结构需要导入module_AA.py。方式如下:
- import a.aa.module_AA 在使用时,必须加完整名称来引用,比如:a.aa.module_AA.fun_AA()
- from a.aa import module_AA 在使用时,直接可以使用模块名。 比如:module_AA.fun_AA()
- from a.aa.module_AA import fun_AA 直接导入函数在使用时,直接可以使用函数名。 比如:fun_AA()
【注】 1. from package import item 这种语法中,item 可以是包、模块,也可以是函数、 类、变量。
2.import item1.item2 这种语法中,item必须是包或模块,不能是其他。
导入包的本质其实是“导入了包的__init__.py”文件。也就是说,”import pack1”意味着执行了包pack1 下面的__init__.py 文件。 这样,可以在__init__.py 中批量导入我们需要的模块,而不再需要一个个导入。
init.py的三个核心作用:
- 作为包的标识,不能删除。
- 用来实现模糊导入
- 导入包实质是执行__init__.py 文件,可以在__init__.py 文件中做这个包的初始化、以及需要统一执行代码、批量导入。
包的本质还是模块
用*导入包
import * 这样的语句理论上是希望文件系统找出包中所有的子模块,然后导入它们。 这可能会花长时间等。Python 解决方案是提供一个明确的包索引。
这个索引由 init.py 定义 all 变量,该变量为一列表,如上例 a 包下的 init.py 中,可定义 all = [“module_A”,“module_A2”] 这意味着, from sound.effects import * 会从对应的包中导入以上两个子模块;
【注】尽管提供 import * 的方法,仍不建议在生产代码中使用这种写法。
包内引用
如果是子包内的引用,可以按相对位置引入子模块以aa包下的module_AA中导入a 包下内容为例:
from … import module_A #…表示上级目录 .表示同级目录
from . import module_A2 #.表示同级目录
sys.path和模块搜索路径
当我们导入某个模块文件时, Python 解释器去哪里找这个文件呢?只有找到这个文件才能读取、装载运行该模块文件。它一般按照如下路径寻找模块文件(按照顺序寻找,找到即停不继续往下寻找):
- 内置模块
- 当前目录
- 程序的主目录
- pythonpath目录(如果已经设置了 pythonpath环境变量)
- 标准链接库目录
- 第三方库目录(site-packages 目录)
- .pth文件的内容(如果存在的话)
- sys.path.append()临时添加的目录
当任何一个python程序启动时,就将上面这些搜索路径(除内置模块以外的路径)进行收集,放到 sys 模块的path属性中(sys.path)
模块发布和安装
模块的本地发布
当我们完成了某个模块开发后,可以将他对外发布,其他开发者也可以以“第三方扩展 库”的方式使用我们的模块。我们按照如下步骤即可实现模块的发布:
1.为模块文件创建如下结构的文件夹(一般,文件夹的名字和模块的名字一样):
2.在文件夹中创建一个名为『setup.py』的文件
3. 构建一个发布文件。通过终端,cd到模块文件夹 c下面,再键入命令:
本地安装模块
将发布安装到你的本地计算机上。仍在 cmd命令行模式下操作,进 setup.py所在目 录,键入命令:
python setup.py install
安装成功后,我们进入 python目录/Lib/site-packages 目录(第三方模块都安装的这里,python解释器执行时也会搜索这个路径)
安装成功后,直接使用 import 导入即可。
上传模块到PyPI
将自己开发好的模块上传到 PyPI网站上,将成为公开的资源,可以让全球用户自由使用。
PyPI网站:http://pypi.python.org
库(Library)
Python中库是借用其他编程语言的概念,没有特别具体的定义。模块和包侧重于代码组织,有明确的定义。
一般情况,库强调的是功能性,而不是代码组织。我们通常将某个功能的“模块的集合”,称为库。
标准库(Standard Library)
Python拥有一个强大的标准库。Python 语言的核心只包含数字、字符串、列表、字典、 文件等常见类型和函数,而由 Python 标准库提供了系统管理、网络通信、文本处理、数据 库接口、图形系统、XML 处理等额外的功能。
Python标准库的主要功能有:
- 文本处理,包含文本格式化、正则表达式匹配、文本差异计算与合并、Unicode支 持,二进制数据处理等功能
- 文件处理,包含文件操作、创建临时文件、文件压缩与归档、操作配置文件等功能
- 操作系统功能,包含线程与进程支持、IO复用、日期与时间处理、调用系统函数、 日志(logging)等功能
- 网络通信,包含网络套接字,SSL加密通信、异步网络通信等功能
- 网络协议,支持HTTP,FTP,SMTP,POP,IMAP,NNTP,XMLRPC 等多种网 络协议,并提供了编写网络服务器的框架
- W3C格式支持,包含 HTML,SGML,XML 的处理
- 其它功能,包括国际化支持、数学运算、HASH、Tkinter 等
第三方扩展库的介绍
强大的标准库奠定了python发展的基石,丰富和不断扩展的第三方库是python 壮大的保证。我们可以进入 PyPI官网: https://pypi.org
PyPI(Python Package Index)是python官方的第三方库的仓库,PyPI 推荐使用 pip包管理器来下载第三方库。
在命令行提示符下输入:pip install 库名 安装完成后就可以开始使用。