Day11
模块(module)
- 模块化(module)程序设计理念
1.1模块和包概念的进化史
“量变引起质变”是哲学中一个重要的理论。量变为什么会引起质变呢?本质上理解随着数量的增加,管理方式会发生本质的变化;旧的管理方式完全不适合,必须采用新的管理方式。
程序越来越复杂,语句多了,怎么管理?很自然的,我们会将实现同一个功能的语句封装到函数中,统一管理和调用,于是函数诞生了。
程序更加复杂,函数和变量多了,怎么管理?同样的思路,“物以类聚”,我们将同一类型对象的“数据和行为”,也就是“变量和函数”,放到一起统一管理和调用,于是“类和对象”诞生了。
程序继续复杂,函数和类更加多了,怎么办?好,我们将实现类似功能的函数和类统统放到一个模块中,于是“模块”诞生了。
程序还要复杂,模块多了?于是,我们将实现类似功能的模块放到一起,于是“包”就诞生了。
大家可以清晰的看到这发展的流程,核心的哲学思想就是“量变引起质变”、“物以类聚”,同样的思路,在企业管理、人的管理中思路完全一致,大家可以举一反三。
- python程序由模块构成。一个模块对应python源文件,一般后缀名是:.py
- 模块由语句组成。运行python程序时,按照模块中的语句的顺序依次执行
- 语句是python程序的构造单元,用于创建对象、变量赋值、调用函数、控制语句等等
1.2标准库模块(standard library)
与函数相似,模块也分为标准库模块和用户自定义模块
python标准库提供了操作系统功能、网络通信、文本处理、文件处理、数学运算等基本的功能。比如:random(随机数)、math(数学运算)、time(时间处理)、file(文件处理)、os(和操作系统交互)、sys(和解释器交互)等
另外,Python还提供了海量的第三方模块,使用方式和标准库类似,功能覆盖了我们能想象到的所有领域,比如:科学计算、WEB开发、大数据、人工智能、图形系统等。
1.3为什么需要模块化编程
模块(module)对应于Python源代码文件(.py文件)。模块中可以定义变量、函数类、普通语句。这样,我们可以将一个python程序分解成多个模块,便于后期的重复应用。
模块化编程(Modular Programming)将一个任务分解成多个模块、每个模块就像一个积木一样,便于后期的反复使用、反复搭建。
模块化编程有如下几个重要优势
- 便于将一个任务分解成多个模块,实现团队协同开发,完成大规模程序
- 实现代码复用。一个模块实现后,可以被反复调用
- 可维护性增强
1.4模块化编程的流程
模块化编程的一般流程:
1.设计API,进行功能描述(模块做什么的,定义哪些类,哪些函数,有什么作用)
2.编码实现API中描述的功能
3.在模块中编写测试代码,并消除全局代码
4.使用私有函数实现不被外部客户端调用的模块函数
1.5模块的API和功能描述要点
API(Application Programming Interface 应用程序编程接口)是用于描述模块中提供的函数和类的功能描述和使用方法描述。
模块化编程中,首先设计的就是模块的API(即要实现的功能描述),然后开始编码实现API中描述的功能。最后,在其他模块中导入本模块进行调用。
我们可以通过help(模块名)查看模块的API。一般使用时先导入模块,然后通过help函数查看。
【示例】导入math模块,并通过help()查看math模块的API
import math
help(math)
也可以在python的api文档中查询,首先进入python的安装目录下的docs子目录:
双击打开chm文档,即可通过索引输入“math”查询到对应的API内容
【示例】设计计算薪水模块的API
***
本模块用于计算公司员工的薪资
***
company = '尚学堂'
def yearSalary(monthSalary):
#根据传入的月薪,计算出年薪
pass
def daySalary(monthSalary):
#根据传入的月薪,计算出每天的薪资,一个月按22.5天为平均
pass
如上模块只有功能描述和规范,需要编码人员按照要求实现编码
我们可以通过__doc_可以获得模块的文档字符串的内容
test.py的源代码
import Salary
print(Salary.__doc__)
print(Salary.yearSalary.__doc__)
结果:
用于计算公司员工的薪资
根据传入的月薪,计算出年薪:monthSalary*12
1.6模块的创建和测试代码
每个模块都有一个名称,通过特殊变量__name__可以获取模块的名称。在正常情况下,模块名字对应源文件名。仅有一个例外,就是当一个模块被作为程序入口时(主程序、交互式提示符下),它的__name__的值为”__main__”。我们可以根据这个特点,将模块源代码文件中测试代码进行独立的处理。例如:
import math
math.__name__ #输出’math’
【示例】通过__name==”__main__”独立处理模块的测试代码
''
用于计算公司员工的薪资
'''
company = '尚学堂'
def yearSalary(monthSalary):
'''根据传入的月薪,计算出年薪:monthSalary*12'''
return monthSalary*12
def daySalary(monthSalary):
'''根据传入的月薪,计算出每天的薪资'''
return monthSalary/22.5
if __name__ == "__main__": #测试代码
print(yearSalary(3000))
print(daySalary(3000))
结果:
36000
133.33333333333334
模块的导入
模块化设计的好处之一就是“代码复用性高”。写好的模块可以被反复调用,重复使用。模块的导入就是“在本模块中使用其他模块”
import语句导入
import语句的基本语法格式如下:
import 模块名 #导入一个模块
import 模块1,模块2... #导入多个模块
import 模块名 as 模块别名 #导入模块并使用新名字
import加载的模块分为四个通用类别
- 使用python编写的代码(.py)
- 已被编译为共享库或DLL的C或C++扩展;
- 包好一组模块的包
- 使用C编写并链接到python解释器的内置模块
我们一般通关import语句实现模块的导入和使用,import本质上是使用了内置函数__import__()。
当我们通过import导入一个模块时,python解释器进行执行,最终会生成一个对象,这个对象就代表了被加载的模块。
import math
print(id(math))
print(type(math))
print(math.ip) #通过math.成员名来访问模块中的成员
执行结果是:
2743686094344
<class 'module'>
3.141592653589793
由上,我们可以看到math模块被加载后,实际会生成一个module类的对象,该对象被math变量引用。我们可以通过math变量引用模块中所有的内容
我们通过import导入多个模块,本质上也是生成多个module类的对象而已
有时候,我们也需要给模块起个别名,本质上,这个别名仅仅是新创建一个变量引用加载的模块对象而已。
【示例】
import math as m
#import math
#m = math
print(m.sqrt(4)) #开方运算
结果:
2.0
from...import导入
Python中可以使用from...import导入模块中的成员。基本语法格式入下:
from 模块名 import 成员1,成员2,...
如果希望导入一个模块中的所有成员,则可采用如下方式:
from 模块名 import *
【注】尽量避免“from 模块名 import *”这种写法。*它表示导入模块中所有的不是以下划线(_)开头的名字都导入到当前位置。但你不知道你导入什么名字,很有可能会覆盖掉你之前已经定义的名字。而且可读性极其的差。一般生产环境中尽量避免使用,学习时没关系。
import语句和from...import语句的区别
import导入的是模块。from...import导入的是模块中的一个函数/一个类
如果进行类比的话,import导入的是“文件”,我们要使用该“文件”下的内容,必须前面加“文件名称”。from...import导入的是文件下的“内容”我们直接使用这些“内容”即可,前面也不需要加“文件名称”了。
【示例】
'''一个实现四则运算的计算器''' |
我们在另一个模块test.py测试:
import calculator 结果: |
from calculator import * 结果: 300 123 |
__import__()动态导入
import语句本质上就是调用内置函数__import__()。我们可以通过它实现动态导入。给__import__()动态传递不同的参数值,就能导入不同的模块
【示例】使用__import__()动态导入指定的模块
s = 'math'
m = __import__(s)
print(m.pi)
结果:
3.141592653589793
注意:一般不建议我们自行使用__import__()导入,其行为在python2和python3中有差异,会导致意外错误。如果需要动态导入可以使用importlib模块
import importlib
a = importlib.import_module('math')
print(a.pi)
结果:
3.141592653589793
模块的加载问题
当导入一个模块时,模块中的代码都会被执行。不过,如果再次导入这个模块,则不会再次执行。
Python的设计者为什么这么设计?因为,导入模块更多时候需要的是定义模块中的变量、函数、对象等。这些并不需要反复定义和执行。“只导入一次import-only-once”就成了一种优化。
一个模块无论导入多少次,这个模块在整个解释器进程内有且仅有一个实例对象。
test02的源代码:
print('test模块被加载了') |
test03的源代码
import test02 #会执行test02模块中的代码 |
【示例】
import test02
|
结果:
test02模块被加载
####
test02模块被加载
包package的使用
3.1包(package)
当一个项目中有很多个模块时,需要再进行组织。我们将功能类似的模块放到一起,形成了“包”,(组织管理模块)。本质上,“包就是一个必须有__init__.py(初始化)的文件夹。典型结构如下:(区别于文件夹的本质区别就是有__init__.py)
包下面可以包含“模块(module)”,也可以再包含“子包(subpackage)”。就行文件夹下面都可以有文件,也可以有子文件夹一样。
上图中,a是上层的包,下面有一个子包。可以看到每个包里面都有__init__.py文件
3.2 pycharm中创建包
在pycharm开发环境中创建包,非常简单。在要创建包的地方单击右键:New-->Python package即可.pycharm会自动帮助我们生成带有__init__.py文件的包
3.3 导入包操作和本质
上一节中的包结构,我们需要导入module_AA.py,方式如下:
- import a.aa.module_AA
在使用时,必须加完整名称来引用,比如:a.aa.module_AA.fun_AA()
- from a.aa.import module_AA
在使用时,直接可以使用模块名。 比如:module_AA.fun_AA()
- from a.aa.module_AA import fun_AA 直接导入函数
在使用时,直接可以使用函数名。 比如:fun_AA()
【示例】
#import a.aa.module_AA |
【注】
- from package import item 这种语法中,item可以是包、模块,也可以是函
数、类、变量。
- import item1.item2 这种语法中,item必须是包或模块,不能是其他。
导入包的本质其实是导入了包的“__init__.py”(本质是执行__init__.py文件)文件。也就是说,“import pack1”意味着执行了包pack1下面的__init__.py文件。这样,可以在__init__.py中批量导入我们需要的模块,而不再需要一个个导入。
__init__.py的三个核心作用:
- 作为包的标识,不能删除
- 用来实现模糊导入
- 导入包实质是执行__init__.py文件,可以在__init__.py文件中做这个包的初始化、以及需要统一执行代码。
【示例】
结果:(自己import的math和导入a包里的math是同一个对象)
导入a包
3.141592653589793
1636935950072
1636935950072
3.4 用*导入包(模糊导入)
import * 这样的语句理论上是希望文件系统找出包中所有的子模块,然后导入它们。
这可能会长时间等。Python解决方案是提供一个明确的包索引。
这个索引由 __init__.py 定义 __all__变量,该变量为一列表,如上例a包下的__init__.py中,可定义 __all__ = [“module_A”,”module_A2”]
这意味着,from sound.effects import * 会从对应的包中导入以上两个子模块(即导入定义的__all__里包含的模块);
【注】尽管提供import * 的方法,仍然不建议在生产代码中使用这种写法。
【示例】
结果:
导入a包
导入了module_A
3.5 包内引用
如果是子包内的引用,可以按相对于位置引入子模块 以aa包下的module_AA中导入a包以下内容为例:
#moudle_B2使用a包下aa包中的的module_AA |
3.6 sys.path和模块搜索路径
当我们导入某个模块文件时,Python解释器去哪里找这个文件呢?只有找到这个文件才能读取、装载运行该模块文件。它一般按照如下路径寻找模块文件(按照顺序寻找,找不到即停不继续往下寻找):
- 内置模块
- 当前目录
- 程序的主目录
- pythonpath目录(如果已经设置了)
- 标准链接库目录
- 第三方库目录(site-package)
- .ph文件的内容(如果存在的话)
- sys.path.append()临时添加的目录
当任何一个python程序启动时,就将上面这些搜索路径(除内置模块以外)进行收集,放到sysy模块的path属性中(sys.path)
【示例】
模块发布和安装
模块的本地发布
当我们完成了某个模块开发后,可以将他对外发布,其他开发者也可以以“第三方扩展库”的方式使用我们的模块。我们按照如下步骤可实现模块的发布:
1.为模块文件创建如下结构的文件夹(一般,文件夹的名字和模块的名字一样)
2.在文件夹中创建一个名为[setup.py]的文件,内容如下:
from distutils.core import setup
setup(
name='baizhanSuperMath', #对外我们模块的名字
version='1.0', #版本号
description='这是第一个对外发布的模块,用于测试哦', #描述
author='gaoqi', #作者
author_email='gaoqi110@163.com',
py_modules=['baizhanSuperMath.demo1','baizhanSuperMath.demo2'] #要发布的模块
)
3.创建一个发布文件,通过终端,cd到模块文件夹c下面,再键入命令:
python setup.py sdist
结果:
本地安装模块
将发布安装到你的本地计算机上。仍在cmd命令行模式下操作,进setup.py所在的目录,键入命令:
python setup.py install
安装成功后,我们进入python目录/Libs/site-package目录(第三方模块都安装的这里,python解释器执行时也会搜索这个路径)
安装成功后,可以直接import导入
import baizhanMath.demo1
【示例】
import baizhanSuperMath.demo1
baizhanSuperMath.demo01.add()
结果:
add
上传模块到PyPI
将自己开发好的模块上传到PyPI网站上,将成为公开的资源,可以让全球用户自由使用。按照如下步骤,很容易就实现上传模块操作。
·注册PyPI网站
注册PyPI网站:PyPI · The Python Package Index
【注意】会发送一封邮件到你的邮箱,请点击验证后继续下面的步骤
·创建用户信息文件.pypirc
·方式1:使用命令(适合Linux)
输入并执行后python setup.py register ,然后输入用户名和密码,即可。
·方式2:使用文件(适用windows,Linux)
在用户的家目录里创建一个文件名为.pypirc,内容为:
[distutils] index-servers = pypi
[pypi] repository = upload.pypi.org · PyPI username = 账户名 password = 你自己的密码 |
【注】
Linux的家目录: ~/.pypirc
Windows的家目录是: c:/user/用户名
在windows下直接创建不包含文件名的文件会失败,因此创建时文件名为”.pypirc.”
前后都有两个点即可
·上传并远程发布
进入setup.py文件所在目录,使用命令”python setup.py sdist upload”,既可以将模块代码上传并发布
·管理你的模块
我们登录pypi官网,可以看到:
如果你的模块已经上传成功,那么当你登录PyPI网站后应该能在右侧导航栏看到管理入口
点击包名进去后你可以对你的模块进行管理,当然你也可以从这里删除这个模块
让别人使用模块
模块发布完成后,其他人只需要使用pip就可以安装你的模块文件,比如:
pip install package-name
如果你更新了模块,别人可以通过-update来更新参数