Python学习笔记 day5 常用模块

1.模块介绍

模块，用一砣代码实现了某个功能的代码集合。

类似于函数式编程和面向过程编程，函数式编程则完成一个功能，其他代码用来调用即可，提供了代码的重用性和代码间的耦合。而对于一个复杂的功能来，可能需要多个函数才能完成（函数又可以在不同的.py文件中），n个 .py 文件组成的代码集合就称为模块。

如：os 是系统相关的模块；file是文件操作相关的模块

模块分为三种：

自定义模块
内置标准模块（又称标准库）
开源模块

自定义模块 和开源模块的使用参考
http://www.cnblogs.com/wupeiqi/articles/4963027.html

 

2.time &datetime模块

import time
# print(time.localtime()) #返回本地时间 的struct time对象格式。  time.struct_time(tm_year=2020, tm_mon=4, tm_mday=20, tm_hour=11, tm_min=4, tm_sec=10, tm_wday=0, tm_yday=111, tm_isdst=0)
# print(time.gmtime(time.time()-800000)) #返回utc时间的struc时间对象格式

print(time.asctime()) #返回时间格式"Mon Apr 20 11:03:42 2020",
print(time.asctime(time.localtime())) #返回时间格式"Mon Apr 20 11:05:20 2020",
print(time.ctime()) #返回时间格式"Mon Apr 20 11:05:44 2020"

# 日期字符串 转成  时间戳
string_2_struct = time.strptime("2020/04/20","%Y/%m/%d") #将 日期字符串 转成 struct时间对象格式
print(string_2_struct)
结果为：time.struct_time(tm_year=2020, tm_mon=4, tm_mday=20, tm_hour=0, tm_min=0, tm_sec=0, tm_wday=0, tm_yday=111, tm_isdst=-1)

struct_2_stamp = time.mktime(string_2_struct) #将struct时间对象转成时间戳
print(struct_2_stamp)  
结果为：1587312000.0


#将时间戳转为字符串格式
# print(time.gmtime(time.time()-86640)) #将utc时间戳转换成struct_time格式
# print(time.strftime("%Y-%m-%d %H:%M:%S",time.gmtime()) ) #将utc struct_time格式转成指定的字符串格式



#时间加减
import datetime

print(datetime.datetime.now()) #返回 2020-04-20 11:10:22.856991
print(datetime.date.fromtimestamp(time.time()))  # 时间戳直接转成日期格式 2020-04-20
# print(datetime.datetime.now())
# print(datetime.datetime.now() + datetime.timedelta(3)) #当前时间+3天
# print(datetime.datetime.now() + datetime.timedelta(-3)) #当前时间-3天
# print(datetime.datetime.now() + datetime.timedelta(hours=3)) #当前时间+3小时
# print(datetime.datetime.now() + datetime.timedelta(minutes=30)) #当前时间+30分


#
# c_time  = datetime.datetime.now()
# print(c_time.replace(minute=3,hour=2)) #时间替换

 

3.random

随机数

import random
print(random.random())
print(random.randint(1,10))  # 随机整数 1到10
print(random.randrange(1,10)) # 随机选取1到9
print(random.randrange(2,101,2)) # 随机选取2到100的偶数，第三个参数2表示步长
print(random.sample('hello',2))  # 随机取hello中的两位

#随机选取字符串：
random.choice(sequence) # 列表，元组，字符串都属于sequence
print(random.choice ( [‘apple‘, ‘pear‘, ‘peach‘, ‘orange‘, ‘lemon‘] )) #apple
print(random.choice(("aa","bb"))) #bb

#洗牌#
items = [1,2,3,4,5,6,7]
print(items) #[1, 2, 3, 4, 5, 6, 7]
random.shuffle(items)
print(items) #[1, 4, 7, 2, 5, 3, 6]

生成随机验证码

import random
checkcode = ''
for i in range(4):
    current = random.randrange(0,4)  # 0 1 2 3
    if current != i:  
        temp = chr(random.randint(65,90))  # 返回值是当前整数对应的 ASCII 字符。
    else:
        temp = random.randint(0,9)
    checkcode += str(temp)
print checkcode

 

4.os

提供对操作系统进行调用的接口

os.getcwd() 获取当前工作目录，即当前python脚本工作的目录路径
os.chdir("dirname")  改变当前脚本工作目录；相当于shell下cd
os.curdir  返回当前目录: ('.')
os.pardir  获取当前目录的父目录字符串名：('..')
os.makedirs('dirname1/dirname2')    可生成多层递归目录
os.removedirs('dirname1')    若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推
os.mkdir('dirname')    生成单级目录；相当于shell中mkdir dirname
os.rmdir('dirname')    删除单级空目录，若目录不为空则无法删除，报错；相当于shell中rmdir dirname
os.listdir('dirname')    列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印
os.remove()  删除一个文件
os.rename("oldname","newname")  重命名文件/目录
os.stat('path/filename')  获取文件/目录信息
os.sep    输出操作系统特定的路径分隔符，win下为"\\",Linux下为"/"
os.linesep    输出当前平台使用的行终止符，win下为"\t\n",Linux下为"\n"
os.pathsep    输出用于分割文件路径的字符串
os.name    输出字符串指示当前使用平台。win->'nt'; Linux->'posix'
os.system("bash command")  运行shell命令，直接显示
os.environ  获取系统环境变量
os.path.abspath(path)  返回path规范化的绝对路径
os.path.split(path)  将path分割成目录和文件名二元组返回
os.path.dirname(path)  返回path的目录。其实就是os.path.split(path)的第一个元素
os.path.basename(path)  返回path最后的文件名。如何path以／或\结尾，那么就会返回空值。即os.path.split(path)的第二个元素
os.path.exists(path)  如果path存在，返回True；如果path不存在，返回False
os.path.isabs(path)  如果path是绝对路径，返回True
os.path.isfile(path)  如果path是一个存在的文件，返回True。否则返回False
os.path.isdir(path)  如果path是一个存在的目录，则返回True。否则返回False
os.path.join(path1[, path2[, ...]])  将多个路径组合后返回，第一个绝对路径之前的参数将被忽略
os.path.getatime(path)  返回path所指向的文件或者目录的最后存取时间
os.path.getmtime(path)  返回path所指向的文件或者目录的最后修改时间

 

5.sys

sys.argv           命令行参数List，第一个元素是程序本身路径
sys.exit(n)        退出程序，正常退出时exit(0)
sys.version        获取Python解释程序的版本信息
sys.maxint         最大的Int值
sys.path           返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值
sys.platform       返回操作系统平台名称
sys.stdout.write('please:')
val = sys.stdin.readline()[:-1]

 

6.shutil

高级的 文件、文件夹、压缩包 处理模块
shutil.copyfileobj(fsrc, fdst[, length])
将文件内容拷贝到另一个文件中，可以部分内容

shutil.copyfile(src, dst)
拷贝文件

shutil.copymode(src, dst)
仅拷贝权限。内容、组、用户均不变

shutil.copystat(src, dst)
拷贝状态的信息，包括：mode bits, atime, mtime, flags

shutil.copy(src, dst)
拷贝文件和权限

shutil.copy2(src, dst)
拷贝文件和状态信息

shutil.ignore_patterns(*patterns)
shutil.copytree(src, dst, symlinks=False, ignore=None)
递归的去拷贝文件

例如：copytree(source, destination, ignore=ignore_patterns(’.pyc’, 'tmp’))

shutil.rmtree(path[, ignore_errors[, onerror]])
递归的去删除文件

shutil.move(src, dst)
递归的去移动文件

shutil.make_archive(base_name, format,…)

创建压缩包并返回文件路径，例如：zip、tar

 

7.json & picle

用于序列化的两个模块

json，用于字符串 和 python数据类型间进行转换
pickle，用于python特有的类型 和 python的数据类型间进行转换

Json模块提供了四个功能：dumps、dump、loads、load
pickle模块提供了四个功能：dumps、dump、loads、load

8.shelve

shelve模块是一个简单的k,v将内存数据通过文件持久化的模块，可以持久化任何pickle可支持的python数据格式

import shelve
d = shelve.open('shelve_test')  # 打开一个文件

class Test(object):
    def __init__(self, n):
        self.n = n

t2 = Test(123334)
name = ["alex", "rain", "test"]
info = {'age':23,"job":'it'}
d["test"] = name  # 持久化列表
d["info"] = info
d["t2"] = t2  # 持久化类
d.close()


d = shelve.open('shelve_test')  # 打开一个文件
print(d.get("test"))
print(d.get("info"))
print(d.get("t2"))
结果为：
['alex', 'rain', 'test']
{'age': 23, 'job': 'it'}
<__main__.Test object at 0x0000022A5CB326C8>

9.xml处理

xml是实现不同语言或程序之间进行数据交换的协议，跟json差不多，但json使用起来更简单，不过，古时候，在json还没诞生的黑暗年代，大家只能选择用xml呀，至今很多传统公司如金融行业的很多系统的接口还主要是xml。

xml协议在各个语言里的都 是支持的，在python中可以用以下模块操作xml

import xml.etree.ElementTree as ET
 
tree = ET.parse("xmltest.xml")
root = tree.getroot()
print(root.tag) # 标签名
 
#遍历xml文档
for child in root:
    print(child.tag, child.attrib)  # 标签名和属性
    for i in child:
        print(i.tag,i.text,i.attrrib)
 
#只遍历year 节点
for node in root.iter('year'):
    print(node.tag,node.text)

 

10.hashlib

用于加密相关的操作，3.x里代替了md5模块和sha模块，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法

import hashlib

m = hashlib.md5()
m.update(b"Hello")
m.update(b"It's me")
print(m.digest())
m.update(b"It's been a long time since last time we ...")
print(m.digest()) #2进制格式hash
print(len(m.hexdigest())) #16进制格式hash，常用的是16进制

结果为：
b']\xde\xb4{/\x92Z\xd0\xbf$\x9cR\xe3Br\x8a'
b'\xa0\xe9\x89E\x03\xcb\x9f\x1a\x14\xaa\x07?<\xae\xfa\xa5'
32

看这~~~~~~~~~~~~~~~~~~~~~~
MD5加密：
hash = hashlib.md5()
hash.update(b'admin')
等同于：hash.update('admin'.encode(encoding="utf-8"))
print(hash.hexdigest())
结果为：21232f297a57a5a743894a0e4a801fc3

中文加密要encoding
m2 = hashlib.md5()
m2.update("我系果子哥".encode(encoding="utf-8"))
print(m2.hexdigest())
结果为：22f7021decb46d9133e5636483de96f9

SHA1加密：
hash = hashlib.sha1()
hash.update(b'admin')
print(hash.hexdigest())
结果为：d033e22ae348aeb5660fc2140aec35850c4da997

SHA256, SHA384, SHA512 等诸如此类，改一下调用的方法就行。

python 还有一个 hmac 模块，它内部对我们创建 key 和 内容 再进行处理然后再加密

散列消息鉴别码，简称HMAC，是一种基于消息鉴别码MAC（Message Authentication Code）的鉴别机制。使用HMAC时,消息通讯的双方，通过验证消息中加入的鉴别密钥K来鉴别消息的真伪；

一般用于网络通信中消息加密，前提是双方先要约定好key,就像接头暗号一样，然后消息发送把用key把消息加密，接收方用key ＋ 消息明文再加密，拿加密后的值 跟 发送者的相对比是否相等，这样就能验证消息的真实性，及发送者的合法性了。

import hmac
h = hmac.new(b'1234', b'6789')
print(h.hexdigest())
结果为：3cfb43a869e4efacb677ca50ac3d79b8

中文消息加密要在key前面加b，消息要encoding
import hmac
h = hmac.new(b"12345","我系果子哥".encode(encoding="utf-8"))
print(h.hexdigest())
结果为：f2e0f57b5c41edca5b94f1dafda2a965

 

11.logging模块

很多程序都有记录日志的需求，并且日志中包含的信息即有正常的程序访问日志，还可能有错误、警告等信息输出，python的logging模块提供了标准的日志接口，你可以通过它存储各种格式的日志。

logging的日志可以分为 debug(), info(), warning(), error() and critical() 5个级别，下面我们看一下怎么用。
最简单用法

import logging

logging.warning("user [alex] attempted wrong password more than 3 times")
logging.critical("server is down")
 
#输出
WARNING:root:user [alex] attempted wrong password more than 3 times
CRITICAL:root:server is down

如果想把日志写到文件里，也很简单

import logging
 
logging.basicConfig(filename='example.log',level=logging.INFO)
logging.debug('This message should go to the log file')
logging.info('So should this')
logging.warning('And this, too')

文件 example.log
INFO:root:So should this
WARNING:root:And this, too

句中的level=loggin.INFO意思是，把日志纪录级别设置为INFO，也就是说，只有比日志是INFO或比INFO级别更高的日志才会被纪录到文件里，在这个例子， 第一条日志是不会被纪录的，如果希望纪录debug的日志，那把日志级别改成DEBUG就行了。

logging.basicConfig(filename='example.log',level=logging.INFO)

日志格式+时间

import logging
logging.basicConfig(format='%(asctime)s %(message)s', datefmt='%m/%d/%Y %I:%M:%S %p')
logging.warning('is when this event was logged.')
输出：04/20/2020 01:02:07 PM is when this event was logged.

日志时间保存到example.log
import logging
logging.basicConfig(filename='example.log',format='%(asctime)s %(message)s', datefmt='%m/%d/%Y %I:%M:%S %p')
logging.warning('is when this event was logged.')

日志格式
Python 使用logging模块记录日志涉及四个主要类，使用官方文档中的概括最为合适：

logger提供了应用程序可以直接使用的接口；
handler将(logger创建的)日志记录发送到合适的目的输出；
filter提供了细度设备来决定输出哪条日志记录；
formatter决定日志记录的最终输出格式。

 

12.re正则表达式

常用正则表达式符号

'.'     默认匹配除\n之外的任意一个字符，若指定flag DOTALL,则匹配任意字符，包括换行
'^'     匹配字符开头，若指定flags MULTILINE,这种也可以匹配上(r"^a","\nabc\neee",flags=re.MULTILINE)
'$'     匹配字符（整个字符串）结尾，或e.search("foo$","bfoo\nsdfsf",flags=re.MULTILINE).group()也可以

'*'     匹配*号前的字符0次或多次，re.findall("ab*","cabb3abcbbac")  结果为['abb', 'ab', 'a']
'+'     匹配前一个字符1次或多次，re.findall("ab+","ab+cd+abb+bba") 结果['ab', 'abb']
'?'     匹配前一个字符1次或0次
'{m}'   匹配前一个字符m次
'{n,m}' 匹配前一个字符n到m次，re.findall("ab{1,3}","abb abc abbcbbb") 结果'abb', 'ab', 'abb']

'|'     匹配|左或|右的字符，re.search("abc|ABC","ABCBabcCD").group() 结果'ABC'
						 re.findall("abc|ABC","ABCBabcCD")  结果 ['ABC','abc']
						 
'(...)' 分组匹配，re.search("(abc){2}a(123|456)c", "abcabca456c").group() 结果 abcabca456c
[a-z]+   匹配a到z字符1次或多次
[a-zA-Z]+  匹配a到z或A到Z	字符1次或多次
 
'\A'    只从字符开头匹配，re.search("\Aabc","alexabc") 是匹配不到的
'\Z'    匹配字符结尾，同$
'\d'    匹配数字0-9
'\D'    匹配非数字
'\w'    匹配[A-Za-z0-9]
'\W'    匹配非[A-Za-z0-9]
's'     匹配空白字符、\t、\n、\r , re.search("\s+","ab\tc1\n3").group() 结果 '\t'
 
'(?P<name>...)' 
分组匹配 re.search("(?P<province>[0-9]{4})(?P<city>[0-9]{2})(?P<birthday>[0-9]{4})","371481199306143242").groupdict("city") 
结果{'province': '3714', 'city': '81', 'birthday': '1993'}

最常用的匹配语法

re.match 从头开始匹配
re.search 匹配包含
re.findall 把所有匹配到的字符放到以列表中的元素返回
re.splitall 以匹配到的字符当做列表分隔符
re.sub      匹配字符并替换 

re.split("[0-9]","abc12de3f45GH")
结果为：['abc','','de','f','','GH']
re.split("[0-9]+","abc12de3f45GH")
结果为：['abc','de','f','GH']

把所有数字替换成 |
re.sunb("[0-9]+","|","abc12de3f45GH")
结果为：'abc|de|f|GH'
re.sunb("[0-9]+","|","abc12de3f45GH",count=2)  匹配两次替换
结果为：'abc|de|f45GH'

反斜杠的困扰
与大多数编程语言相同，正则表达式里使用"“作为转义字符，这就可能造成反斜杠困扰。假如你需要匹配文本中的字符""，那么使用编程语言表示的正则表达式里将需要4个反斜杠"\\"：前两个和后两个分别用于在编程语言里转义成反斜杠，转换成两个反斜杠后再在正则表达式里转义成一个反斜杠。Python里的原生字符串很好地解决了这个问题，这个例子中的正则表达式可以使用r”\“表示。同样，匹配一个数字的”\d"可以写成r"\d"。有了原生字符串，你再也不用担心是不是漏写了反斜杠，写出来的表达式也更直观。

import re
a=re.search(r".+","我是K\KS")
print(a)
结果为：<re.Match object; span=(0, 6), match='我是K\\KS'>

仅需轻轻了解的几个匹配模式

re.I(re.IGNORECASE): 忽略大小写（括号内是完整写法，下同）
re.M(MULTILINE): 多行模式，改变'^'和'$'的行为（参见上图）
re.S(DOTALL): 点任意匹配模式，改变'.'的行为

re.search("[a-z]+","abcdA",flags=re.I)
结果为：<re.Match object; span=(0, 5), match='abcdA'>

作业
开发一个简单的python计算器
1.实现加减乘除及拓号优先级解析
2.用户输入 1 - 2 * ( (60-30 +(-40/5) * (9-25/3 + 7 /399/42998 +10 * 568/14 )) - (-43)/ (16-32) )等类似公式后，必须自己解析里面的(),+,-,,/符号和公式(不能调用eval等类似功能偷懒实现)，运算后得出结果，结果必须与真实的计算器所得出的结果一致

思路：匹配最里层括号的数值，算一次删除一个括号。 最后判断有无括号。如果没括号，直接算。 加减和乘除函数