python xyz_python 模块

module_time

1548558746.5218766 '2019/1/27 11:13'

计算机能看懂的 (为了进行数据转换) 人能看懂的

时间戳时间 结构化时间 格式化时间

time.time() time.localtime() time.strftime('%Y-%m-%d %H:%M:%S')

时间类型之间的互转：

格式化字符串 --> strptime =结构化时间=> mktime --> 时间戳

时间戳 --> localtime =结构化时间=> strftime --> 格式化字符串

fortmat_string(格式化字符串)

↑ strptime

↑↓

strftime↓

struct_time(结构化时间(元组))

↑ mktime

↑ ↓

localtime|gmtime ↓

timestamp(时间戳(float类型))

# ============格式化时间转为时间戳===============

format_time = '2018-8-8 18:55:20'

# 格式化时间结构化时间

struct_time = time.strptime(format_time,'%Y-%m-%d %H:%M:%S')

# 格式化时间转时间戳

timestamp = time.mktime(struct_time)

print(timestamp)

# ============时间戳转格式化时间===============

timestamp = 60

# 时间戳转结构化时间

struct_time = time.localtime(timestamp)

# 结构化时间转格式化时间

format_time = time.strftime('%Y-%m-%d %H:%M:%S',struct_time)

print(format_time)

时间戳 --> ctime --> 格式化时间

结构化时间 --> asctime --> 格式化时间

练习：

生成随机验证码

发红包

module_random

random 取随机数

随机小数：

取0-1之间的小数

random.random()

定义范围

random.uniform(n,m)

随机整数：

random.randint(1,5) 包括1和5

random.randrange(1,5) 顾头不顾尾,可步长

随机从一个列表中取值：

random.choice([1,2,3,('k','j')])

随机从一个列表中取n值：

list = [1,2,3,('k','j'),'a',{'o':5}]

random.sample(list,n)

打乱顺序：(洗牌)

l = list(i for i in range(20))

random.shuffle(l)

module_os

文件夹相关的：

os.makedirs('dirname1/dirname2') 可生成多层递归目录

os.removedirs('dirname1') 若目录为空,则删除,并递归到上一级目录,如若也为空,则删除,依此类推

os.mkdir('dirname') 生成单级目录；相当于shell中mkdir dirname

os.rmdir('dirname') 删除单级空目录,若目录不为空则无法删除,报错；相当于shell中rmdir dirname

os.listdir('dirname') 列出指定目录下的所有文件和子目录,包括隐藏文件,并以列表方式打印

os.remove() 删除一个文件

os.rename("oldname","newname") 重命名文件/目录

os.stat('path/filename') 获取文件/目录信息

stat 结构:

st_mode: inode 保护模式

st_ino: inode 节点号。

st_dev: inode 驻留的设备。

st_nlink: inode 的链接数。

st_uid: 所有者的用户ID。

st_gid: 所有者的组ID。

st_size: 普通文件以字节为单位的大小；包含等待某些特殊文件的数据。

st_atime: 上次访问的时间。

st_mtime: 最后一次修改的时间。

st_ctime: 由操作系统报告的"ctime"。在某些系统上(如Unix)是最新的元数据更改的时间,在其它系统上(如Windows)是创建时间(详细信息参见平台的文档)。

os.system("bash command") 运行shell命令,直接显示,无返回值

os.popen("bash command").read() 运行shell命令,获取执行结果,需要返回值,用这个

os.getcwd() 获取当前工作目录,即当前python脚本工作的目录路径

os.chdir("dirname") 改变当前脚本工作目录；相当于shell下cd

路径相关的：

os.path

os.path.abspath(path) 返回path规范化的绝对路径

os.path.split(path) 将path分割成目录和文件名二元组返回

os.path.dirname(path) 返回path的目录。其实就是os.path.split(path)的第一个元素

os.path.basename(path) 返回path最后的文件名。如何path以／或\结尾,那么就会返回空值。即os.path.split(path)的第二个元素

os.path.exists(path) 如果path存在,返回True；如果path不存在,返回False

os.path.isabs(path) 如果path是绝对路径,返回True

os.path.isfile(path) 如果path是一个存在的文件,返回True。否则返回False

os.path.isdir(path) 如果path是一个存在的目录,则返回True。否则返回False

os.path.join(path1[, path2[, ...]]) 将多个路径组合后返回,第一个绝对路径之前的参数将被忽略

os.path.getatime(path) 返回path所指向的文件或者目录的最后访问时间

os.path.getmtime(path) 返回path所指向的文件或者目录的最后修改时间

os.path.getsize(path) 返回path的大小

module_sys

sys模块适合python 解释器打交道的

sys.argv 命令行参数List，第一个元素是程序本身路径

sys.exit(n) 退出程序，正常退出时exit(0),错误退出sys.exit(1)

sys.version 获取Python解释程序的版本信息

sys.path 返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值

sys.platform 返回操作系统平台名称

module_序列化

json

如果你是要跨平台沟通，那么推荐使用json

key只能是字符串

不能多次load和dump

支持的数据类型有限

pickle

如果你是只在python程序之间传递消息，并且要传递的消息是比较特殊的数据类型

处理文件的时候 rb/wb

支持多次dump/load

json序列化

序列 ： list str tuple byte

狭义的序列 ：str / bytes

序列化？把。。。变得有序，把。。。变成str或者是bytes

反序列化？把str/bytes 还原回原来的 。。。

json

json.dumps 序列化方法

json.loads 反序列化方法

特性：json能支持的数据类型非常有限，字符串 数字 列表 字典

坑1：json格式规定所有的key必须是字符串数据类型

dic = {1:2}

ret = json.dumps(dic)

print(dic[1])

print(ret)

new_dic = json.loads(ret)

print(new_dic)

坑2 ： json中的所有tuple都会被当作list处理

dic = {1:(1,2,3)}

ret = json.dumps(dic)

print(ret)

new_dic = json.loads(ret)

print(new_dic)

dumps loads 字符串 和 其他基础数据类型之间转换

dump load 文件 和 其他基础数据类型之间转换

dic = {"key":"value"}

# 直接转换字典到字符串写入文件中

with open('json_file2','w') as f:

json.dump(dic,f)

# 直接读出来就是字典

with open('json_file2') as f:

ret = json.load(f)

print(ret['key'])

pickle序列化

pickle

1.支持几乎所有python中的数据类型

2.只在python语言中通用

3.pickle适合bytes类型打交道的

# dumps 把数据类型转换为bytes

s = {(1,2,3):2,3:4}

result = pickle.dumps(s) # 将字典转换为bytes

with open('pickle_file','wb') as f:

f.write(result)

# loads把bytes转换为原来的数据类型

with open('pickle_file','rb') as f:

content = f.read()

ret = pickle.loads(content) # 转换为原来的字典

# dump 可以支持多个对象放入文件

s1 = {1,2,3}

s2 = {1:2,3:4}

with open('pickle_file2','wb') as f:

pickle.dump(s1,f)

pickle.dump(s2,f)

# 使用load 把所有行取出来 转换为原来的数据类型

with open('pickle_file2','rb') as f:

while True:

try:

content = pickle.load(f)

print(content)

except EOFError:

break

module_hashlib

import hashlib

################################### 简单使用

md5=hashlib.md5()

md5.update(b"12345678")

print(md5.hexdigest())

print(len(md5.hexdigest()))

################################### 迭代使用

sha256=hashlib.sha256()

sha256.update(b"hello")

sha256.update(b"yuan")

print(sha256.hexdigest()) # d843cc930aa76f7799bba1780f578439

##################################### 加盐操作

sha256=hashlib.sha256("salt".encode("utf8"))

sha256.update(b"hello")

sha256.update(b"yuan")

print(sha256.hexdigest()) # 32969d77ae4b0c01c24873abb7f073d69453ddadbf6e31b11564a4490a9ccac8

module_logging

默认情况下Python的logging模块将日志打印到了标准输出中，且只显示了大于等于WARNING级别的日志，这说明默认的日志级别设置为WARNING(日志级别等级CRITICAL > ERROR > WARNING > INFO > DEBUG)，默认的日志格式为日志级别：Logger名称：用户输出消息。

函数式用法

import logging

logging.basicConfig(level=logging.DEBUG,

format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',

datefmt='%a, %d %b %Y %H:%M:%S',

filename='/tmp/test.log',

filemode='w')

logging.debug('debug message')

logging.info('info message')

logging.warning('warning message')

logging.error('error message')

logging.critical('critical message')

配置参数：

logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为，可用参数有：

filename：用指定的文件名创建FiledHandler，这样日志会被存储在指定的文件中。

filemode：文件打开方式，在指定了filename时使用这个参数，默认值为“a”还可指定为“w”。

format：指定handler使用的日志显示格式。

datefmt：指定日期时间格式。

level：设置rootlogger(后边会讲解具体概念)的日志级别

stream：用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件(f=open(‘test.log’,’w’))，默认为sys.stderr。若同时列出了filename和stream两个参数，则stream参数会被忽略。

format参数中可能用到的格式化串：

%(name)s Logger的名字

%(levelno)s 数字形式的日志级别

%(levelname)s 文本形式的日志级别

%(pathname)s 调用日志输出函数的模块的完整路径名，可能没有

%(filename)s 调用日志输出函数的模块的文件名

%(module)s 调用日志输出函数的模块名

%(funcName)s 调用日志输出函数的函数名

%(lineno)d 调用日志输出函数的语句所在的代码行

%(created)f 当前时间，用UNIX标准的表示时间的浮 点数表示

%(relativeCreated)d 输出日志信息时的，自Logger创建以 来的毫秒数

%(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒

%(thread)d 线程ID。可能没有

%(threadName)s 线程名。可能没有

%(process)d 进程ID。可能没有

%(message)s用户输出的消息

############################# logger对象用法

def get_logger():

import logging

# 1 创建logger对象

logger = logging.getLogger()

# 创建流对象：文件流fh，屏幕流ch

# 创建一个handler，用于写入日志文件

fh = logging.FileHandler('test.log')

# 再创建一个handler，用于输出到控制台

ch = logging.StreamHandler()

# # 设置级别

from logging import WARNING, DEBUG, INFO, ERROR

logger.setLevel(DEBUG)

ch.setLevel(ERROR)

# 3 创建格式对象

formatter = logging.Formatter('%(asctime)s --- %(message)s')

formatter2 = logging.Formatter('%(asctime)s --%(levelname)s- %(message)s')

# 4 流对象添加格式对象

fh.setFormatter(formatter)

ch.setFormatter(formatter2)

# 5 logger对象添加流对象

logger.addHandler(fh) # logger对象可以添加多个fh和ch对象

logger.addHandler(ch)

return logger

# 6 使用logger对象进行日志打印

logger=get_logger()

logger.debug('logger debug message')

logger.info('logger info message')

logger.warning('logger warning message')

logger.error('logger error message')

logger.critical('logger critical message')

logging库提供了多个组件：Logger、Handler、Filter、Formatter。Logger对象提供应用程序可直接使用的接口，Handler发送日志到适当的目的地，Filter提供了过滤日志信息的方法，Formatter指定日志显示格式。另外，可以通过：logger.setLevel(logging.Debug)设置级别,当然，也可以通过

fh.setLevel(logging.Debug)单对文件流设置某个级别。

module_re

module_re

search 只取一个，需要group取

ret=re.search(正则,字符串)

ret.group()

findall 取所有

ret = re.findall(正则,字符串)

compile 节省时间 一条正则表达式用多次

finditer 节省空间 结果的条数很多的时候

分组遇到findall，优先显示分组中匹配到的内容

ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')

print(ret) ## ['oldboy']

取消优先：

ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')

print(ret) ## ['www.oldboy.com']

正则表达式

正则表达式

正则表达式 --> 字符串规则匹配的

1.判断某一个字符串是否符合规则

2.从一段文字中提取出符合规则的内容

# 身份证号

# ^([1-9]\d{16}[\dx]|[1-9]\d{14})$

# ^[1-9]\d{14}(\d{2}[\dx])?$

字符

描述

\d

数字

\D

非数字

\w

数字字母下划线

\W

非数字字母下划线

\s

space enter table space

\S

非空白

\t

table

\n

回车

^

一个字符串的开始

$

一个字符串的结尾

^xxxx$

约束的了整个字符串中的内容必须一一与表达式对应上

|

表示或

()

分组 # a( b|c )d

.

表示除了换行符以外的任意字符

[ ]

匹配字符组中的字符

[^ABC]

非字符组

{n}

在这个量词前面的一个元字符出现n次

{n,}

在这个量词前面的一个元字符出现n次或n次以上

{n,m}

在这个量词前面的一个元字符出现n次到m次以上

?

出现0次或者1次

+

出现1次或者多次

*

出现0次或者多次