module_time
1548558746.5218766 '2019/1/27 11:13'
计算机能看懂的 (为了进行数据转换) 人能看懂的
时间戳时间 结构化时间 格式化时间
time.time() time.localtime() time.strftime('%Y-%m-%d %H:%M:%S')
时间类型之间的互转:
格式化字符串 --> strptime =结构化时间=> mktime --> 时间戳
时间戳 --> localtime =结构化时间=> strftime --> 格式化字符串
fortmat_string(格式化字符串)
↑ strptime
↑↓
strftime↓
struct_time(结构化时间(元组))
↑ mktime
↑ ↓
localtime|gmtime ↓
timestamp(时间戳(float类型))
# ============格式化时间转为时间戳===============
format_time = '2018-8-8 18:55:20'
# 格式化时间结构化时间
struct_time = time.strptime(format_time,'%Y-%m-%d %H:%M:%S')
# 格式化时间转时间戳
timestamp = time.mktime(struct_time)
print(timestamp)
# ============时间戳转格式化时间===============
timestamp = 60
# 时间戳转结构化时间
struct_time = time.localtime(timestamp)
# 结构化时间转格式化时间
format_time = time.strftime('%Y-%m-%d %H:%M:%S',struct_time)
print(format_time)
时间戳 --> ctime --> 格式化时间
结构化时间 --> asctime --> 格式化时间
练习:
生成随机验证码
发红包
module_random
random 取随机数
随机小数:
取0-1之间的小数
random.random()
定义范围
random.uniform(n,m)
随机整数:
random.randint(1,5) 包括1和5
random.randrange(1,5) 顾头不顾尾,可步长
随机从一个列表中取值:
random.choice([1,2,3,('k','j')])
随机从一个列表中取n值:
list = [1,2,3,('k','j'),'a',{'o':5}]
random.sample(list,n)
打乱顺序:(洗牌)
l = list(i for i in range(20))
random.shuffle(l)
module_os
文件夹相关的:
os.makedirs('dirname1/dirname2') 可生成多层递归目录
os.removedirs('dirname1') 若目录为空,则删除,并递归到上一级目录,如若也为空,则删除,依此类推
os.mkdir('dirname') 生成单级目录;相当于shell中mkdir dirname
os.rmdir('dirname') 删除单级空目录,若目录不为空则无法删除,报错;相当于shell中rmdir dirname
os.listdir('dirname') 列出指定目录下的所有文件和子目录,包括隐藏文件,并以列表方式打印
os.remove() 删除一个文件
os.rename("oldname","newname") 重命名文件/目录
os.stat('path/filename') 获取文件/目录信息
stat 结构:
st_mode: inode 保护模式
st_ino: inode 节点号。
st_dev: inode 驻留的设备。
st_nlink: inode 的链接数。
st_uid: 所有者的用户ID。
st_gid: 所有者的组ID。
st_size: 普通文件以字节为单位的大小;包含等待某些特殊文件的数据。
st_atime: 上次访问的时间。
st_mtime: 最后一次修改的时间。
st_ctime: 由操作系统报告的"ctime"。在某些系统上(如Unix)是最新的元数据更改的时间,在其它系统上(如Windows)是创建时间(详细信息参见平台的文档)。
os.system("bash command") 运行shell命令,直接显示,无返回值
os.popen("bash command").read() 运行shell命令,获取执行结果,需要返回值,用这个
os.getcwd() 获取当前工作目录,即当前python脚本工作的目录路径
os.chdir("dirname") 改变当前脚本工作目录;相当于shell下cd
路径相关的:
os.path
os.path.abspath(path) 返回path规范化的绝对路径
os.path.split(path) 将path分割成目录和文件名二元组返回
os.path.dirname(path) 返回path的目录。其实就是os.path.split(path)的第一个元素
os.path.basename(path) 返回path最后的文件名。如何path以/或\结尾,那么就会返回空值。即os.path.split(path)的第二个元素
os.path.exists(path) 如果path存在,返回True;如果path不存在,返回False
os.path.isabs(path) 如果path是绝对路径,返回True
os.path.isfile(path) 如果path是一个存在的文件,返回True。否则返回False
os.path.isdir(path) 如果path是一个存在的目录,则返回True。否则返回False
os.path.join(path1[, path2[, ...]]) 将多个路径组合后返回,第一个绝对路径之前的参数将被忽略
os.path.getatime(path) 返回path所指向的文件或者目录的最后访问时间
os.path.getmtime(path) 返回path所指向的文件或者目录的最后修改时间
os.path.getsize(path) 返回path的大小
module_sys
sys模块适合python 解释器打交道的
sys.argv 命令行参数List,第一个元素是程序本身路径
sys.exit(n) 退出程序,正常退出时exit(0),错误退出sys.exit(1)
sys.version 获取Python解释程序的版本信息
sys.path 返回模块的搜索路径,初始化时使用PYTHONPATH环境变量的值
sys.platform 返回操作系统平台名称
module_序列化
json
如果你是要跨平台沟通,那么推荐使用json
key只能是字符串
不能多次load和dump
支持的数据类型有限
pickle
如果你是只在python程序之间传递消息,并且要传递的消息是比较特殊的数据类型
处理文件的时候 rb/wb
支持多次dump/load
json序列化
序列 : list str tuple byte
狭义的序列 :str / bytes
序列化?把。。。变得有序,把。。。变成str或者是bytes
反序列化?把str/bytes 还原回原来的 。。。
json
json.dumps 序列化方法
json.loads 反序列化方法
特性:json能支持的数据类型非常有限,字符串 数字 列表 字典
坑1:json格式规定所有的key必须是字符串数据类型
dic = {1:2}
ret = json.dumps(dic)
print(dic[1])
print(ret)
new_dic = json.loads(ret)
print(new_dic)
坑2 : json中的所有tuple都会被当作list处理
dic = {1:(1,2,3)}
ret = json.dumps(dic)
print(ret)
new_dic = json.loads(ret)
print(new_dic)
dumps loads 字符串 和 其他基础数据类型之间转换
dump load 文件 和 其他基础数据类型之间转换
dic = {"key":"value"}
# 直接转换字典到字符串写入文件中
with open('json_file2','w') as f:
json.dump(dic,f)
# 直接读出来就是字典
with open('json_file2') as f:
ret = json.load(f)
print(ret['key'])
pickle序列化
pickle
1.支持几乎所有python中的数据类型
2.只在python语言中通用
3.pickle适合bytes类型打交道的
# dumps 把数据类型转换为bytes
s = {(1,2,3):2,3:4}
result = pickle.dumps(s) # 将字典转换为bytes
with open('pickle_file','wb') as f:
f.write(result)
# loads把bytes转换为原来的数据类型
with open('pickle_file','rb') as f:
content = f.read()
ret = pickle.loads(content) # 转换为原来的字典
# dump 可以支持多个对象放入文件
s1 = {1,2,3}
s2 = {1:2,3:4}
with open('pickle_file2','wb') as f:
pickle.dump(s1,f)
pickle.dump(s2,f)
# 使用load 把所有行取出来 转换为原来的数据类型
with open('pickle_file2','rb') as f:
while True:
try:
content = pickle.load(f)
print(content)
except EOFError:
break
module_hashlib
import hashlib
################################### 简单使用
md5=hashlib.md5()
md5.update(b"12345678")
print(md5.hexdigest())
print(len(md5.hexdigest()))
################################### 迭代使用
sha256=hashlib.sha256()
sha256.update(b"hello")
sha256.update(b"yuan")
print(sha256.hexdigest()) # d843cc930aa76f7799bba1780f578439
##################################### 加盐操作
sha256=hashlib.sha256("salt".encode("utf8"))
sha256.update(b"hello")
sha256.update(b"yuan")
print(sha256.hexdigest()) # 32969d77ae4b0c01c24873abb7f073d69453ddadbf6e31b11564a4490a9ccac8
module_logging
默认情况下Python的logging模块将日志打印到了标准输出中,且只显示了大于等于WARNING级别的日志,这说明默认的日志级别设置为WARNING(日志级别等级CRITICAL > ERROR > WARNING > INFO > DEBUG),默认的日志格式为日志级别:Logger名称:用户输出消息。
函数式用法
import logging
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
datefmt='%a, %d %b %Y %H:%M:%S',
filename='/tmp/test.log',
filemode='w')
logging.debug('debug message')
logging.info('info message')
logging.warning('warning message')
logging.error('error message')
logging.critical('critical message')
配置参数:
logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为,可用参数有:
filename:用指定的文件名创建FiledHandler,这样日志会被存储在指定的文件中。
filemode:文件打开方式,在指定了filename时使用这个参数,默认值为“a”还可指定为“w”。
format:指定handler使用的日志显示格式。
datefmt:指定日期时间格式。
level:设置rootlogger(后边会讲解具体概念)的日志级别
stream:用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件(f=open(‘test.log’,’w’)),默认为sys.stderr。若同时列出了filename和stream两个参数,则stream参数会被忽略。
format参数中可能用到的格式化串:
%(name)s Logger的名字
%(levelno)s 数字形式的日志级别
%(levelname)s 文本形式的日志级别
%(pathname)s 调用日志输出函数的模块的完整路径名,可能没有
%(filename)s 调用日志输出函数的模块的文件名
%(module)s 调用日志输出函数的模块名
%(funcName)s 调用日志输出函数的函数名
%(lineno)d 调用日志输出函数的语句所在的代码行
%(created)f 当前时间,用UNIX标准的表示时间的浮 点数表示
%(relativeCreated)d 输出日志信息时的,自Logger创建以 来的毫秒数
%(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d 线程ID。可能没有
%(threadName)s 线程名。可能没有
%(process)d 进程ID。可能没有
%(message)s用户输出的消息
############################# logger对象用法
def get_logger():
import logging
# 1 创建logger对象
logger = logging.getLogger()
# 创建流对象:文件流fh,屏幕流ch
# 创建一个handler,用于写入日志文件
fh = logging.FileHandler('test.log')
# 再创建一个handler,用于输出到控制台
ch = logging.StreamHandler()
# # 设置级别
from logging import WARNING, DEBUG, INFO, ERROR
logger.setLevel(DEBUG)
ch.setLevel(ERROR)
# 3 创建格式对象
formatter = logging.Formatter('%(asctime)s --- %(message)s')
formatter2 = logging.Formatter('%(asctime)s --%(levelname)s- %(message)s')
# 4 流对象添加格式对象
fh.setFormatter(formatter)
ch.setFormatter(formatter2)
# 5 logger对象添加流对象
logger.addHandler(fh) # logger对象可以添加多个fh和ch对象
logger.addHandler(ch)
return logger
# 6 使用logger对象进行日志打印
logger=get_logger()
logger.debug('logger debug message')
logger.info('logger info message')
logger.warning('logger warning message')
logger.error('logger error message')
logger.critical('logger critical message')
logging库提供了多个组件:Logger、Handler、Filter、Formatter。Logger对象提供应用程序可直接使用的接口,Handler发送日志到适当的目的地,Filter提供了过滤日志信息的方法,Formatter指定日志显示格式。另外,可以通过:logger.setLevel(logging.Debug)设置级别,当然,也可以通过
fh.setLevel(logging.Debug)单对文件流设置某个级别。
module_re
module_re
search 只取一个,需要group取
ret=re.search(正则,字符串)
ret.group()
findall 取所有
ret = re.findall(正则,字符串)
compile 节省时间 一条正则表达式用多次
finditer 节省空间 结果的条数很多的时候
分组遇到findall,优先显示分组中匹配到的内容
ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
print(ret) ## ['oldboy']
取消优先:
ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')
print(ret) ## ['www.oldboy.com']
正则表达式
正则表达式
正则表达式 --> 字符串规则匹配的
1.判断某一个字符串是否符合规则
2.从一段文字中提取出符合规则的内容
# 身份证号
# ^([1-9]\d{16}[\dx]|[1-9]\d{14})$
# ^[1-9]\d{14}(\d{2}[\dx])?$
字符
描述
\d
数字
\D
非数字
\w
数字字母下划线
\W
非数字字母下划线
\s
space enter table space
\S
非空白
\t
table
\n
回车
^
一个字符串的开始
$
一个字符串的结尾
^xxxx$
约束的了整个字符串中的内容必须一一与表达式对应上
|
表示或
()
分组 # a( b|c )d
.
表示除了换行符以外的任意字符
[ ]
匹配字符组中的字符
[^ABC]
非字符组
{n}
在这个量词前面的一个元字符出现n次
{n,}
在这个量词前面的一个元字符出现n次或n次以上
{n,m}
在这个量词前面的一个元字符出现n次到m次以上
?
出现0次或者1次
+
出现1次或者多次
*
出现0次或者多次