python -- 模块

#! /usr/bin/env python3
# -*- coding:utf-8 -*-
# filename ： modules.py
# author : zoujiameng@aliyun.com.cn

# time

import time
time.time()
time.strftime("")
	r'''
	%y 两位数的年份表示（00-99）

	%Y 四位数的年份表示（000-9999）

	%m 月份（01-12）

	%d 月内中的一天（0-31）

	%H 24小时制小时数（0-23）

	%I 12小时制小时数（01-12）

	%M 分钟数（00=59）

	%S 秒（00-59）

	%a 本地简化星期名称

	%A 本地完整星期名称

	%b 本地简化的月份名称

	%B 本地完整的月份名称

	%c 本地相应的日期表示和时间表示

	%j 年内的一天（001-366）

	%p 本地A.M.或P.M.的等价符

	%U 一年中的星期数（00-53）星期天为星期的开始

	%w 星期（0-6），星期天为星期的开始

	%W 一年中的星期数（00-53）星期一为星期的开始

	%x 本地相应的日期表示

	%X 本地相应的时间表示

	%Z 当前时区的名称

	%% %号本身
	'''
time.localtime()
time.gmtime()

格式化字符串、struct_time、TimeStamp三者之间的关系
	struct_time (年，月，日，时，分，秒，一年中第几周，一年中第几天，夏令时)，分为本地时区的struct_time和UTC时区的struct_time
	timestamp
	"%Y %m %d %X"
time.mktime()
time.strptime(str, fmt='%a %b %d %H:%M:%S %Y')
time.sleep(secs)
time.asctime([tupletime])
time.ctime([secs])

# random
import random
random.choice(list) # 从一个序列中随机的抽取一个元素
random.sample(list, N) # 为了提取出N个不同元素的样本用来做进一步的操作
random.shuffle(list) # 打乱序列中元素的顺序
random.randint(m,n) # 生成随机整数 m<= x <=n
random.randrange(m,n) # 大于等于m且小于n之间的整数, m<= x < n
random.uniform(m,n) # m < x < n
random.random() # 生成0到1范围内均匀分布的浮点数
## a sample 生成随机码
	def code_vN(N): # 生成N位随机码
		code = ''
		for i in range(N):
			num=random.randint(0,9)
			alf=chr(random.randint(65,90))
			add=random.choice([num,alf])
			code+=str(add)
		return code

# os
## 常用c函数的实现
import os
	r'''
	os.access(path, mode)           # 检验权限模式   
	os.chdir(path)                  # 改变当前工作目录
	os.chflags(path, flags)         # 设置路径的标记为数字标记。
	os.chmod(path, mode)            # 更改权限
	os.chown(path, uid, gid)        # 更改文件所有者
	os.chroot(path)                 # 改变当前进程的根目录
	os.close(fd)                    # 关闭文件描述符 fd
	os.closerange(fd_low, fd_high)  # 关闭所有文件描述符，从 fd_low (包含) 到 fd_high (不包含), 错误会忽略
	os.curdir                       # 返回当前目录：（'.'）
	os.dup(fd)                      # 复制文件描述符 fd
	os.dup2(fd, fd2)                # 将一个文件描述符 fd 复制到另一个 fd2
	os.environ                      # 获取系统环境变量
	os.fchdir(fd)                   # 通过文件描述符改变当前工作目录
	os.fchmod(fd, mode)             # 改变一个文件的访问权限，该文件由参数fd指定，参数mode是Unix下的文件访问权限。
	os.fchown(fd, uid, gid)         # 修改一个文件的所有权，这个函数修改一个文件的用户ID和用户组ID，该文件由文件描述符fd指定。
	os.fdatasync(fd)                # 强制将文件写入磁盘，该文件由文件描述符fd指定，但是不强制更新文件的状态信息。
	os.fdopen(fd[, mode[, bufsize]])  # 通过文件描述符 fd 创建一个文件对象，并返回这个文件对象
	os.fpathconf(fd, name)          # 返回一个打开的文件的系统配置信息。name为检索的系统配置的值，它也许是一个定义系统值的字符串，这些名字在很多标准中指定（POSIX.1, Unix 95, Unix 98, 和其它）。
	os.fstat(fd)                    # 返回文件描述符fd的状态，像stat()。
	os.fstatvfs(fd)                 # 返回包含文件描述符fd的文件的文件系统的信息，像 statvfs()
	os.fsync(fd)                    # 强制将文件描述符为fd的文件写入硬盘。
	os.ftruncate(fd, length)        # 裁剪文件描述符fd对应的文件, 所以它最大不能超过文件大小。
	os.getcwd()                     # 返回当前工作目录
	os.getcwdu()                    # 返回一个当前工作目录的Unicode对象
	os.isatty(fd)                   # 如果文件描述符fd是打开的，同时与tty(-like)设备相连，则返回true, 否则False。
	os.lchflags(path, flags)        # 设置路径的标记为数字标记，类似 chflags()，但是没有软链接
	os.lchmod(path, mode)           # 修改连接文件权限
	os.lchown(path, uid, gid)       # 更改文件所有者，类似 chown，但是不追踪链接。
	os.link(src, dst)               # 创建硬链接，名为参数 dst，指向参数 src
	os.listdir(path)                # 返回path指定的文件夹包含的文件或文件夹的名字的列表。
	os.lseek(fd, pos, how)          # 设置文件描述符 fd当前位置为pos, how方式修改: SEEK_SET 或者 0 设置从文件开始的计算的pos; SEEK_CUR或者 1 则从当前位置计算; os.SEEK_END或者2则从文件尾部开始. 在unix，Windows中有效
	os.lstat(path)                  # 像stat(),但是没有软链接
	os.linesep                      # 当前平台使用的行终止符，win下为"\t\n",Linux下为"\n"
	os.major(device)                # 从原始的设备号中提取设备major号码 (使用stat中的st_dev或者st_rdev field)。
	os.makedev(major, minor)        # 以major和minor设备号组成一个原始设备号
	os.makedirs(path[, mode])       # 递归文件夹创建函数。像mkdir(), 但创建的所有intermediate-level文件夹需要包含子文件夹。
	os.minor(device)                # 从原始的设备号中提取设备minor号码 (使用stat中的st_dev或者st_rdev field )。
	os.mkdir(path[, mode])          # 以数字mode的mode创建一个名为path的文件夹.默认的 mode 是 0777 (八进制)。
	os.mkfifo(path[, mode])         # 创建命名管道，mode 为数字，默认为 0666 (八进制)
	os.mknod(filename[, mode=0600, device])  # 创建一个名为filename文件系统节点（文件，设备特别文件或者命名pipe）。
	os.open(file, flags[, mode])    # 打开一个文件，并且设置需要的打开选项，mode参数是可选的
	os.openpty()                    # 打开一个新的伪终端对。返回 pty 和 tty的文件描述符。
	os.pathconf(path, name)         # 返回相关文件的系统配置信息。
	os.pathsep                      # 用于分割文件路径的字符串
	os.pardir                       # 获取当前目录的父目录字符串名：('..')
	os.pipe()                       # 创建一个管道. 返回一对文件描述符(r, w) 分别为读和写
	os.popen(command[, mode[, bufsize]])  # 从一个 command 打开一个管道
	os.path.abspath(path)           # 返回path规范化的绝对路径
	os.path.split(path)             # 将path分割成目录和文件名二元组返回
	os.path.dirname(path)           # 返回path的目录。其实就是os.path.split(path)的第一个元素
	os.path.basename(path)          # 返回path最后的文件名。如何path以／或\结尾，那么就会返回空值。即os.path.split(path)的第二个元素
	os.path.exists(path)            # 如果path存在，返回True；如果path不存在，返回False
	os.path.isabs(path)             # 如果path是绝对路径，返回True
	os.path.isfile(path)            # 如果path是一个存在的文件，返回True。否则返回False
	os.path.isdir(path)             # 如果path是一个存在的目录，则返回True。否则返回False
	os.path.join(path1[, path2[, ...]])  # 将多个路径组合后返回，第一个绝对路径之前的参数将被忽略
	os.path.getatime(path)          # 返回path所指向的文件或者目录的最后存取时间
	os.path.getmtime(path)          # 返回path所指向的文件或者目录的最后修改时间
	os.name                         # 字符串指示当前使用平台。win->'nt'; Linux->'posix'
	os.read(fd, n)                  # 从文件描述符 fd 中读取最多 n 个字节，返回包含读取字节的字符串，文件描述符 fd对应文件已达到结尾, 返回一个空字符串。
	os.readlink(path)               # 返回软链接所指向的文件
	os.remove(path)                 # 删除路径为path的文件。如果path 是一个文件夹，将抛出OSError; 查看下面的rmdir()删除一个 directory。
	os.removedirs(path)             # 递归删除目录。若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推
	os.rename(src, dst)             # 重命名文件或目录，从 src 到 dst
	os.renames(old, new)            # 递归地对目录进行更名，也可以对文件进行更名。
	os.rmdir(path)                  # 删除path指定的空目录，如果目录非空，则抛出一个OSError异常。
	os.sep                          # 操作系统特定的路径分隔符，win下为"\\",Linux下为"/"
	os.stat(path)                   # 获取path指定的路径的信息，功能等同于C API中的stat()系统调用。
	os.stat_float_times([newvalue]) # 决定stat_result是否以float对象显示时间戳
	os.statvfs(path)                # 获取指定路径的文件系统统计信息
	os.symlink(src, dst)            # 创建一个软链接
	os.system("bash command")       # 运行shell命令，直接显示
	os.tcgetpgrp(fd)                # 返回与终端fd（一个由os.open()返回的打开的文件描述符）关联的进程组
	os.tcsetpgrp(fd, pg)            # 设置与终端fd（一个由os.open()返回的打开的文件描述符）关联的进程组为pg。
	os.tempnam([dir[, prefix]])     # 返回唯一的路径名用于创建临时文件。
	os.tmpfile()                    # 返回一个打开的模式为(w+b)的文件对象 .这文件对象没有文件夹入口，没有文件描述符，将会自动删除。
	os.tmpnam()                     # 为创建一个临时文件返回一个唯一的路径
	os.ttyname(fd)                  # 返回一个字符串，它表示与文件描述符fd 关联的终端设备。如果fd 没有与终端设备关联，则引发一个异常。
	os.unlink(path)                 # 删除文件路径
	os.utime(path, times)           # 返回指定的path文件的访问和修改的时间。
	os.walk(top[, topdown=True[, οnerrοr=None[, followlinks=False]]])  # 输出在文件夹中的文件名通过在树中游走，向上或者向下。
	os.write(fd, str)               # 写入字符串到文件描述符 fd中. 返回实际写入的字符串长度
	'''	
		
# sys
import sys
	r'''
	sys.argv   命令行参数List，第一个元素是程序本身路径
	sys.modules 返回系统导入的模块字段，key是模块名，value是模块
	sys.exit(n)        退出程序，正常退出时exit(0)
	sys.version        获取Python解释程序的版本信息
	sys.maxint         最大的Int值
	sys.path           返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值
	sys.platform       返回操作系统平台名称
	sys.stdout.write('please:')
	val = sys.stdin.readline()[:-1]
	sys.modules.keys() 返回所有已经导入的模块名
	sys.modules.values() 返回所有已经导入的模块
	sys.exc_info()     获取当前正在处理的异常类,exc_type、exc_value、exc_traceback当前处理的异常详细信息
	sys.hexversion     获取Python解释程序的版本值，16进制格式如：0x020403F0
	sys.version        获取Python解释程序的
	sys.api_version    解释器的C的API版本
	sys.version_info
	‘final’表示最终,也有’candidate’表示候选，serial表示版本级别，是否有后继的发行
	sys.displayhook(value)      如果value非空，这个函数会把他输出到sys.stdout，并且将他保存进__builtin__._.指在python的交互式解释器里，’_’ 代表上次你输入得到的结果，hook是钩子的意思，将上次的结果钩过来
	sys.getdefaultencoding()    返回当前你所用的默认的字符编码格式
	sys.getfilesystemencoding() 返回将Unicode文件名转换成系统文件名的编码的名字
	sys.setdefaultencoding(name)用来设置当前默认的字符编码，如果name和任何一个可用的编码都不匹配，抛出 LookupError，这个函数只会被site模块的sitecustomize使用，一旦别site模块使用了，他会从sys模块移除
	sys.builtin_module_names    Python解释器导入的模块列表
	sys.executable              Python解释程序路径
	sys.getwindowsversion()     获取Windows的版本
	sys.copyright      记录python版权相关的东西
	sys.byteorder      本地字节规则的指示器，big-endian平台的值是’big’,little-endian平台的值是’little’
	sys.exc_clear()    用来清除当前线程所出现的当前的或最近的错误信息
	sys.exec_prefix    返回平台独立的python文件安装的位置
	sys.stderr         错误输出
	sys.stdin          标准输入
	sys.stdout         标准输出
	sys.platform       返回操作系统平台名称
	sys.path           返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值
	sys.maxunicode     最大的Unicode值
	sys.maxint         最大的Int值
	sys.version        获取Python解释程序的版本信息
	sys.hexversion     获取Python解释程序的版本值，16进制格式如：0x020403F0
	'''
## a sample 进度条
	import sys,time
	def create_spinner():
		for i in range(100):
			sys.stdout.write("%s\r" % ('#'*i))
			sys.stdout.flush()
			time.sleep(0.1)

# shutil
## 高级文件（夹）压缩包处理模块
import shutil
shutil.copyfileobj(fsrc, fdst[,length]) # 拷贝文件内容
shutil.copyfile(src, dst) # 拷贝文件, dst 不需要存在
shutil.copymode(src, dst) # 拷贝权限，dst存在
shutil.copystat(src, dst) # 拷贝状态信息：mode bits，atime，mtime，flags
shutil.copy(src, dst) # 拷贝文件和权限
shutil.copy2(src, dst) # 拷贝文件和状态信息
shutil.copytree(src, dst, symlinks=False, ignore=None) # 拷贝文件夹
shutil.ignore_patterns(*patterns)
shutil.rmtree(src) # 删除文件夹
shutil.move(src, dst) # mv
shutil.make_archive(base_name, format, root_dir=".", ...) # 创建压缩包，zip，tar等，返回路径, 可以了解zipfile模块和tarfile

# json pickle
## 序列化
## 把对象(变量)从内存中变成可存储或传输的过程称之为序列化，在Python中叫pickling，在其他语言中也被称之为serialization，marshalling，flattening等。1. 保持持久状态 2. 跨平台数据交互
import json, pickle
	r'''
	  *Python* 		*JSON*
		dict		object
		list,tuple	array
		str			string
		int,float	number(int,real)
		True		true
		False		false
		None		null
	'''
	json.dumps .loads : 基本数据类型
	json.dump .load : json文件
	json不识别单引号
	pickle.dumps(adict) .loads(bytes) :python对象和字符串间的序列化和反序列化
	pickle.dump(obj, file[,protocol]) .load(file) :对文件进行序列化和反序列化.python数据持久化用的比较多
	tips'''
	import shelve
	shelve.open() : return类似字典的对象，可读可写;key必须为字符串，而值可以是python所支持的数据类型。
	'''
# xml
## xml是实现不同语言或程序之间进行数据交换的协议，可扩展标记语言，标准通用标记语言的子集。是一种用于标记电子文件使其具有结构性的标记语言。
## ls /usr/lib/python3.4/xml
## dom  etree  __init__.py  parsers  __pycache__  sax
# __init__.py
"""Core XML support for Python.
This package contains four sub-packages:
dom -- The W3C Document Object Model.  This supports DOM Level 1 +  Namespaces.
parsers -- Python wrappers for XML parsers (currently only supports Expat).
sax -- The Simple API for XML, developed by XML-Dev, led by David Megginson and ported to Python by Lars Marius Garshol. This supports the SAX 2 API.
etree -- The ElementTree XML library.  This is a subset of the full ElementTree XML release.
"""
__all__ = ["dom", "parsers", "sax", "etree"]
## ls dom
## domreg.py  expatbuilder.py  __init__.py  minicompat.py  minidom.py  NodeFilter.py  pulldom.py  __pycache__  xmlbuilder.py
## ls sax
## _exceptions.py  expatreader.py  handler.py  __init__.py  __pycache__  saxutils.py  xmlreader.py
## ls parsers
## expat.py  __init__.py  __pycache__
## ls etree
## cElementTree.py  ElementInclude.py  ElementPath.py  ElementTree.py  __init__.py  __pycache__
sample:
import xml.etree.ElementTree as ET
tree = ET.parse("*.xml")
root = tree.getroot() : .tag .attrib .text .iter() .remove() .findall()
change...
tree.write("x*.xml")
ET.dump(xx.xml)

# configparser
## 配置文件解析***.ini, ***.cfg
## [section1]
## ...
## [section2]
## ...
import configparser
config=configparser.ConfigParser()
config.read('a.ini')
sec=config.sections()
options=config.options('section1')
items=config.items('section1')	
val=config.get('section1', 'key')
val=config.get[int,boolean,float]('section1', 'key')
config.remove_section('section2')
config.remove_option('section2','key2')
config.has_section('section3')	
config.has_option('section1','key2')	
config.add_section('section4')
config.set('section1', 'key', 'val')
config.write(open('a.ini'), 'w') # 回写配置文件

# hashlib
## 用于加密相关的操作，代替了md5模块和sha模块，主要提供SHA1，SHA224，SHA256，SHA384，SHA512,MD5算法。在python3中已经废弃了md5和sha模块。摘要算法又称为哈希算法，散列算法。
## 它通过一个函数，把任意长度的数据转换为一个长度固顶的数据串（通常用16进制的字符串表示）用于加密相关的操作。
## MD5 算法 三个特点：
## 1.内容相同则hash运算结果相同，内容稍微改变则hash值则变；
## 2.不可逆推；
## 3.相同算法：无论校验多长的数据，得到的哈希值长度固定。
import hashlib
hash=hashlib.md5('******'.encode('utf-8')) .sha256() .
hash.update(source)
hash.hexdigest()
	tips'''
	import hmac
	h = hmac.new('python'.encode('utf-8'))
	h.update('helloworld'.encode('utf-8'))
	print(h.hexdigest())
	'''
# suprocess
## fork  pipe 
import suprocess
	sample'''
	res1=subprocess.Popen('ls ~/Desktop',shell=True,stdout=subprocess.PIPE)
	res=subprocess.Popen('grep txt$',shell=True,stdin=res1.stdout,
					 stdout=subprocess.PIPE)
	print(res.stdout.read().decode('utf-8'))
	'''
	
# logging
# /usr/lib/python3.4/logging$ ls
# config.py  handlers.py  __init__.py
# __init__.py为API入口
import logging
# 通过下面的方式进行简单配置输出方式与日志级别
logging.basicConfig(filename='logger.log', level=logging.INFO)
logging.debug('debug message') # 不会被写入logger.log中
logging.info('info message')
logging.warn('warn message')
logging.error('error message')
logging.critical('critical message')
可以参考pythonlogging模块
handler：handlers.py
Formatters:
logging.Formatter(fmt,datefmt)
　　　　fmt参数为格式化字符串
　　　　datefmt为时间格式化，默认的时间格式为%Y-%m-%d %H:%M:%S
常用格式为：
%(name)s　　　　　 　　Logger的名字
%(levelno)s　　　　　　 数字形式的日志级别
%(levelname)s　　　　　文本形式的日志级别
%(pathname)s 　　　　　调用日志输出函数的模块的完整路径名，可能没有
%(filename)s　　　　　　调用日志输出的模块的文件名
%(module)s 　　　　　　调用日志输出函数的模块名
%(funcName)s　　　　　调用日志输出函数的函数名
%(lineno)d　　　　　　 调用日志输出函数的语句所在的代码行
%(created)f　　　　　　当前时间，用UNIX标准的表示时间的浮 点数表示
%(relativeCreated)d　　　输出日志信息时的，自Logger创建以 来的毫秒数
%(asctime)s　　　　　　 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒。datefmt就是设置这个的。
%(thread)d　　　　　　　线程ID。可能没有
%(threadName)s　　　　线程名。可能没有
%(process)d　　　　　　进程ID。可能没有
%(message)s　　　　　 用户输出的消息。就是logger.info(message)发送的日志消息。