python的学习笔记-打造python命令行工具(第二天)-CSDN博客

python的学习笔记

第二天（2017-12-30）打造python命令行工具

声明：本人是每天学习赖明星《python linux系统管理与自动化运维》一书后，整理成自己的笔记，如有需要，请购买作者正版书，谢谢

1、使用sys.argv获取命令行参数

sys.argv是一个保存命令行参数的普通列表。

 
[root@localhost ~]# cat test_argv.py 
#!/bin/python
from __future__ import print_function
import sys
print (sys.argv)

[root@localhost ~]# python test_argv.py localhost 3306

['test_argv.py', 'localhost', '3306']

 
   
 
        
 
        
[root@localhost ~]# cat test_argv1.py
#!/bin/python
from __future__ import print_function
import os
import sys
def main():
    sys.argv.append("")
    filename = sys.argv[1]
    if not os.path.isfile(filename):
        raise SystemExit(filename + ' does not exists')
    elif not  os.access(filename,os.R_OK):
        raise SystemExit(filename + ' is not accessible')
    else:
        print(filename + ' is accessible')
if __name__ == '__main__':
    main()
 
    

[root@localhost ~]# python test_argv1.py 2.txt

2.txt is accessible

2、使用sys.stdin和fileinput读取标准输入

在python标准库的sys库中，有三个文件描述符，分别是stdin，stdout，stderr，分别是标准输入、标准输出和标准出错。

a)、从标准输入读取内容（sys.stdin）

 
[root@localhost ~]# cat read.stdin.py 
#!/usr/bin/python
from __future__ import print_function
import sys
for line in sys.stdin:
    print(line,end="")

接下来我们就可以像shell一样，通过标准输入给程序输入内容：

[root@localhost ~]# cat /etc/passwd |python read.stdin.py

[root@localhost ~]# python read.stdin.py < /etc/passwd

b）、调用文件对象读取内容（sys.stdin）

 
[root@localhost ~]# cat read.stdin.py 
#!/usr/bin/python
#coding:utf-8
from __future__ import print_function
import sys
def get_content():
    return sys.stdin.readlines() #调用readlines函数将标准输入的内容读取到一个列表中
print(get_content())

[root@localhost ~]# cat /etc/passwd |python read.stdin.py

我们完全可以在python中用stdin代替awk进行数据处理，

fileinput可以对多文件进行处理，也可以代替awk。使用fileinput可以依次读取命令行中给出的多个文件，也就是说fileinput会遍历sys.argv[1:]列表，并按行依次读取列表中的问题，如果该文件为空，则fileinput默认读取标准输入中的内容。

在大多数情况下，我们直接调用fileinput模块中的Input方法按行读取内容即可。

例子：

 
[root@localhost ~]# cat read.stdin.py 
#!/usr/bin/python
#coding:utf-8
from __future__ import print_function
import fileinput
for line in fileinput.input():
    print(line,end="")

fileinput比sys.stdin更加灵活。fileinput既可以从标准输入中读取数据，也可以从文件中读取数据，如下所示：

[root@localhost ~]# cat /etc/passwd |python read.stdin.py

[root@localhost ~]# python read.stdin.py < /etc/passwd

[root@localhost ~]# python read.stdin.py /etc/passwd

[root@localhost ~]# python read.stdin.py /etc/passwd /etc/hosts

因为fileinput可以读取多个文件内容，所以，fileinput提供了一些方法让我们知道当前读取的内容属于哪个文件，fileinput中常见的方法有：

filename:当前正在读取的文件名；

fileno：文件的描述符

filelineno：正在读取的行是当前文件的第几行；

isfirstline：正在读取的行是否当前文件的第一行；

isstdin fileinput：正在读取的文件还是直接从标准输入读取的内容。

例子：

 
[root@localhost ~]# cat test.py 
#!/usr/bin/python
#coding:utf-8
from __future__ import print_function
import fileinput
for line in fileinput.input():
    meta = [fileinput.filename(),fileinput.fileno(),fileinput.filelineno(),fileinput.isfirstline(),fileinput.isstdin()]
    print(*meta, end=" ") #注意星号作用
    print(line,end=" ")

[root@localhost ~]# python test.py /etc/passwd /etc/hosts

说明：

星号作用于函数中的形式参数，使函数具有接收可变参数的功能

星号作用于函数调用时的实际参数，单星号对应元组，双星号对应字典。对于元组，将元组中对应值传给对应参数，对于字典，将字典中对应key-value对指定的值传给对应的参数。

3、使用SystemExit异常打印错误信息

与标准输入sys.stdin类似，我们可以直接使用sys.stdout和sys.stderr向标准输出和错误输出中输出内容。

 
root@localhost ~]# cat test_stdout_stderr.py 
#/usr/bin/python
#coding-utf8
import sys
sys.stdout.write('hello')
sys.stderr.write('world')

默认情况下，hello和world都会输出到命令行。我们可以通过重定向来验证hello被输出到标准输出，world被输出到了错误输出，如下：

[root@localhost ~]# python test_stdout_stderr.py

worldhello

[root@localhost ~]# python test_stdout_stderr.py > /dev/null

world

[root@localhost ~]# python test_stdout_stderr.py 2> /dev/null

hello

如果我的python程序执行失败，需要在标准错误中输出错误信息，然后以非零的返回码退出程序，那么我们就需要使用sys.stderr，如下：

 
[root@localhost ~]# cat test_stdout_stderr.py 
#/usr/bin/python
#coding-utf8
import sys
sys.stderr.write('error message')
sys.exit(1)

[root@localhost ~]# python test_stdout_stderr.py

error message[root@localhost ~]# echo $?

4、使用getpass库读取密码

getpass是一个非常简单的标准库，主要包含getuser函数和getpass函数。前者用来从环境变量中获取用户名，后者用来等待用户输入密码。

 
[root@localhost ~]# cat getpass.py
#/usr/bin/python
from __future__ import print_function
import getpass
user = getpass.getuser()
passwd = getpass.getpass('please your password:')
print(user,passwd)

5、使用configparse解析配置文件

mysql数据库客户端默认使用/etc/my.cnf中的配置。

配置文件的好处是，配置成功后不需要每次使用时都指定相应的参数。

一个典型的配置文件包含一到多个章节（section），每个章节下可以包含一到多个选项‘（option），如MySQL的配置配置文件：

[client]

port = 3306

user = mysql

password = mysql

host = 127.0.0.1

[mysqld]

basedir = /usr

datadir = /var/lib/mysql

tmpdir = /tmp

skip-external-locking

上面包含了client和mysqld两个章节，每个章节下有不同的选项。

 
In [3]: import ConfigParser
In [4]: cf = ConfigParser.ConfigParser(allow_no_value=True)

说明：allow_no_values默认为False，表示配置文件中不允许没有值。如上面的skip-external-locking这个选项就没有值。

有了ConfigParser对象以后，就可以使用read方法从配置文件中读取配置内容。

 
In [4]: cf.read('my.cnf')
Out[4]: ['my.cnf']

ConfigParser中有很多方法，其中与读取配置文件，判读文件文件相关的参数有：

1）sections：返回一个包含所有章节的列表；

2）has_section：判断章节是否存在

3）items:以元组的形式返回所有选项；

4）options:返回一个章节下所有选项的列表；

5）has_option：判断每个选项是否存在；

6）get、getboolean、getinit、getfloat：获取选项的值。get默认是返回的字符串，要返回数值使用getint，返回布尔型，使用getboolean

 
   
 
        
 
        
In [6]: cf.sections()
Out[6]: ['client', 'mysqld']
In [10]: cf.has_section('mysqld')
Out[10]: True
In [14]: cf.has_option('client','port')
Out[14]: True
In [18]: cf.options('client')
Out[18]: ['port', 'user', 'password', 'host']
In [20]: cf.get('client','host')
Out[20]: '127.0.0.1'
In [22]: cf.getint('client','port')
Out[22]: 3306
In [23]: cf.get('client','port')
Out[23]: '3306'
 
    

ConfigParser也提供了血多方法便于我们修改配置文件，如下:

1)remove_section：删除一个章节；

2）add_section：添加一个章节；

3)remove_option：删除一个选项；

4）set：添加一个选项；

5）write：将ConfigParser对象中的对象保存到文件中。

 
In [24]: cf.remove_section('client')
Out[24]: True
In [25]: cf.add_section('mysql')
In [26]: cf.set('mysql','host','127.0.0.1')
In [28]: cf.set('mysql','port','3306')
In [32]: cf.write(open('my_copy.cnf','w'))

修改完后，新的my_copy.cnf文件内容如下：

[root@localhost ~]# cat my_copy.cnf

[mysqld]

basedir = /usr

datadir = /var/lib/mysql

tmpdir = /tmp

skip-external-locking

[mysql]

host = 127.0.0.1

port = 3306

6、使用argparse解析命令行参数

6.1 ArgumentParse解析器

使用argparse解析命令行参数时，首先需要创建一个解析器，如下：

 
In [33]: import argparse
In [34]: parser = argparse.ArgumentParser()

ArgumentParser对象的add_argument方法有如下参数：

1）name/flags：参数的名字；

2）action：遇到参数时的动作，默认值是store；

3）nargs：参数的个数，可以是具体的数字，或者是+号与*号，其中+号表示0或者多个参数，+号表示1或者多个参数；

4）const action和nargs：需要的常量值

5）default:不指定参数时的默认值

6）type：参数的类型；

7）choices：参数允许的值；

8）required：可选参数是否可以省略；

9）help：参数的帮助信息；

10）metavar：在usage说明中的参数名称；

11）dest：解析后参数名称

解析参数需要用ArgumentParser对象的parse_args方法，该方法返回一个namespace对象，获取对象后，参数值通过属性的方式进行访问。

 
   
 
        
 
        
[root@localhost ~]# cat test2.py 
#/usr/bin/python
#cording:utf-8
from __future__ import print_function
#导入argparser库
import argparse
def __argparse():
    #创建一个ArgumentParser解析器
    parser = argparse.ArgumentParser(description="This is description")
    #通过add_argument函数添加选项
    parser.add_argument('--host',action='store',dest='server',default="localhost",help='connect to server')
    parser.add_argument('-t',action='store_true',default=False,dest='boolean_switch',help='set a switch to true')
    #调用parse_args函数解析命令行参数
    return parser.parse_args()
    
def main():
    parser = __argparse()
    print(parser)
    #通过parser.server获取--host选项的值
    print('host = ',parser.server)
    #通过parser.boolean_switch获取-t选项的值
    print('boolean_switch=',parser.boolean_switch)
if __name__ == '__main__':
    main()
 
    

在上面的例子中，我们首先导入argparser库，然后在__argparse函数中创建一个ArgumentParser解析器，并通过add_argument函数添加选项。选项添加完后，调用parse_args函数解析命令行参数。在main函数中，我们可以通过parser.server获取--host选项的值，通过parser.boolean_switch获取-t选项的值。

 
[root@localhost ~]# python test2.py 
Namespace(boolean_switch=False, server='localhost')
host = localhost
boolean_switch= False
[root@localhost ~]# python test2.py  --host=127.0.0.1 -t
Namespace(boolean_switch=True, server='127.0.0.1')
host =  127.0.0.1
boolean_switch= True

使用argparser进行参数解析还有一个好处是，它能根据我们的选项定义自动生成帮助信息，例如：

 
[root@localhost ~]# python test2.py  --help
usage: test2.py [-h] [--host SERVER] [-t]
This is description
optional arguments:
  -h, --help     show this help message and exit
  --host SERVER  connect to server
  -t             set a switch to true

6.2 模仿MySQL客户端的命令行参数

 
   
 
        
 
        
[root@localhost ~]# cat mysql.py 
#/usr/bin/python
#coding:utf-8
from __future__ import print_function
import argparse
def __argparse():
    parser = argparse.ArgumentParser(description='A python-mysql client')
    parser.add_argument('--host',action='store',dest='host',required=True,help='connect to host')
    parser.add_argument('-u','--user',action='store',dest='user',required=True,help='user for login')
    parser.add_argument('-p','--password',action='store',dest='password',required=True,help='password to use where connect to server')
    parser.add_argument('-P','--port',action='store',dest='port',default=3306,type=int,help='port number to use for connection or 3306 for default')
    parser.add_argument('-v','--version',action='version',version='%(prog)s 0.1')
    return parser.parse_args()
def main():
    parser = __argparse()
    conn_args = dict(host=parser.host,user=parser.user,password=parser.password,port=parser.port)
    print(conn_args)
if __name__ == '__main__':
    main()
 
    

 
[root@localhost ~]# python mysql.py --help
usage: mysql.py [-h] --host HOST -u USER -p PASSWORD [-P PORT] [-v]
A python-mysql client
optional arguments:
  -h, --help            show this help message and exit
  --host HOST           connect to host
  -u USER, --user USER  user for login
  -p PASSWORD, --password PASSWORD
                        password to use where connect to server
  -P PORT, --port PORT  port number to use for connection or 3306 for default
  -v, --version         show program's version number and exit

 
[root@localhost ~]# python mysql.py --host=127.0.0.1 -u=root -p=123
{'host': '127.0.0.1', 'password': '123', 'port': 3306, 'user': 'root'}

7、使用logging记录日志

7.1、python的logging模块

注意：1.命名py脚本时，不要与python预留字，模块名等相同，否则运行的脚本会报错

 
[root@localhost ~]# cat test_logging.py 
#!/usr/local/bin/python
#coding:utf-8
import logging
logging.debug('debug message')
logging.info('info message')
logging.warn('warn message')
logging.error('error message')
logging.critical('critical message')

程序的执行结果如下：

[root@localhost ~]# python test_logging.py

WARNING:root:warn message

ERROR:root:error message

CRITICAL:root:critical message

7.2、配置日志格式

在使用logging记录日期之前，我们需要进行一些简单的设置，如下:

 
[root@localhost ~]# cat test_logging.py 
#!/usr/local/bin/python
#coding:utf-8
import logging
logging.basicConfig(filename='app.log',level=logging.INFO)
logging.debug('debug message')
logging.info('info message')
logging.warn('warn message')
logging.error('error message')
logging.critical('critical message')

[root@localhost ~]# python test_logging.py

[root@localhost ~]# cat app.log

INFO:root:info message

WARNING:root:warn message

ERROR:root:error message

CRITICAL:root:critical message

我们先了解logging模块中的几个概念，即Logger、Handler及Formatter。

Logger：日志记录器，是应用程序中能直接使用的接口；

Handler:日志处理器，用以表明将日志保存到什么地方以及保存多久；

Formatter：格式化，用以格式化日志的输出格式。

在典型的使用场景中，一个日志记录器使用一个日志处理器，一个日志处理器使用一个日志格式化。

对于比较简单的脚本，可以直接使用basicConfig在代码中配置日志；对于比较复杂的项目，可以将日志保存到一个配置文件中，然后在代码中使用fileConfig函数读取配置文件。

例子：

 
[root@localhost ~]# vim test_logging.py 
#!/usr/local/bin/python
#coding:utf-8
import logging
logging.basicConfig(filename='app.log',level=logging.debug,format='%(asctime)s:%(levelname)s:%(message)s')
logging.debug('debug message')
logging.info('info message')
logging.warn('warn message')
logging.error('error message')
logging.critical('critical message')

对于复杂的项目，一般将日志配置保存到配置文件中，例如下面是一个典型的配置文件:

 
   
 
        
 
        
[root@localhost ~]# cat logging.cnf 
[loggers]
keys = root
[handlers]
keys = logfile
[formatters]
keys = generic
#定义root这个logger所使用的handler
[logger_root]
handlers = logfile
#定义handler输出日志的方式、日志文件的切换时间等
[handler_logfile]
class = handlers.TimedRotatingFileHandler
args = ('app.log','midnight',1,10)
level = DEBUG
formatter = generic
#定义日志的格式，包括日志产生的时间、日志的级别、产生日志的文件名和行号等信息
[formatter_generic]
format = %(asctime)s %(levelname)-5.5s [%(name)s:%(lineno)s] %(message)s
 
    

有了配置文件后，在python代码中使用logging.config模块的fileConfig函数加载日志配置，如下所示：

 
[root@localhost ~]# cat test_logging.py 
#!/usr/local/bin/python
#coding:utf-8
import logging
import logging.config
logging.config.fileConfig('logging.cnf')
logging.debug('debug message')
logging.info('info message')
logging.warn('warn message')
logging.error('error message')
logging.critical('critical message')