感谢每一个认真阅读我文章的人,看着粉丝一路的上涨和关注,礼尚往来总是要有的:
① 2000多本Python电子书(主流和经典的书籍应该都有了)
② Python标准库资料(最全中文版)
③ 项目源码(四五十个有趣且经典的练手项目及源码)
④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)
⑤ Python学习路线图(告别不入流的学习)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
通过记录和分析日志可以了解一个系统 或软件程序运行情况是否正常,也可以在应用程序出现故障时快速定位问题。例如:开发者可通过在控制台上输出的各种日志进行程序调试;运维人员在接收到报警或各种问题反馈后,进行问题排查时通常都会先看各种日志,大部分问题都可在日志中找到答案。日志的作用可总结为3点:
-
1、程序调试
-
2、了解软件程序运行情况,是否正常
-
3、软件程序运行故障分析与问题定位
日志的级别有很多,我们一般只用四个,日志级别由低到高DEBUG - INFO - WARN - ERROR
;
-
DEBUG(调试):开发调试日志。一般来说,在系统实际运行过程中,不会输出该级别的日志。因此,开发人员可以打印任何自己觉得有利于了解系统运行状态的东东。不过很多场景下,过多的DEBUG日志,并不是好事,建议是按照业务逻辑的走向打印。打个比方,打印日志就像读书时划重点,如果导出都是重点,也就失去了重点。
-
INFO(通知):INFO日志级别主要用于记录系统运行状态等关联信息。该日志级别,常用于反馈系统当前状态给最终用户。所以,在这里输出的信息,应该对最终用户具有实际意义,也就是最终用户要能够看得明白是什么意思才行。
-
WARN(警告):WARN日志常用来表示系统模块发生问题,但并不影响系统运行。 此时,进行一些修复性的工作,还能把系统恢复到正常的状态。
-
ERROR(错误):此信息输出后,主体系统核心模块正常工作,需要修复才能正常工作。 就是说可以进行一些修复性的工作,但无法确定系统会正常的工作下去,系统在以后的某个阶段,很可能会因为当前的这个问题,导致一个无法修复的错误(例如宕机),但也可能一直工作到停止也不出现严重问题。
一条日志信息对应的是 一个事件的发生,而一个事件通常需要包括以下内容:
-
1、发生时间
-
2、发生位置
-
3、严重程度,即 日志级别
-
4、内容
上述都是一条日志记录中可能包含的字段信息。还可能包括一些其他信息,如进程ID、进程名称、线程ID、线程名称等。
日志格式是用来定义一条日志记录中包含哪些字段的,而且日志格式通常是可以自定义的。
PS:输出一条日志时,日志内容、日志级别是需要开发人员明确指定的。对于其他字段信息,只需要是否显示在日志中即可。
在Python中,提供了一个用于记录日志,功能强大、使用简单的标准库模块
logging
。
===============================================================================
在部署项目时,不可能直接将所有的信息都输出到控制台中,我们可以将这些信息记录到日志文件中,这样不仅方便我们查看程序运行时的情况,logging模块提供了在项目出现故障时根据运行时产生的日志快速定位问题出现位置的功能。
import logging
问题思考:
-
开发人员在开发一个应用程序时需要什么日志信息?在程序正式上线后需要什么日志信息?
-
运维人员在部署开发环境时需要什么日志信息?在部署生产环境时需要什么日志信息?
根据需求选择不同的日志级别:
| 级别 | 级别数值 | 使用时机 |
| — | — | — |
| DEBUG | 10 (级别最低) | 详细信息,常用于调试。 |
| INFO | 20(重要) | 程序正常运行过程中产生的一些信息。 |
| WARNING | 30 (警告) | 警告用户,虽然程序还在正常工作,但有可能发生错误。 |
| ERROR | 40(错误) | 由于更严重的问题,程序已经不能执行一些功能了。 |
| CRITICAL | 50 (严重) | 严重错误,程序已经不能继续运行。 |
默认情况是日志级别是warning,日志级别从上到下依次升高,即 DEBUG < INFO < WARNING < ERROR < CRITICAL
。而日志的信息量是依次减少的。
开发应用程序 或部署开发环境时:应该使用DEBUG 或INFO级别的日志获取尽可能详细的日志信息来进行开发或部署调试;
应用上线 或部署生产环境时:应该使用WARNING或CRITICAL级别的日志来降低机器的I/O压力和提高获取错误日志信息的效率
PS:当为某个应用程序指定一个日志级别后,应用程序会记录所有日志级别大于或等于指定日志级别的日志信息,而不是仅仅记录指定级别的日志信息,只要级别大于或等于该指定日志级别的日志记录才会被输出,小于该级别的日志记录将会被丢弃。
Logger:日志,暴露函数给应用程序,基于日志记录器和过滤器级别决定哪些日志有效。
LogRecord :日志记录器,将日志传到相应的处理器处理。
Handler :处理器, 将(日志记录器产生的)日志记录发送至合适的目的地。
Filter :过滤器, 提供了更好的粒度控制,它可以决定输出哪些日志记录。
Formatter:格式化器, 指明了最终输出中日志记录的布局。
流程描述:
-
1、判断日志的等级是否大于 Logger 对象的等级,如果大于,则往下执行,否则,流程结束。
-
2、产生日志:第一步,判断是否有异常,如果有,则添加异常信息。 第二步,处理日志记录方法(如 debug,info 等)中的占位符,即一般的字符串格式化处理。
-
3、使用注册到 Logger 对象中的 Filters 进行过滤。如果有多个过滤器,则依次过滤;只要有一个过滤器返回假,则过滤结束,且该日志信息将丢弃,不再处理,而处理流程也至此结束。否则,处理流程往下执行。
-
4、在当前 Logger 对象中查找 Handlers,如果找不到任何 Handler,则往上到该 Logger 对象的父 Logger 中查找;如果找到一个或多个 Handler,则依次用 Handler 来处理日志信息。但在每个 Handler 处理日志信息过程中,会首先判断日志信息的等级是否大于该 Handler 的等级,如果大于,则往下执行(由 Logger 对象进入 Handler 对象中),否则,处理流程结束。
-
5、执行 Handler 对象中的 filter 方法,该方法会依次执行注册到该 Handler 对象中的 Filter。如果有一个 Filter 判断该日志信息为假,则此后的所有 Filter 都不再执行,而直接将该日志信息丢弃,处理流程结束。
-
6、使用 Formatter 类格式化最终的输出结果。 注:Formatter 同上述第 2 步的字符串格式化不同,它会添加额外的信息,比如日志产生的时间,产生日志的源代码所在的源文件的路径等等。
-
7、真正地输出日志信息(到网络,文件,终端,邮件等)。至于输出到哪个目的地,由 Handler 的种类来决定。
日志的输出格式可以认为设置,默认格式为下图所示:
logging 使用非常简单,使用 basicConfig() 方法就能满足基本的使用需要,如果方法没有传入参数,会根据默认的配置创建Logger 对象,默认的日志级别被设置为 WARNING,默认的日志输出格式如上图,该函数可选的参数如下表所示。
| 参数名称 | 参数描述 |
| — | — |
| filename | 日志输出到文件的文件名 |
| filemode | 文件模式,r[+]、w[+]、a[+] |
| format | 日志输出的格式 |
| datefat | 日志附带日期时间的格式 |
| style | 格式占位符,默认为 “%” 和 “{}” |
| level | 设置日志输出级别 |
| stream | 定义输出流,用来初始化 StreamHandler 对象,不能 filename 参数一起使用,否则会ValueError 异常 |
| handles | 定义处理器,用来创建 Handler 对象,不能和 filename 、stream 参数一起使用,否则也会抛出 ValueError 异常 |
指定日志输出级别
- 默认日志级别输出
import logging
默认的日志输出级别为warning
logging.debug(‘This is debug log’) # 调试级别
logging.info(‘This is info log’) # 信息级别
logging.warning(‘This is warning log’) # 警告级别
logging.error(‘This is error log’) # 错误级别
logging.critical(‘This is critical log’) # 严重错误级别
输出结果如下:
- 使用
baseconfig()
来指定日志输出级别:
import logging
使用baseconfig()来指定日志输出级别
logging.basicConfig(level=logging.DEBUG)
logging.debug(‘This is debug log’) # 调试级别
logging.info(‘This is info log’) # 信息级别
logging.warning(‘This is warning log’) # 警告级别
logging.error(‘This is error log’) # 错误级别
logging.critical(‘This is critical log’) # 严重错误级别
输出结果如下:
输出日志到文件
import logging
使用baseconfig()来指定日志输出级别,日志信息写入test.log文件中
logging.basicConfig(filename=“test.log”, level=logging.DEBUG)
logging.debug(‘This is debug log’) # 调试级别
logging.info(‘This is info log’) # 信息级别
logging.warning(‘This is warning log’) # 警告级别
logging.error(‘This is error log’) # 错误级别
logging.critical(‘This is critical log’) # 严重错误级别
生成文件test.log
,文件内容如下:
注意:默认情况再执行程序会换行追加!如果想要每次执行程序,先清空文件,然后再输出日志到文件中,只需要新增一个属性filemode="w"
文件模式(先清空在写入)
logging.basicConfig(filename=“test.log”,filemode=“w”,level=logging.DEBUG)
输出对象
import logging
logging.basicConfig(level=logging.DEBUG)
name = “张三”
age = “10”
logging.debug(“姓名:%s, 年龄:%s”, name, age)
logging.debug(“姓名:%s, 年龄:%s” % (name, age))
logging.debug((“姓名 {},年龄 {}”.format(name, age)))
logging.debug((f"姓名 {name},年龄 {age}"))
输出结果如下:
添加重要信息
-
asctime
:当前时间 -
levelname
:输出日志级别 -
filename
:文件名称 -
lineno
:报错文件行号 -
message
:输出信息
import logging
使用baseconfig()来指定日志输出级别,日志信息写入test.log文件中
asctime:日期,levelname:级别,message:报错信息,filename:文件名,lineno:报错行数;datefmt:格式化时间字符串;level:修改默认日志级别
logging.basicConfig(filename=“test.log”, filemode=“w”,
format=“%(asctime)s %(name)s:%(levelname)s:%(message)s|%(filename)s:%(lineno)s”,
datefmt=“%Y-%M-%d %H:%M:%S”, level=logging.DEBUG)
logging.debug(‘This is a debug message’)
logging.debug(‘This is debug log’) # 调试级别
logging.info(‘This is info log’) # 信息级别
logging.warning(‘This is warning log’) # 警告级别
logging.error(‘This is error log’) # 错误级别
logging.critical(‘This is critical log’) # 严重错误级别
生成文件test.log
,文件内容如下:
===============================================================================
logging模块采用了模块化设计,主要包含四种组件:
| 类名 | 说明 |
| — | — |
| Loggers | 记录器,提供应用程序代码能直接使用的接口。 |
| Handlers | 处理器,将记录器产生的日志发送至目的地 |
| Filters | 过滤器,提供更好的粒度控制,决定那些日志会被输出 |
| Formatters | 格式化器,设置日志内容的组成结构和消息字段 |
logging模块的工作流程:
- 1、提供应用程序的调用接口(logger是单例的)
logger = logging.getLogger(name)
- 2、决定日志记录的级别
logger.setLevel()
- 3、将日志内容传递相关联的handlers中
logger.addHandler()和logger.removeHandler()
它们将日志分发到不同的目的地:文件、标准输出、邮件、或者通过socke、http等协议发送到任何地方。
- SreamHandler:标准输出stdout(如显示器)分发器。
创建方法:sh = logging.StreamHandler(stream=None)
- FileHandle:将日志保存到磁盘文件的处理器
创建方法:fh=logging.FileHandler(filename,mode=“a”,encoding=Node,delay=False)
setFormatter():设置当前handler对象使用的消息格式。
Formatter对象用来最终设置日志信息的顺序、结构和内容。
构造方法:ft = logging.Formatter.__init__(fmt=None,datefmt=None,style='%')
datefmt默认格式为:%Y-%m-%d %H:%M:%S
;style参数默认为百分符%
,这表示%(<dictionary key>)s
格式的字符串
| 属性 | 格式 | 描述 |
| — | — | — |
| asctime | %(asctime)s | 日志产生时间,默认格式为 2021-11-23 10:20:30,123
|
| created | %(created)f | time.time()生成的日志创建时间戳 |
| filename | %(filename)s | 生成日志的程序名 |
| funcName | %(funcName)s | 调用日志的函数名 |
| levelname | %(levelname)s | 日志级别(DEGBU、INFO、WARNING、ERROR、CRITICAL) |
| levelno | %(levelno)s | 日志级别对应的数值 |
| lineno | %(lineno)d | 日志所针对的代码行号(报错代码所在行数) |
| module | %(module)s | 生成日志的模块名 |
| msecs | %(msecs)d | 日志生成时间的毫秒部分 |
| message | %(message)s | 具体的日志信息 |
| name | %(name)s | 日志调用者 |
| pathname | %(pathname)s | 生成日志的完整路径 |
| processName | %(processName)s | 进程名(如果可用) |
| thread | %(thread)d | 生成日志的线程id(如果可用) |
| process | %(process)d | 生成日志的进程id |
| threadName | %(threadName)s | 线程名(如果可用) |
==========================================================================
- 默认情况:
import logging
logger = logging.getLogger()
print(logger)
print(type(logger))
输出结果如下:
- 修改为指定级别
import logging
logger = logging.getLogger(“applog”) # 修改的显示名称
logger.setLevel(logging.DEBUG) # 修改日志级别
print(logger)
print(type(logger))
输出结果如下:
- 普通处理器定义
consoleHandler = logging.StreamHandler()
consoleHandler.setLevel(logging.DEBUG)
- 写入文件处理器定义
写入文件,没有给handler指定日志级别,将使用logger的级别
fileHandler = logging.FileHandler(filename=“test.log”)
fileHandler.setLevel(logging.INFO)
- 设置formatter格式
给处理器设置formatter格式
formatter = logging.Formatter(“%(asctime)s %(name)s:%(levelname)s:%(message)s|%(filename)s:%(lineno)s”)
- 处理器设置格式
给处理器设置格式
consoleHandler.setFormatter(formatter)
fileHandler.setFormatter(formatter)
- 记录器要设置处理器
logger.addHandler(consoleHandler)
logger.addHandler(fileHandler)
完整代码:
import logging
记录器
logger = logging.getLogger(“applog”) # 修改的显示名称
logger.setLevel(logging.DEBUG) # 修改日志级别
处理器
consoleHandler = logging.StreamHandler()
consoleHandler.setLevel(logging.DEBUG)
写入文件,没有给handler指定日志级别,将使用logger的级别
fileHandler = logging.FileHandler(filename=“test.log”)
fileHandler.setLevel(logging.INFO)
给处理器设置formatter格式; 8s:表示s前面的占8位;-8s:左对齐
formatter = logging.Formatter(“%(asctime)s %(name)s:%(levelname)8s:%(message)s|%(filename)s:%(lineno)s”)
给处理器设置格式
consoleHandler.setFormatter(formatter)
fileHandler.setFormatter(formatter)
做了那么多年开发,自学了很多门编程语言,我很明白学习资源对于学一门新语言的重要性,这些年也收藏了不少的Python干货,对我来说这些东西确实已经用不到了,但对于准备自学Python的人来说,或许它就是一个宝藏,可以给你省去很多的时间和精力。
别在网上瞎学了,我最近也做了一些资源的更新,只要你是我的粉丝,这期福利你都可拿走。
我先来介绍一下这些东西怎么用,文末抱走。
(1)Python所有方向的学习路线(新版)
这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
最近我才对这些路线做了一下新的更新,知识体系更全面了。
(2)Python学习视频
包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
(3)100多个练手项目
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。
(4)200多本电子书
这些年我也收藏了很多电子书,大概200多本,有时候带实体书不方便的话,我就会去打开电子书看看,书籍可不一定比视频教程差,尤其是权威的技术书籍。
基本上主流的和经典的都有,这里我就不放图了,版权问题,个人看看是没有问题的。
(5)Python知识点汇总
知识点汇总有点像学习路线,但与学习路线不同的点就在于,知识点汇总更为细致,里面包含了对具体知识点的简单说明,而我们的学习路线则更为抽象和简单,只是为了方便大家只是某个领域你应该学习哪些技术栈。
(6)其他资料
还有其他的一些东西,比如说我自己出的Python入门图文类教程,没有电脑的时候用手机也可以学习知识,学会了理论之后再去敲代码实践验证,还有Python中文版的库资料、MySQL和HTML标签大全等等,这些都是可以送给粉丝们的东西。
这些都不是什么非常值钱的东西,但对于没有资源或者资源不是很好的学习者来说确实很不错,你要是用得到的话都可以直接抱走,关注过我的人都知道,这些都是可以拿到的。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!