![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 78
糖老师
这个作者很懒,什么都没留下…
展开
-
[Python--]用Python实现时间离散化
最近在分析日志的时候遇到这样一个需求。统计每小时的角色创建总数和每10分钟的在线人数。需求具体实现不做讨论, 这里主要记录如何将日志时间离散到相应区间的问题。先解释每小时的概念,按24小时算,一天可以分这么几个时间点:00:00:00,01:00:00,02:00:00,...,23:00:00。那么在[N小时0分1秒,N+1小时0分0秒](注意是闭区间),这段时间是要划分到N+1小时的, 即,原创 2015-04-23 13:29:25 · 3811 阅读 · 0 评论 -
[Python--] Python logging模块实现邮件报警
需求定义: job运行中如果有失败,发送邮件到指定邮箱用于报警 由于没有相关方面的经验,在思考如何发送报警经过了如下几个过程: 【思路一】首先想到的是根据spark job的运行状态来确定是否发送报警邮件,那么只要我们能获取到spark运行出错时候的返回值,就可以通过smtplib模块进行邮件发送。所以思路一的关键点在于运行状态的获取。再查找资料后发现,spark-1.1.0版本未提供原创 2015-04-24 10:20:39 · 3183 阅读 · 0 评论 -
[Python--]Python Profilers 性能分析
本来计划使用profile模块进行性能分析作为博客的第二篇记录,然而距上次使用profile也已经距离很长一段时间, 回忆整理起来还是比较麻烦,一个字,太懒了,恩。 之前测代码的运行时间一直使用的是timeit模块,后来才发现还有一个更强大的性能分析工具profile和cprofile,尤其是在你不知道具体哪段代码存在性能问题的时候。 profile很容易入手,在需要测试的代码内加入下原创 2015-04-24 13:55:01 · 510 阅读 · 0 评论