![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 70
last_coding
如果还能再写一天代码,我希望这次好好写
展开
-
Python进阶 | 实时计算 | 如何从几百到几千再到几万吞吐量
前言 这次是慢查询的故事,一些情况下很难避免,我们屏蔽来源,只讨论量。从最开始只要简单处理能过滤报警(几百),坏个盘也就是这么量。到小 Region灰度,单Client 峰值8K,再到大集群单 Client 峰值几万,程序一路翻车。 一些环境下是不存也不方便引入其他中间件的,一个Centos7 自带的 Python 2.7.5 一路黑到底。 项目不同阶段 日常需求阶段(几百) 慢查询有一定格式,我们简单抽象为 A 和 B,其中含义如下: A: 检测到一个查询还没结束,无法判定,因此记录到日.原创 2021-10-15 14:29:24 · 335 阅读 · 0 评论 -
消息处理之时间格式转化 | Pandas 真的加速吗?
前言 消息中字符串转时间戳是比较耗时间的,Pandas 在这块是尖刀,不过用法上还是要留点心的,不小心就白干了一场。 消息处理与耗时 单条信息为JSON,大约572字节 消息时间为 '2021/09/28 00:03:45.227895784' 单次批量为 1000条 原始处理抽象代码如下: def to_timestamp(dt): """dt转化为时间戳""" return time.mktime((dt.timetuple())) def make_key(messa原创 2021-10-09 20:28:14 · 126 阅读 · 0 评论 -
Python ORM实战之CURD再现
前言 一直以为开发个程序少依赖三方组件是没问题的,但是数据库比如Mysql,这种能算数吗?直到前段时间接个需求,原来数据库在这种环境里也是没有的。 挣扎 问:没有数据库的话,高可用不好实现呀? 答:没问题,初期不用考虑,先实现效果,过两周要用到了。 问:直接放内存里吗,重启就没了? 答:那不行,要落盘的,保证可靠性 问:文件的话,可能性能差一点 答:没问题,先实现 过渡 己方:基于文件,Demo上线了,大家看看啦! 甲方:嗯,速度很快,功能不错。不过这个信息有点少,我们补充几个属性原创 2021-09-27 20:38:36 · 222 阅读 · 2 评论