- 博客(3)
- 收藏
- 关注
RSS订阅原创 Python进阶 | 实时计算 | 如何从几百到几千再到几万吞吐量
前言 这次是慢查询的故事，一些情况下很难避免，我们屏蔽来源，只讨论量。从最开始只要简单处理能过滤报警（几百），坏个盘也就是这么量。到小 Region灰度，单Client 峰值8K，再到大集群单 Client 峰值几万，程序一路翻车。 一些环境下是不存也不方便引入其他中间件的，一个Centos7 自带的 Python 2.7.5 一路黑到底。 项目不同阶段 日常需求阶段（几百） 慢查询有一定格式，我们简单抽象为 A 和 B，其中含义如下： A: 检测到一个查询还没结束，无法判定，因此记录到日.
2021-10-15 14:29:24
335
原创 消息处理之时间格式转化 | Pandas 真的加速吗？
前言 消息中字符串转时间戳是比较耗时间的，Pandas 在这块是尖刀，不过用法上还是要留点心的，不小心就白干了一场。 消息处理与耗时 单条信息为JSON，大约572字节 消息时间为 '2021/09/28 00:03:45.227895784' 单次批量为 1000条 原始处理抽象代码如下： def to_timestamp(dt): """dt转化为时间戳""" return time.mktime((dt.timetuple())) def make_key(messa
2021-10-09 20:28:14
126
原创 Python ORM实战之CURD再现
前言 一直以为开发个程序少依赖三方组件是没问题的，但是数据库比如Mysql，这种能算数吗？直到前段时间接个需求，原来数据库在这种环境里也是没有的。 挣扎 问：没有数据库的话，高可用不好实现呀? 答：没问题，初期不用考虑，先实现效果，过两周要用到了。 问：直接放内存里吗，重启就没了？ 答：那不行，要落盘的，保证可靠性 问：文件的话，可能性能差一点 答：没问题，先实现 过渡 己方：基于文件，Demo上线了，大家看看啦！ 甲方：嗯，速度很快，功能不错。不过这个信息有点少，我们补充几个属性
2021-09-27 20:38:36
222
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人