- 博客(1)
- 资源 (4)
- 收藏
- 关注
原创 百亿级日志处理稳定性保证的一些技巧
为了给各个业务出报表,我们每天会处理几百亿条原始日志。例行任务用MR/Spark程序编写,为了保证各个业务线在上班前正常看到数据,对例行任务的稳定性提出了要求。由于我们会依赖很多中间层数据,集群偶尔异常、数据存在倾斜等问题,这对我们的例行任务带来了很大的挑战。针对遇到的问题,采用“兵来将挡,水来土掩”的方案,各个击破常见异常:依赖未生成当天任务依赖的数据,部分是前一天的数据,部分是当天其他任务的生成
2017-06-22 18:51:41 959
QT局域网聊天工具
有段时间实验室不能上网,于是我就萌生了这样的想法,做个简单的界面可以聊天的工具,能够相互发送消息即可,而且因为有人用linux系统,还需要它能够跨平台应用,这样才能达到大家都能够较好交流的效果。
2013-06-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人