【三个臭皮匠】日志处理系统之Hbase优化历程

  三个臭皮匠【参与人】: 振远、光鑫和me   一、背景 日志收集并入hbase   1、框架 2、日志量 每日产生数十亿条日志,其中有15%~20%为有效日志,hbase高峰期有效日志的写入QPS为25万/秒。   3、日志过滤 80%的日志需要过滤掉【由于特殊性,无...

2018-08-28 21:18:09

阅读数 403

评论数 0

【程序人生】茫然回首,已是中年

一.作者介绍 计算机专业,北漂一代,程序猿,计算机行业雨露均沾   二.教育背景 1.入学 高考志愿填报不当 高分、二流学校 本校计算机专业第一名成绩 2.毕业 2005年带着一堆证书,2天奋战,打开一扇门,关闭了另一扇门,生活从头开始。   3.找工作感悟 找工作时,...

2018-08-24 11:42:37

阅读数 298

评论数 2

【小题大做】日志系统设计注意事项【日志并发写入】

作者:杨考   微信 : devin_cn_hd_09_16    欢迎讨论问题 在每次收到阅读者添加微信并开始交流讨论,心理是无比的激动。   一、日志系统的需求和设计目标   最基本的需求【下图黑色部分所示】 : 完成日志写入文件,保证无丢失,不影响正常业务,检测写入异常   关...

2018-08-20 17:31:43

阅读数 311

评论数 0

【小题大做】【redis】redis expire 时间设置为 1秒

  【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16   一、背景   不做详细说明,有朋友自己设计了一个redis锁,使用 setnx 之后,通过 expire(1)设置的超时。发现会有偶发的 expire 失败,以及redis锁节点一致无法删除。  ...

2018-08-15 12:13:03

阅读数 623

评论数 0

【小题大做】唯一ID、分布式唯一ID的生成实战

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16     一、背景 今天接到一个非常逗比的需求,按时间顺序展示一个订单的状态、信息流转顺序。 需求很明确,数据很模糊,而且是多个数据来源,还需要一定的去重、非去重之后,将有效数据保留下来。 看着需求就有...

2018-08-15 11:58:30

阅读数 138

评论数 0

账务实时交易系统设计思考-【第七节】-思考总结

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16 本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。   全量版             https://blog.csdn.net/yk200808/art...

2018-08-13 10:06:20

阅读数 106

评论数 0

账务实时交易系统设计思考-【第六节】-使用建议

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16 本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。   全量版             https://blog.csdn.net/yk200808/art...

2018-08-13 10:05:16

阅读数 91

评论数 0

账务实时交易系统设计思考-【第五节】-准确性

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16 本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。   全量版             https://blog.csdn.net/yk200808/art...

2018-08-13 10:04:11

阅读数 113

评论数 0

账务实时交易系统设计思考-【第四节】-热点问题

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16 本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。   全量版             https://blog.csdn.net/yk200808/art...

2018-08-13 10:02:50

阅读数 151

评论数 0

账务实时交易系统设计思考-【第三节】-功能设计

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16 本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。   全量版             https://blog.csdn.net/yk200808/art...

2018-08-13 10:01:00

阅读数 329

评论数 0

账务实时交易系统设计思考-【第二节】-业务分析

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16 本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。   全量版             https://blog.csdn.net/yk200808/art...

2018-08-13 09:59:16

阅读数 307

评论数 0

账务实时交易系统设计思考-【第一节】-业务简介

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16 本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。   全量版             https://blog.csdn.net/yk200808/art...

2018-08-13 09:56:20

阅读数 171

评论数 0

【PHP】内核知识

[译] PHP7 数组:HashTable       简介   几乎每个C程序中都会使用到哈希表。鉴于C语言只允许使用整数作为数组的键名,PHP 设计了哈希表,将字符串的键名通过哈希算法映射到大小有限的数组中。这样无法避免的会产生碰撞,PHP 使用了链表解决这个问题。 众多哈希表的...

2018-08-09 16:36:44

阅读数 54

评论数 0

【C++】并发编程 Promise, Future 和 Callback

  在并发编程中,我们通常会用到一组非阻塞的模型:Promise,Future 和 Callback。其中的 Future 表示一个可能还没有实际完成的异步任务的结果,针对这个结果可以添加 Callback 以便在任务执行成功或失败后做出对应的操作,而 Promise 交由任务执行者,任务执行者...

2018-08-09 16:17:06

阅读数 197

评论数 0

【C++】C++11 并发指南系列

  C++11 并发指南一(C++11 多线程初探)   引言   C++11 自2011年发布以来已经快两年了,之前一直没怎么关注,直到最近几个月才看了一些 C++11 的新特性,今后几篇博客我都会写一些关于 C++11 的特性,算是记录一下自己学到的东西吧,和大家共勉。 相信 Li...

2018-08-09 14:42:26

阅读数 245

评论数 0

【MySQL】MYSQL_OPT_WRITE_TIMEOUT MYSQL_OPT_READ_TIMEOUT MYSQL_OPT_CONNECT_TIMEOUT 【mysql 读写超时设置】

背景:解决数据库查询超时设置所做的一些实验     一. 读写超时设置实战   a) 读写超时设置测试代码: <?php ini_set("memory_limit", "10G"); ec...

2018-08-09 09:22:19

阅读数 524

评论数 0

【手把手教你】电子合同的巧妙设计

  作者:杨考   微信 : devin_cn_hd_09_16    欢迎讨论问题 在每次收到阅读者添加微信并开始交流讨论,心理是无比的激动。   一.背景 电子合同向来是各个公司研发人员比较头疼的一个业务。   1、电子合同维护的信息很多,且外观表现形式差异很大   2、电子...

2018-08-03 18:55:27

阅读数 353

评论数 0

【纪念一下】实时用户筛选系统的搭建

  作者:杨考   微信 : devin_cn_hd_09_16    欢迎讨论问题 在每次收到阅读者添加微信并开始交流讨论,心理是无比的激动。   一. 背景介绍: 入职新公司第一周接手日志入库的需求,python工程,边学边开发。终于完成了。第二周腾出人力,开始接手用户筛选系统。 ...

2018-08-03 17:25:14

阅读数 115

评论数 0

web 端操作串口方案 【JavaScript操作串口】【PHP操作串口】【Node js 操作串口】

想使用web操作串口,不论是那种操作语言,先有个正确的方案再考虑如何实现,本文只给出实施方案:   JavaScript无法操作本地文件,所以更不可能直接读写串口   使用 node js 做一个轻量级的 localserver,可以完成执行文件的调起   其中 socket js 是...

2018-08-01 17:45:10

阅读数 772

评论数 0

【基础知识】内排序算法

  内排序【排序部分基本都是直接插入来实现】     稳定排序的概念 排序(Sorting) 是计算机程序设计中的一种重要操作,它的功能是将一个数据元素(或记录)的任意序列,重新排列成一个关键字有序的序列。 稳定度(稳定性) 一个排序算法是稳定的,就是当有两个相等记录的关键字R和S,且...

2018-08-01 10:09:32

阅读数 53

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭