自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 【三个臭皮匠】日志处理系统之Hbase优化历程

  三个臭皮匠【参与人】: 振远、光鑫和me   一、背景 日志收集并入hbase   1、框架 2、日志量 每日产生数十亿条日志,其中有15%~20%为有效日志,hbase高峰期有效日志的写入QPS为25万/秒。   3、日志过滤 80%的日志需要过滤掉【由于特殊性,无...

2018-08-28 21:18:09 695 0

原创 【程序人生】茫然回首,已是中年

一.作者介绍 计算机专业,北漂一代,程序猿,计算机行业雨露均沾   二.教育背景 1.入学 高考志愿填报不当 高分、二流学校 本校计算机专业第一名成绩 2.毕业 2005年带着一堆证书,2天奋战,打开一扇门,关闭了另一扇门,生活从头开始。   3.找工作感悟 找工作时,...

2018-08-24 11:42:37 423 2

原创 【小题大做】日志系统设计注意事项【日志并发写入】

作者:杨考   微信 : devin_cn_hd_09_16    欢迎讨论问题 在每次收到阅读者添加微信并开始交流讨论,心理是无比的激动。   一、日志系统的需求和设计目标   最基本的需求【下图黑色部分所示】 : 完成日志写入文件,保证无丢失,不影响正常业务,检测写入异常   关...

2018-08-20 17:31:43 960 0

原创 【小题大做】【redis】redis expire 时间设置为 1秒

  【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16   一、背景   不做详细说明,有朋友自己设计了一个redis锁,使用 setnx 之后,通过 expire(1)设置的超时。发现会有偶发的 expire 失败,以及redis锁节点一致无法删除。  ...

2018-08-15 12:13:03 2384 0

原创 【小题大做】唯一ID、分布式唯一ID的生成实战

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16     一、背景 今天接到一个非常逗比的需求,按时间顺序展示一个订单的状态、信息流转顺序。 需求很明确,数据很模糊,而且是多个数据来源,还需要一定的去重、非去重之后,将有效数据保留下来。 看着需求就有...

2018-08-15 11:58:30 370 0

原创 账务实时交易系统设计思考-【第七节】-思考总结

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16 本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。   全量版             https://blog.csdn.net/yk200808/art...

2018-08-13 10:06:20 229 0

原创 账务实时交易系统设计思考-【第六节】-使用建议

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16 本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。   全量版             https://blog.csdn.net/yk200808/art...

2018-08-13 10:05:16 199 0

原创 账务实时交易系统设计思考-【第五节】-准确性

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16 本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。   全量版             https://blog.csdn.net/yk200808/art...

2018-08-13 10:04:11 213 0

原创 账务实时交易系统设计思考-【第四节】-热点问题

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16 本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。   全量版             https://blog.csdn.net/yk200808/art...

2018-08-13 10:02:50 375 0

原创 账务实时交易系统设计思考-【第三节】-功能设计

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16 本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。   全量版             https://blog.csdn.net/yk200808/art...

2018-08-13 10:01:00 754 0

原创 账务实时交易系统设计思考-【第二节】-业务分析

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16 本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。   全量版             https://blog.csdn.net/yk200808/art...

2018-08-13 09:59:16 729 0

原创 账务实时交易系统设计思考-【第一节】-业务简介

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16 本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。   全量版             https://blog.csdn.net/yk200808/art...

2018-08-13 09:56:20 404 0

转载 【PHP】内核知识

[译] PHP7 数组:HashTable       简介   几乎每个C程序中都会使用到哈希表。鉴于C语言只允许使用整数作为数组的键名,PHP 设计了哈希表,将字符串的键名通过哈希算法映射到大小有限的数组中。这样无法避免的会产生碰撞,PHP 使用了链表解决这个问题。 众多哈希表的...

2018-08-09 16:36:44 144 0

转载 【C++】并发编程 Promise, Future 和 Callback

  在并发编程中,我们通常会用到一组非阻塞的模型:Promise,Future 和 Callback。其中的 Future 表示一个可能还没有实际完成的异步任务的结果,针对这个结果可以添加 Callback 以便在任务执行成功或失败后做出对应的操作,而 Promise 交由任务执行者,任务执行者...

2018-08-09 16:17:06 557 0

转载 【C++】C++11 并发指南系列

  C++11 并发指南一(C++11 多线程初探)   引言   C++11 自2011年发布以来已经快两年了,之前一直没怎么关注,直到最近几个月才看了一些 C++11 的新特性,今后几篇博客我都会写一些关于 C++11 的特性,算是记录一下自己学到的东西吧,和大家共勉。 相信 Li...

2018-08-09 14:42:26 1454 0

原创 【MySQL】MYSQL_OPT_WRITE_TIMEOUT MYSQL_OPT_READ_TIMEOUT MYSQL_OPT_CONNECT_TIMEOUT 【mysql 读写超时设置】

背景:解决数据库查询超时设置所做的一些实验     一. 读写超时设置实战   a) 读写超时设置测试代码: <?php ini_set("memory_limit", "10G"); echo "\nenter tes...

2018-08-09 09:22:19 2127 0

原创 【手把手教你】电子合同的巧妙设计

作者:杨考 微信 : devin_cn_hd_09_16 欢迎讨论问题 在每次收到阅读者添加微信并开始交流讨论,心理是无比的激动。 一.背景 电子合同向来是各个公司研发人员比较头疼的一个业务。 1、电子合同维护的信息很多,且外观表现形式差异很大 2、电子合同是一个人工操作...

2018-08-03 18:55:27 1582 0

原创 【纪念一下】实时用户筛选系统的搭建

  作者:杨考   微信 : devin_cn_hd_09_16    欢迎讨论问题 在每次收到阅读者添加微信并开始交流讨论,心理是无比的激动。   一. 背景介绍: 入职新公司第一周接手日志入库的需求,python工程,边学边开发。终于完成了。第二周腾出人力,开始接手用户筛选系统。 ...

2018-08-03 17:25:14 207 0

原创 web 端操作串口方案 【JavaScript操作串口】【PHP操作串口】【Node js 操作串口】

想使用web操作串口,不论是那种操作语言,先有个正确的方案再考虑如何实现,本文只给出实施方案:   JavaScript无法操作本地文件,所以更不可能直接读写串口   使用 node js 做一个轻量级的 localserver,可以完成执行文件的调起   其中 socket js 是...

2018-08-01 17:45:10 2105 0

原创 【基础知识】内排序算法

  内排序【排序部分基本都是直接插入来实现】     稳定排序的概念 排序(Sorting) 是计算机程序设计中的一种重要操作,它的功能是将一个数据元素(或记录)的任意序列,重新排列成一个关键字有序的序列。 稳定度(稳定性) 一个排序算法是稳定的,就是当有两个相等记录的关键字R和S,且...

2018-08-01 10:09:32 106 0

原创 kafka消费延时解决实战【意想不到的消费逻辑优化】

    一、背景   日志收集并入hbase 1、框架   2、日志量 每日产生数十亿条日志,其中有15%~20%为有效日志,高峰期有效日志的写入QPS为25万/秒。   3、日志过滤 80%的日志需要过滤掉【由于特殊性,无法将需要的日志生成到一个指定文件,这里不做过多讨...

2018-07-31 09:51:56 13161 3

原创 【GO】Elasticsearch的简单写入和读取示例

    下载pkg go get gopkg.in/olivere/elastic.v5   修改import项 import "gopkg.in/olivere/elastic.v5"   源代码   package main import (  ...

2018-07-19 16:22:59 3685 1

原创 【GO】实践秒懂闭包

测试代码: // defer_print.go package main   import ( "fmt" "reflect" )   func main() { func_c := close_func()...

2018-07-18 16:00:37 272 0

原创 【GO】import package 的写法

【背景】尝试定义一个公共变量,供其它文件读取   【测试工程】 kafka 目录下包含 kafka_consumer.go 、kafka_producer.go 、kconst/const.go。 为了方便测试文件管理,因此各种文件都定义在了kafka目录下 kconst/const.go...

2018-07-17 18:59:25 944 0

转载 【GO】操作mysql数据库

1.下载并导入数据库驱动包 官方不提供实现,先下载第三方的实现,点击这里查看各种各样的实现版本。 这里选择了Go-MySQL-Driver这个实现。地址是:https://github.com/go-sql-driver/mysql/。 然后按照里面的说明下载驱动包: $ go get g...

2018-07-17 16:18:01 832 0

转载 【GO】连接mysql操作示例增删改查

golang本身没有提供连接mysql的驱动,但是定义了标准接口供第三方开发驱动。这里连接mysql可以使用第三方库,第三方库推荐使用https://github.com/Go-SQL-Driver/MySQL这个驱动,更新维护都比较好。下面演示下具体的使用,完整代码示例可以参考最后。 下载驱动...

2018-07-17 16:10:30 146 0

转载 【Go】实例分析GoLang built-in数据结构map的赋值引用行为

备注1:本文旨在介绍Go语言中map这个内置数据结构的引用行为,并用实例来说明如何避免这种引用行为带来的“副作用”。 备注2:文末列出的参考资料均来自GoLang.org官方文档,需翻墙访问。 1. map internals map是go中内置的数据结构,关于其语法规则,可以查看languag...

2018-07-17 15:56:28 99 0

转载 【Go】遍历map时的key随机化问题及解决方法

之前的一篇笔记曾分析过,Go的map在底层是用hashmap实现的。由于高效的hash函数肯定不是对key做顺序散列的,所以,与其它语言实现的hashmap类似,在使用Go语言map过程中,key-value的插入顺序与遍历map时key的访问顺序是不相同的。熟悉hashmap的同学对这个情况应该...

2018-07-17 15:51:03 629 0

原创 用余额快照秒级导出实现财务报表

发送到发送到

2018-07-03 09:50:00 560 0

原创 【手把手教你】脚本优化实践分享--解放CPU

发发呆

2018-06-26 10:41:04 311 0

原创 【手把手教你】服务端请求如何处理批量操作?【...... 省略了N张各种表情包】

1、背景产品经理:产品经理过来唠嗑,说我们需要支持一下批量处理多条数据,看一下有什么难点?啥时候可以开发完成?【...... 省略了N张各种表情包】服务端开发人员单个处理很简单,批量处理就是加个循环处理,最多就是通过入参区分一下单个请求的差异。2、开始接锅第一阶段:批量处理相同的内容外侧一个循环就...

2018-06-22 10:18:20 347 1

原创 【一针见血】热点账户

1、热点账户的概念:      热点账户就是在交易过程中,出现频次特别高的账户,交易频次指的是某个时间段的交易频次一直保持在比较高的次数。     如果是数据操作错误重试导致某账户瞬时出现高频操作,则不属于热点账户范畴。2、 热点账户的判别标准    1) 账户每秒有10次以上更新需求    2)...

2018-06-22 09:16:37 1316 1

原创 深入理解 group by【思考点滴】

网上搜索 group by,结果一大堆,千篇一律 ……现在从浅入深的讲一下 group by的应用1、group by的作用        group by 简单来讲,就是分组,配合计算使用,计算方法如SUM、count、avg、max、min等…        应用举例 : 从交易表中查询出今天...

2018-06-21 10:21:32 4722 2

原创 账务实时交易系统设计思考

【思考点滴】 作者 : 杨考  微信号 : devin_cn_hd_09_16 本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。     1.概念 账务交易主要是指,在资金流发生的时候,需要根据资金的流入和流出情况,对涉及的账户金额进行增加和...

2018-06-21 09:58:09 6354 2

提示
确定要删除当前文章?
取消 删除