yk200808的博客

 三个臭皮匠【参与人】: 振远、光鑫和me 一、背景日志收集并入hbase 1、框架2、日志量每日产生数十亿条日志，其中有15%~20%为有效日志，hbase高峰期有效日志的写入QPS为25万/秒。 3、日志过滤80%的日志需要过滤掉【由于特殊性，无法将需要的日志生成到一个指定文件，这里不做过多讨论】 4、机器部署4台机器，kafka80...

一.作者介绍计算机专业，北漂一代，程序猿，计算机行业雨露均沾 二.教育背景1.入学高考志愿填报不当高分、二流学校本校计算机专业第一名成绩2.毕业2005年带着一堆证书，2天奋战，打开一扇门，关闭了另一扇门，生活从头开始。 3.找工作感悟找工作时，才发现所有大学的课程都是有用的。编程语言、数据结构、数学、算法、操作系统、微机原理、模拟电子技术、...

作者：杨考   微信 : devin_cn_hd_09_16    欢迎讨论问题在每次收到阅读者添加微信并开始交流讨论，心理是无比的激动。 一、日志系统的需求和设计目标 最基本的需求【下图黑色部分所示】 : 完成日志写入文件，保证无丢失，不影响正常业务，检测写入异常 关注的性能、和衍生需求【下图绿色部分所示】 : 日志的可读性、写入性能、并发写入控制等 终极目标...

 【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16 一、背景 不做详细说明，有朋友自己设计了一个redis锁，使用 setnx 之后，通过 expire(1)设置的超时。发现会有偶发的 expire 失败，以及redis锁节点一致无法删除。 二、问题分析 1、首先在生产环境中，不建议使用 setnx + expire的方式来实现锁...

【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来，由于CSDN文章图片丢失，又补了一次图片。同时进行了章节拆分。 全量版             https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介    https://blog.csdn...

【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来，由于CSDN文章图片丢失，又补了一次图片。同时进行了章节拆分。 全量版             https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介    https://blog.csdn...

【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来，由于CSDN文章图片丢失，又补了一次图片。同时进行了章节拆分。 全量版             https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介    https://blog.csdn...

【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来，由于CSDN文章图片丢失，又补了一次图片。同时进行了章节拆分。 全量版             https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介    https://blog.csdn...

【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来，由于CSDN文章图片丢失，又补了一次图片。同时进行了章节拆分。 全量版             https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介    https://blog.csdn...

【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来，由于CSDN文章图片丢失，又补了一次图片。同时进行了章节拆分。 全量版             https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介    https://blog.csdn...

【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来，由于CSDN文章图片丢失，又补了一次图片。同时进行了章节拆分。 全量版             https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介    https://blog.csdn...

[译] PHP7 数组：HashTable   简介 几乎每个C程序中都会使用到哈希表。鉴于C语言只允许使用整数作为数组的键名，PHP 设计了哈希表，将字符串的键名通过哈希算法映射到大小有限的数组中。这样无法避免的会产生碰撞，PHP 使用了链表解决这个问题。众多哈希表的实现方式，无一完美。每种设计都着眼于某一个侧重点，有的减少了 CPU 使用率，有的更合理地使用内存，有...

 C++11 并发指南一(C++11 多线程初探) 引言 C++11 自2011年发布以来已经快两年了，之前一直没怎么关注，直到最近几个月才看了一些 C++11 的新特性，今后几篇博客我都会写一些关于 C++11 的特性，算是记录一下自己学到的东西吧，和大家共勉。相信 Linux 程序员都用过 Pthread, 但有了 C++11 的 std::thread 以后，你可以在...

背景：解决数据库查询超时设置所做的一些实验  一. 读写超时设置实战 a) 读写超时设置测试代码:<?phpini_set("memory_limit", "10G");echo "
enter test time out
"; function connect($conf){    $host = $conf['host'];    $por...

作者：杨考 微信 : devin_cn_hd_09_16 欢迎讨论问题在每次收到阅读者添加微信并开始交流讨论，心理是无比的激动。一.背景电子合同向来是各个公司研发人员比较头疼的一个业务。1、电子合同维护的信息很多，且外观表现形式差异很大2、电子合同是一个人工操作的应用，因此后台会产生一堆垃圾或者不合法的输入信息3、电子合同是电子版的，...

 作者：杨考   微信 : devin_cn_hd_09_16    欢迎讨论问题在每次收到阅读者添加微信并开始交流讨论，心理是无比的激动。 一. 背景介绍：入职新公司第一周接手日志入库的需求，python工程，边学边开发。终于完成了。第二周腾出人力，开始接手用户筛选系统。用户筛选系统耗时2周+3天完成这短短的18天中，也是入职后的第2周的项目经历。时间紧张到让人怀疑人...

 内排序【排序部分基本都是直接插入来实现】  稳定排序的概念排序(Sorting) 是计算机程序设计中的一种重要操作，它的功能是将一个数据元素（或记录）的任意序列，重新排列成一个关键字有序的序列。稳定度（稳定性）一个排序算法是稳定的，就是当有两个相等记录的关键字R和S，且在原本的列表中R出现在S之前，在排序过的列表中R也将会是在S之前。当相等的元素是无法分辨的，比如像...

  一、背景 日志收集并入hbase1、框架 2、日志量每日产生数十亿条日志，其中有15%~20%为有效日志，高峰期有效日志的写入QPS为25万/秒。 3、日志过滤80%的日志需要过滤掉【由于特殊性，无法将需要的日志生成到一个指定文件，这里不做过多讨论】 4、机器部署4台机器，每台20个线程，kafka80个partition 5...

发送到发送到