2015年03月_黑夜路人

11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 [转]OpenTSDB监控系统的研究和介绍

介绍开源监控系统OpenTSDB，它用hbase存储所有的时序（无须采样）来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics，支持永久存储，可以做容量规划，并很容易的接入到现有的报警系统里。OpenTSDB可以从大规模的集群（包括集群中的网络设备、操作系统、应用程序）中获取相应的metrics并进行存储、索引以及服务，从而使得这些数据更容易让人理解，如web化，图形化等。

2015-03-22 17:24:16 4760

原创【原创】PHP扩展开发进阶

本文是介绍初步PHP工作机制之上，介绍PHP内核中变量的实现.在此基础上,才能将需要的功能,使用zend api在PHP扩展中实现

2015-03-15 00:19:06 6996

转载 [转] MyCat：取代Cobar的数据库中间件

MyCAT基于阿里开源的Cobar产品而研发，Cobar的稳定性、可靠性、优秀的架构和性能，以及众多成熟的使用案例使得MyCAT一开始就拥有一个很好的起点。MyCAT是一个彻底开源的，面向企业应用开发的“大数据库集群” 支持事务、ACID、可以替代Mysql的加强版数据库；一个可以视为“Mysql”集群的企业级数据库，用来替代昂贵的Oracle集群；融合内存缓存技术、Nosql技术等，是一个新颖的数据库中间件产品。

2015-03-14 18:58:04 10168

原创【原创】PHP 7内核之HashTable实现

PHP开发的主干已经切换到大版本7了，这个版本Zend引擎改变很大，可以说是一个全新的版本，因此新的Zend引擎被命名为NG。在这个大版本中变量以及hash表变动也很大

2015-03-14 15:20:30 6008 1

转载 [转]基于mysql数据库binlog的增量订阅&消费中间件：Canal

背景早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps. 目前内部使用的同步，已经支持mysql5.x和oracle部分版本的日志解析基于日志增量订阅

2015-03-14 14:55:08 5134

转载 [转]机器学习工具：scikit-learn/Weka

开源机器学习工具scikit-learn入门Scikit-Learn是基于python的机器学习模块，基于BSD开源许可证。这个项目最早由DavidCournapeau 在2007 年发起的，目前也是由社区自愿者进行维护。Scikit-Learn的官方网站是http://scikit-learn.org/stable/，在上面可以找到相关的Scikit-Learn的资源，模块下载，文档，例程等等。

2015-03-12 18:28:06 5566

转载 [转]机器学习算法库：liblinear/LibShortText

SVM原理简介：最大间隔分类器SVM是一种二类分类模型，其求解目标在于确定一个分类的超平面，以最大化特征空间上的间隔。分类超平面的确定只取决于少数的样本信息，这些关键的样本被称之为支持向量Support Vector，这也是SVM—支持向量机名称的由来。首先我们举一个二维空间的小例子，并假设样本是线性可分的，这样我们就可以在二维空间里划一条直线（高维空间的超平面在二维空间表现为直线），完全分开所有

2015-03-12 18:15:35 6496

转载 [转]微信、陌陌等著名IM软件设计架构详解

对微信、陌陌等进行了分析，发出来分享一下（时间有些久了）有兴趣的同学可以加入群：369511307。电量：对于移动设备最大的瓶颈就是电量了。因为用户不可能随时携带电源，充电宝。所以必须考虑到电量问题。那就要检查我们工程是不是有后台运行，心跳包发送时间是不是合理。流量：对于好多国内大部分屌丝用户来说可能还是包月30M，那么我们必须站在广大用户角度来考虑问题了。一个包可以解决的就一个包。网络：这个也是

2015-03-11 18:32:27 6363 1

转载 [转]Linux块设备加速缓存bcache和dm-cache：使用SSD来加速服务器

dm-cache 与 bcache在 LSFMM 2013 峰会上，Mike Snitzer, Kent Overstreet, Alasdair Kergon, 和 Darrick Wong 共同主持了一个讨论，内容是关于两个彼此独立的块设备层缓存方案 —— dm-cache 和 bcache。 Snitzer 首先介绍了 3.9 kernel 引入的 dm-cache。这个方案使用率内核中的

2015-03-10 21:51:08 16154

转载 [转]libsvm介绍及使用

支持向量机简介支持向量机SVM是从线性可分情况下的最优分类面提出的。所谓最优分类，就是要求分类线不但能够将两类无错误的分开，而且两类之间的分类间隔最大，前者是保证经验风险最小（为0），而通过后面的讨论我们看到，使分类间隔最大实际上就是使得推广性中的置信范围最小。推广到高维空间，最优分类线就成为最优分类面。支持向量机是利用分类间隔的思想进行训练的，它依赖于对数据的预处理，即，在更高维的空

2015-03-10 21:16:13 4979

转载 [转]自动化运维工具Ansible

自动化运维工具Ansible详细部署==========================================================================================一、基础介绍======================================================================================

2015-03-09 11:02:23 5257

转载 [转]文档去重算法：SimHash和MinHash

simhash与重复信息识别来源：http://grunt1223.iteye.com/blog/964564在工作学习中，我往往感叹数学奇迹般的解决一些貌似不可能完成的任务，并且十分希望将这种喜悦分享给大家，就好比说：“老婆，出来看上帝”…… 随着信息爆炸时代的来临，互联网上充斥着着大量的近重复信息，有效地识别它们是一个很有意义的课题。例如，对于搜索引擎的爬虫系统来说，收录重复的网页是毫无意义的

2015-03-07 16:47:24 62017 5

转载 [转]百度搜索研发部：日志分析方法概述

日志在计算机系统中是一个非常广泛的概念，任何程序都有可能输出日志：操作系统内核、各种应用服务器等等。日志的内容、规模和用途也各不相同，很难一概而论。本文讨论的日志处理方法中的日志，仅指Web日志。其实并没有精确的定义，可能包括但不限于各种前端Web服务器——apache、lighttpd、tomcat等产生的用户访问日志，以及各种Web应用程序自己输出的日志。在Web日志中，每条日志通常代表着用户

2015-03-06 22:20:40 2425

转载 [转]主流列式数据库评测:InfiniDB和MonetDB

【IT168 专稿】在本系列的前2篇文章（主流列式数据库评测:南大通用GBase 8a和主流列式数据库评测之Infobright）中，列式存储数据库GBase 8a和Infobright给我们的印象是虽然在数据压缩上面有一些优势，整体查询性能还是落后于传统数据库的，下面要介绍的Calpont公司的基于MySQL的InfiniDB和学术组织开发的MonetDB在性能方面有更好的表现。　　一、安装

2015-03-06 22:14:59 4695

转载 [转]大数据分析的十二个解决方案

当数据以成百上千TB不断增长的时候，我们需要一种独特技术来应对这种前所未有的挑战。大数据分析迎来大时代全球各行各业的组织机构已经意识到，最准确的商务决策来自于事实，而不是凭空臆想。这也就意味着，他们需要在内部交易系统的历史信息之外，采用基于数据分析的决策模型和技术支持。互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论，成为了海量信息的多种形式。极具挑战性的是，

2015-03-06 22:05:27 5278

转载 [转]RocksDB介绍：一个比LevelDB更彪悍的引擎

RocksDB基本介绍：嵌入式数据库RocksDB是Facebook基于LevelDB开发的一种嵌入式Key-value存储系统，该数据库能够充分利用闪存的性能，大大提升应用服务器的速度。Rocksdb. 这个开源引擎是基于 Google 的 leveldb 1.5 版本, 但据称做了许多优化, 性能相对 leveldb 有了很大的提升, 而且解决了 leveldb 主动限制写的问题.Facebo

2015-03-06 21:28:29 17506 1

转载 [转]大数据时代的 9 大Key-Value存储数据库

在过去的十年中，计算世界已经改变。现在不仅在大公司，甚至一些小公司也积累了TB量级的数据。各种规模的组织开始有了处理大数据的需求，而目前关系型数据库在可缩放方面几乎已经达到极限。一个解决方案是使用键值（Key-Value）存储数据库，这是一种NoSQL（非关系型数据库）模型，其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据，同时能有效减少读写磁盘的

2015-03-06 18:43:50 1889

PHP&Go程序员的职业规划-黑夜路人.1.2.pptx

2020年3月份的时候，给我们公司大概1900名技术伙伴进行了在线的这个分享，分享内容主要是讨论一个PHP/Go 程序员如何进行个人的发展和规划，每个技术人员在发展过程中都会遇到这个问题，也从一个程序员的视角进行了个人经验总结和思考。今天把相应分享PPT分享，希望给每一位PHP/Go程序员有一些参考意义。

2020-07-08