彩色蚂蚁-CSDN博客

原创 Tachyon架构分析和现存问题讨论

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/Tachyon是AmpLab的Li Haoyuan所开发的一个基于内存的分布式文件系统，出发点是作为AMPLAB的BDAS的一个组成部分总体设计思想从Tachyon的设计目

2014-03-28 11:32:40 19017 2

原创 Memcached 及 Redis 架构分析和比较

Memcached和Redis作为两种Inmemory的key-value数据库，在设计和思想方面有着很多共通的地方，功能和应用方面在很多场合下(作为分布式缓存服务器使用等) 也很相似，在这里把两者放在一起做一下对比的介绍

2014-03-12 14:27:54 109042 2

原创快速理解Docker - 容器级虚拟化解决方案

简单的说Docker是一个构建在LXC之上的,基于进程容器(Processcontainer)的轻量级VM解决方案

2014-03-06 09:52:01 233435 13

原创 Spark internal - 多样化的运行模式（下）

上一篇中介绍了Spark的各种运行模式的基本流程和相关实现，这里主要分析一下各种运行模式中涉及到的一些细节问题的流程和实现

2014-01-21 14:25:54 9051

原创 Spark internal - 多样化的运行模式（上）

Spark的运行模式多种多样，在单机上既可以以本地模式运行，也可以以伪分布式模式运行。而当以分布式的方式运行在Cluster集群中时，底层的资源调度可以使用Mesos 或者是Hadoop Yarn ，也可以使用Spark自带的Standalone Deploy模式

2014-01-20 10:43:29 17341

原创水推磨轮转-Google的大规模流式处理系统MillWheel

MillWheel的设计目标是提供一个大规模分布式的低延迟流式数据处理框架。和其它的Streaming Processing系统 (e.g. storm) 类似，MillWheel的数据处理流程框架基本上就是一个由用户自定义的处理单元（MillWheel里叫computation）按照一定的拓扑结构连接在一起的一个有向图

2013-10-28 15:45:17 8864 1

原创快速理解SAMZA, streaming on kafka

samza是一个分布式的流式数据处理框架（streaming processing），它是基于Kafka消息队列来实现类实时的流式数据处理的。(准确的说，samza是通过模块化的形式来使用kafka的，因此可以构架在其他消息队列框架上，但出发点和默认实现是基于kafka)

2013-09-27 10:10:41 15111 1

原创快速理解Kafka分布式消息队列框架

Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue)。kafka开发的主要初衷目标是构建一个用来处理海量日志，用户行为和网站运营统计等的数据处理框架。在结合了数据挖掘，行为分析，运营监控等需求的情况下，需要能够满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求。从需求的根本上来说，高吞吐率是第一要求，其次是实时性和持久性。

2013-09-27 10:05:14 75355 3

原创粗看WASP ：Alibaba的海量数据分布式数据库探索

Wasp是阿里集团开发的基于HBase的一个数据库方案，其根本出发点是仿效Google的Megastore，“在HBase系统上不牺牲线性拓展能力的同时又能提供跨行事务、索引、SQL的功能”

2013-07-30 14:42:38 5569 2

原创论文阅读笔记 - TAO: Facebook'sDistributed Data Store for the Social Graph

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/column/details/cloudpaper.html ==目标问题 == TAO的目标问题是构建一个在Faceb

2013-07-01 10:58:55 7729

原创论文阅读笔记 - YARN : Architecture of Next Generation Apache Hadoop MapReduceFramework

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145==目标问题 == 下一代的Hadoop框架，支持1

2013-06-21 15:53:14 4301

原创论文阅读笔记 - Mesos: A Platform for Fine-Grained ResourceSharing in the Data Center

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145==目标问题 == 为了提高资源的利用率以及满足不同

2013-06-21 10:13:09 5188

原创论文阅读笔记 - Omega: flexible,scalable schedulers for large compute clusters

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145 关键字集群调度 ==目标问题 ==

2013-06-20 10:50:09 4203

原创论文阅读笔记 - Spanner: Google'sGlobally-Distributed Database

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145关键字Spanner,外部一致性,跨机房,

2013-06-19 11:12:44 6572

原创快速理解 Phoenix : SQL on HBASE

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多云计算相关项目快速理解文档 http://blog.csdn.net/colorant/article/details/8255910==是什么 == 目标Scope Eas

2013-03-07 09:41:59 22540

原创论文阅读笔记 - MapReduce : Simplified Data Processing on Large Clusters

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145 关键字MapReduce分布式计算

2013-01-25 09:50:29 7374

原创论文阅读笔记 - The Google File System

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145 关键字GFS分布式文件系统 ==目标问题 ==

2013-01-25 09:38:15 4157

原创论文阅读笔记 - Megastore : ProvidingScalable, Highly Available Storage for Interactive Services

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145关键字跨机房，数据同步，paxos，一致性，Google

2013-01-17 11:27:27 3994

原创论文阅读笔记 - Bigtable: A Distributed Storage Systemfor Structured Data

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145 关键字Bigtable GFS分布式数据库 ==

2013-01-17 11:19:08 5371

原创 HBase MapReduce Job 某些节点随机慢的问题的研究

这段时间在做HBase的MR Scan的时候遇上了一个Random Lag behind Task的问题，花了很长时间Trouble shooting，其间使用各种工具，脚本profile了各种参数，过程大致Share如下，很长，有兴趣的同学随便看看,一开始用英文写的，太长，懒得用中文再写一遍了: === Environment === 1 master node + 4

2013-01-16 17:08:26 3810

原创 Zookeeper 快速理解

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多云计算相关项目快速理解文档 http://blog.csdn.net/colorant/article/details/8255910==是什么 == 目标Scope（解

2012-12-27 16:27:14 10783 1

原创论文阅读笔记 - Chubby: The Chubby lock service for loosely-coupled distributed systems

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145关键字Chubby, Paxos,分布式锁服务

2012-12-25 09:49:49 5709

原创论文阅读笔记 - Paxos made live

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145关键字Paxos, 实现,可靠性，性能，Chubby ==

2012-12-25 09:47:08 7196

原创论文阅读笔记 - Paxos made simple

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145关键字Paxos，一致性 ==目标问题 ==

2012-12-25 09:15:46 7509

原创 Hadoop小集群上减少MR任务调度延迟

作者：刘旭晖 Raymond转载请注明出处Email：colorant at163.comBLOG：http://blog.csdn.net/colorant/ 最近在Hadoop1.0.4稳定版上搭的1+4节点上运行MR Job,遇到一些Latency的问题,记录Share一下在 hadoop 1.0.4的版本中,Jjobtracker默认的最小Heartbe

2012-12-13 10:36:38 3486 2

原创 Hadoop与大数据技术大会2012PPT阅读笔记

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多文档论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145以下是Hadoop与大数据技术大会 2012 的一些PP

2012-12-10 15:23:23 6492

原创论文阅读笔记 - Pregel

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145阅读笔记 - Pregel: A System for Large-Scal

2012-12-04 15:42:44 7890

原创论文阅读笔记- Dremel

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145阅读笔记 - Dremel: Interactive Ana

2012-12-04 15:39:08 4332

原创 Storm快速理解

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多云计算相关项目快速理解文档 http://blog.csdn.net/colorant/article/details/8255910==是什么 == 目标Scope（解决什么问

2012-12-04 15:17:51 8641 1

原创 Spark 快速理解

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多云计算相关项目快速理解文档 http://blog.csdn.net/colorant/article/details/8255910==是什么 == 目标Scope（解决什么问

2012-12-04 15:02:07 35294 3

原创云计算相关项目快速理解

这个是一个汇总贴，希望能不断更新文档的目标和内容：云计算/数据库相关的软件项目多如牛毛，写这些文档的主要目的，一方面是作为自己的学习笔记，另一方面也是希望能够给那些只打算快速扫描理解一下这些项目的基本框架原理的TX一些帮助。因为是快速理解，所以我试图以尽可能简短的篇幅总结该项目的目标，解决的问题，为什么能解决相关问题，架构的核心关键是什么，与其它架构的区别，在上下游

2012-12-04 14:50:48 5342

原创云计算和数据库相关论文阅读

这个是一个汇总贴，希望能不断更新文档的目标和内容：云计算/数据库相关的论文很多，这里的学习笔记，主要是为了自己能够在读完一篇论文后能多少总结一下，可长可短，免得看过就忘，另一方面也希望做分享之用，对一些想要了解大意的朋友有所帮助用中文写的原因很简单，笔记嘛，求快，用中文写也避免自己无脑拷贝，如果你习惯看英文，直接看论文原文就好了；）最后，个人能力有限，也是

2012-12-04 07:33:42 5460

原创 kiji 快速理解

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/更多云计算相关项目快速理解文档 http://blog.csdn.net/colorant/article/details/8255910==是什么 == 目标Scope（解决什么问题）

2012-11-19 09:02:13 5800 1

原创 Hadoop学习笔记 - Sort / TeraSort / TestDFSIO

Hadoop Examples学习笔记作者：刘旭晖Raymond转载请注明出处Email：colorant@163.com BLOG：http://blog.csdn.net/colorant/ 记录一下这几天学习Hadoop的几个测试用例的理解。主要是三个Sort/TeraSort/TestDFSIO, 这几个example一方面可以用来做benchmark，另一方面通过学习

2012-08-10 16:54:55 10162

原创 Chromium音频输出相关简介 - AudioPlayback support in Chromium

Chromium音频输出相关简介 - AudioPlayback support in Chromium作者：刘旭晖Raymond转载请注明出处Email：colorant 163.comBLOG：http://blog.csdn.net/colorant/Chromium中音频输出的主要手段在Chromium中，播放音频数据的手段大概可以归纳为以下几种：使用Embe

2012-05-15 09:45:37 3417

原创 Chromium Web Audio设计思想

ChromiumWeb Audio设计思想作者：刘旭晖Raymond转载请注明出处Email：colorant 163.comBLOG：http://blog.csdn.net/colorant/ 本文是我在参与W3C Web Audio的相关的工作时对其设计思想的一点理解，对于WebAudio是什么，以及如何使用，本文不打算做过多的介绍，因此这里假定你使用过W3CWeb Au

2012-05-10 10:43:47 3029

原创【TIPS】Ubuntu 远程桌面不更新

问题描述： 在Ubuntu 10.04 或者更早的发行版中，使用远程桌面，在Client端看不见server端桌面内容的更新。 解决： 这个问题通常在装了NVidia驱动的机器上发生，应该是驱动或者窗口管理器的bug，没有触发远程更新。简单的解决办法就是关闭桌面的Visual Effect

2010-10-15 09:12:00 2939

原创 QT样式表

QT样式表 (QStyleSheet)作者：刘旭晖 Raymond 转载请注明出处Email：colorant@163.comBLOG：http://blog.csdn.net/colorant/ 除了子类化Style类，使用QT样式表（QStyleSheet）是另一种快速改变QT程序UI风格的方法，它很大程度上借鉴和参考了HTML层叠样式表的语法和思想。其效果叠加在Style的基础上

2010-03-11 10:18:00 21238

原创 QT 样式风格

QT 样式风格(Style Mechanism) 作者：刘旭晖 Raymond 转载请注明出处Email：colorant@163.comBLOG：http://blog.csdn.net/colorant/ QT Style的机制和GTK的Style机制很类似，基本上就是定义了一个基础的Style类，在Style类里面定义一系列的绘图相关函数接口，具体风格的Style类实现了

2010-03-11 09:54:00 9004

原创 QT 布局管理

QT 布局管理作者：刘旭晖 Raymond 转载请注明出处Email：colorant@163.comBLOG：http://blog.csdn.net/colorant/ 狭义的说，QT的布局管理框架指的是以QLayoutItem/QLayout为基类的布局管理体系（应该说，对于QGraphicsSystem，还有以QGraphicsLayoutItem/QGraphicsLayo

2010-03-11 09:45:00 10587

ETSI TS 102 223 V8.20 Smart Cards : Card Application Toolkit

佳能EOS相机闪光摄影

gamma曲线计算工具

计算YUV转RGB的EXCEL表格

空空如也