colorant的专栏

彩色蚂蚁的博客
私信 关注
彩色蚂蚁
码龄15年

专注于云计算大数据领域,Hadoop/Spark等相关开源社区积极贡献者,数据平台,数据仓库相关领域从业者。

  • 1,691,220
    被访问量
  • 119
    原创文章
  • 3,129
    作者排名
  • 1,792
    粉丝数量
  • 目前就职 蘑菇街
  • 于 2006-07-20 加入CSDN
获得成就
  • 博客专家认证
  • 获得309次点赞
  • 内容获得233次评论
  • 获得561次收藏
荣誉勋章
TA的专栏
  • 00.Cloud
    65篇
  • 云计算论文阅读笔记
    19篇
  • 10.Linux内核模块分析
    1篇
  • T10.旅行
    2篇
  • 15.驱动编程
    7篇
  • 20.内核杂项
  • 21.内核ARM体系结构相关
  • 30.调试工具和方法论
    7篇
  • 35.调试记录和分析
    6篇
  • 40.系统集成相关
    7篇
  • 50.输入法
    1篇
  • 60.应用开发
    3篇
  • 65.QT框架基础
    7篇
  • 70.Tips
    1篇
  • 80.读书笔记
    3篇
  • 90.其它
    7篇
统计
  • 最近
  • 文章
  • 资源
  • 问答
  • 课程
  • 帖子
  • 收藏
  • 关注/订阅

如何写好项目规划和方案设计文档

 在工作中,很多时候,我们都需要就一个问题提出一个解决方案,这时候,我们很可能需要产出一个文档来供大家讨论,并指导下一步工作计划。问题可大可小,形式上是否叫它为一个项目并不重要,重要的是为了解决这个问题,项目规划和方案设计的流程是一致的。就大数据平台构建的语言环境来说,它可以是整个平台体系的搭建方案,也可以是具体某个组件如调度系统的建设,还可以是某个具体的功能点或问题改进比如用户任务脚...
原创
61989阅读
6评论
36点赞
发布博客于 3 年前

大数据平台基础架构指南

之前的文章,整理了一下,补充了一些内容,做了一些更新,现已出版上市了。无耻的推广一下哈 ;) 淘宝,JD都有现货,Amazon貌似还是预售状态中感谢博文视点的@侠少,感谢各位替本书写推荐语软文的朋友们,感谢之前蘑菇街大数据团队的各位小伙伴。目录列表:第1章  大数据平台整体建设思想 11.1  什么是大数据平台 11.2  大数据平台的建设目标 31.2.1  别人的大数据平台是怎样的 31.2....
原创
18083阅读
3评论
3点赞
发布博客于 3 年前

Ray - 面向增强学习场景的分布式计算框架

如果关注这个领域的同学可能知道,Ray其实在去年就已经在开源社区正式发布了,只不过后来就一直没有什么太大动静,前段时间也是因为机缘巧合,我又回头学习了解了一下,顺便总结如下:Ray是什么?Ray 是RISELab实验室(前身也就是开发Spark/Mesos等的AMPLab实验室)针对机器学习领域开发的一种新的分布式计算框架。按照官方的定义:“Ray is a flexible, high-perf...
原创
7915阅读
6评论
7点赞
发布博客于 3 年前

大数据平台-元数据管理系统解析

什么是元数据?在前面的集成开发环境建设相关文章中,我们也提到过,元数据MetaData狭义的解释是用来描述数据的数据,广义的来看,除了业务逻辑直接读写处理的那些业务数据,所有其它用来维持整个系统运转所需的信息/数据都可以叫作元数据。比如数据表格的Schema信息,任务的血缘关系,用户和脚本/任务的权限映射关系信息等等。管理这些附加MetaData信息的目的,一方面是为了让用户能够更高效的挖掘和使用...
原创
41281阅读
7评论
14点赞
发布博客于 3 年前

论一个糟糕的大数据码农的自我修养

幸福的家庭都是一样的,不幸的家庭各有各的不幸 - 如何成为一名糟糕的大数据平台开发工程师?
原创
2925阅读
1评论
8点赞
发布博客于 4 年前

深入探讨大数据权限管理方案-从哲学到技术

不论是在技术层面还是在产品层面,大数据平台环境下的权限管理工作都是一个让人伤脑筋的烫手山芋,它不仅仅是一个技术问题,还是一个业务问题,甚至还可能是一个人际沟通和权衡利益得失的哲学问题。。。所以,以下内容分两部分展开,先谈哲学问题,再谈技术问题。
原创
11963阅读
3评论
6点赞
发布博客于 4 年前

大数据开发平台-数据同步服务

同步一切
原创
15780阅读
0评论
3点赞
发布博客于 4 年前

集成开发环境-大数据开发平台的门户

全家桶,来一份?
原创
5328阅读
0评论
2点赞
发布博客于 4 年前

日志采集与用户行为链路跟踪

日志采集这部分内容,其实在上一篇文章 阿里巴巴大数据实践-读书笔记 里面多多少少已经提到了一些。不过正如前文提到的,这部分内容,从技术的角度来说,未必有多么高深,但是从业务角度来说,要做到完善却也很难,特别是在分析用户行为链路的场景下,所以这篇专门来讨论一下这一块的内容。
原创
13884阅读
1评论
1点赞
发布博客于 4 年前

阿里巴巴大数据实践-读书笔记

大数据之路-阿里巴巴大数据实践 读书笔记
原创
3343阅读
1评论
1点赞
发布博客于 4 年前

那些年,我们迁移过的大数据集群

大数据集群迁移这件事,不知道有多少同学做过。我说的不是把一个集群的数据备份到另一个集群上。我指的是整个数据平台与大数据相关的所有集群及业务的迁移工作,从一个机房到另一个机房。这事,我们已经做了三次了。。。
原创
10423阅读
9评论
10点赞
发布博客于 4 年前

数据可视化平台理论与实践

前面说完了大数据开发平台的核心组件,作业调度系统,接下来讨论一下大数据开发平台的脸面之一,数据可视化平台。
原创
19116阅读
7评论
5点赞
发布博客于 4 年前

数据平台作业调度系统详解-实践篇

上一篇文章,讨论了作业调度系统的分类,流派,架构实现方案和各种方案的优缺点以及适用场景,最后还简单总结了理想中,一个完备的工作流作业调度系统,应该具备哪些功能特性。但是,纸上得来终觉浅,绝知此事要躬行。实践才是硬道理。我司刚巧在开发工作流作业调度系统这块有一些实践经验,所以这篇文章来和大家探讨一下过去两年多来,我司Jarvis调度系统的产品功能定位,架构实现以及经验教训。
原创
23808阅读
12评论
10点赞
发布博客于 4 年前

数据平台作业调度系统详解-理论篇

前面放完建设四个现代化大数据平台乌托邦理想的大卫星,接下来的文章得谈谈具体组件的生产大跃进了。第一篇,先来讨论一下大数据开发平台的核心组件之一:作业调度系统。作业调度系统是一个相对复杂的系统,涉及的内容繁杂,针对的场景多种多样,实现的方案千差万别。本文重点谈理论,会先从大的场景划分的角度对市面上的各种调度系统进行分类讨论,然后再针对具体的作业调度系统,探讨一下各自的优缺点
原创
8438阅读
9评论
5点赞
发布博客于 4 年前

谷歌DataFlow编程模型以及Spark/Flink/StreamCQL的相关实现

流式计算框架编程接口的标准化,傻瓜化,SQL化,自打谷歌发表Dataflow编程模型的Paper起,就有走上台面的趋势。各家计算框架都开始认真考虑相关的问题,俨然成为大家竞争的热点方向。在过去一年多的时间里,Beam/Flink/Spark在这方面的努力和相关工作也逐渐落地成熟,实际线上成熟应用的日子看起来指日可待了。 所以,翻出一年多前阅读DataFlow Paper的旧文,更新一下部分过时信息
原创
6888阅读
3评论
2点赞
发布博客于 4 年前

分布式一致性协议Raft,以及难搞的Paxos

分布式一致性协议Raft & Paxos 简单 v.s. 完美
原创
6942阅读
0评论
2点赞
发布博客于 4 年前

“王者荣耀”与大数据平台的产品化思想

以“荣耀”的名义
原创
3648阅读
0评论
1点赞
发布博客于 4 年前

如何构建用户满意的“服务化”数据平台

同志们辛苦了,为人民服务~
原创
3390阅读
1评论
3点赞
发布博客于 4 年前

为建设四个现代化的大数据平台奋斗终身

所以,你要问,做为大数据务虚系列文章的第一篇,就想搞个大新闻,放一个有中国特色的四个现代化的社会主义大数据平台的卫星么?
原创
1419阅读
1评论
1点赞
发布博客于 4 年前

开个公众号 大数据务虚杂谈 ;)

开个公众号: 大数据务虚杂谈
原创
1258阅读
0评论
0点赞
发布博客于 4 年前

简约至上-读书笔记

《简约至上》的内容,可能平时我们自己或多或少也有些体会,但是否足够重视,是否真的认可它的重要性,是否把它们作为出发点和基本原则,贯彻到所做的每一件事情中去。而非景上添花,可有可无的后续改进目标,可能才是看完书以后需要时刻提醒自己的。
原创
1578阅读
0评论
0点赞
发布博客于 4 年前

关于产品,服务,项目开发的碎碎念

鸡汤这玩意,看着有理,但知易行难,如果不实践,或者没有切身体会,,再多都是陈词滥调。
原创
859阅读
0评论
0点赞
发布博客于 5 年前

RC ORC Parquet 格式比较和性能测试

RC ORC Parquet 格式比较和性能测试作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/为什么要比较这三者为什么要比较,起因是为了提高Hadoop集群的存储和计算效率,尤其是离线Hive作业的效率,为什么比较的是这三者,是因为三者是目前Hive离线作业中正在大规模使用或
原创
15249阅读
1评论
6点赞
发布博客于 5 年前

谷歌Dataflow编程模型和spark 2.0 structured streaming

主要介绍一下Dataflow编程模型的基本思想,再简单比较一下spark 2.0 structured streaming的编程模型
原创
7935阅读
4评论
3点赞
发布博客于 5 年前

KUDU - Cloudera开发的又一个Hadoop系存储系统

Kudu是Todd Lipcon@Cloudera带头开发的存储系统,其整体应用模式和HBase比较接近,即支持行级别的随机读写,并支持批量顺序检索功能。定位于应对快速变化数据的快速分析型数据仓库,希望靠系统自身能力,支撑起同时需要高吞吐率的顺序和随机读写的应用场景(可能的场景,比如时间序列数据分析,日志数据实时监控分析),提供一个介于HDFS和HBase的性能特点之间的一个系统,在随机读写和批量扫描之间找到一个平衡点,并保障稳定可预测的响应延迟
原创
25479阅读
5评论
6点赞
发布博客于 5 年前

Mesa - 谷歌近实时分析型数据仓库

Mesa并不是一个从底层开始重新构建的系统,它依托Colossus提供分布式数据存储服务,依托Bigtable做元数据存储。使用MapReduce进行批量数据处理工作。之所以能实现它所声称的这些底层系统所不具备的综合能力(高一致性+原子更新+低延时+近实时+海量吞吐率),其原因还是因为它针对了广告数据的应用场景,采用了各种类似系统的最佳实践和一些特定的Tradeoff策略
原创
9606阅读
1评论
1点赞
发布博客于 5 年前

快速理解 Omid: Yahoo在HBase上的分布式事务方案

OMID是Yahoo构建在HBase上的一个分布式事务解决方案,用来拓展HBase所不支持跨行跨表级别的事务。其定位目标是OLTP类型的事务。类似的系统也有不少,他们或多或少都借鉴了谷歌的Percolator的思想,而omid则有较大的区别,具体区别在哪,下文详细分析。
原创
5784阅读
1评论
1点赞
发布博客于 6 年前

Percolator Google的海量数据增量处理系统

Percolator的目标是在海量规模的数据集上提供增量更新的能力,并通过支持分布式的事务来确保增量处理过程的数据一致性和整体系统的可扩展性。
原创
7399阅读
3评论
2点赞
发布博客于 6 年前

Spark 性能相关参数配置详解-任务调度篇

随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。- 任务调度篇
原创
33983阅读
9评论
1点赞
发布博客于 7 年前

Spark 性能相关参数配置详解-压缩与序列化篇

随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。- 压缩与序列化篇
原创
21879阅读
1评论
0点赞
发布博客于 7 年前

Spark 性能相关参数配置详解-Storage篇

随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。-storage篇
原创
47450阅读
5评论
2点赞
发布博客于 7 年前

Spark 性能相关参数配置详解-shuffle篇

随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。
原创
26947阅读
5评论
3点赞
发布博客于 7 年前

Dryad 微软的分布式运算框架

Dryad的论文是微软早在2007年就发布的,Tez的核心思想来源于Dryad,差不多可以算是Dryad的开源实现吧。最近正好看到几个有趣的项目是基于Tez实现的,于是顺便追本溯源,学习了一下Dryad的理论基础
原创
10878阅读
0评论
6点赞
发布博客于 7 年前

spark internal - 作业调度

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/在Spark中作业调度的相关类最重要的就是DAGScheduler,DAGScheduler顾名思义就是基于DAG图的SchedulerDAG全称 DirectedAcyclic
原创
14443阅读
2评论
4点赞
发布博客于 7 年前

Tachyon架构分析和现存问题讨论

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/Tachyon是AmpLab的Li Haoyuan所开发的一个基于内存的分布式文件系统,出发点是作为AMPLAB的BDAS的一个组成部分 总体设计思想 从Tachyon的设计目
原创
18690阅读
2评论
5点赞
发布博客于 7 年前

Memcached 及 Redis 架构分析和比较

Memcached和Redis作为两种Inmemory的key-value数据库,在设计和思想方面有着很多共通的地方,功能和应用方面在很多场合下(作为分布式缓存服务器使用等) 也很相似,在这里把两者放在一起做一下对比的介绍
原创
106795阅读
2评论
34点赞
发布博客于 7 年前

快速理解Docker - 容器级虚拟化解决方案

简单的说Docker是一个构建在LXC之上的,基于进程容器(Processcontainer)的轻量级VM解决方案
原创
230878阅读
14评论
48点赞
发布博客于 7 年前

Spark internal - 多样化的运行模式 (下)

上一篇中介绍了Spark的各种运行模式的基本流程和相关实现,这里主要分析一下各种运行模式中涉及到的一些细节问题的流程和实现
原创
8822阅读
0评论
1点赞
发布博客于 7 年前

Spark internal - 多样化的运行模式(上)

Spark的运行模式多种多样,在单机上既可以以本地模式运行,也可以以伪分布式模式运行。而当以分布式的方式运行在Cluster集群中时,底层的资源调度可以使用Mesos 或者是Hadoop Yarn ,也可以使用Spark自带的Standalone Deploy模式
原创
17075阅读
0评论
2点赞
发布博客于 7 年前

水推磨轮转-Google的大规模流式处理系统MillWheel

MillWheel的设计目标是提供一个大规模分布式的低延迟流式数据处理框架。和其它的Streaming Processing系统 (e.g. storm) 类似 ,MillWheel的数据处理流程框架基本上就是一个由用户自定义的处理单元(MillWheel里叫computation)按照一定的拓扑结构连接在一起的一个有向图
原创
8516阅读
1评论
1点赞
发布博客于 8 年前

快速理解SAMZA, streaming on kafka

samza是一个分布式的流式数据处理框架(streaming processing),它是基于Kafka消息队列来实现类实时的流式数据处理的。(准确的说,samza是通过模块化的形式来使用kafka的,因此可以构架在其他消息队列框架上,但出发点和默认实现是基于kafka)
原创
14597阅读
1评论
2点赞
发布博客于 8 年前

快速理解Kafka分布式消息队列框架

Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue)。kafka开发的主要初衷目标是构建一个用来处理海量日志,用户行为和网站运营统计等的数据处理框架。在结合了数据挖掘,行为分析,运营监控等需求的情况下,需要能够满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求。从需求的根本上来说,高吞吐率是第一要求,其次是实时性和持久性。
原创
72858阅读
3评论
12点赞
发布博客于 8 年前

粗看WASP :Alibaba的海量数据分布式数据库探索

Wasp是阿里集团开发的基于HBase的一个数据库方案,其根本出发点是仿效Google的Megastore,“在HBase系统上不牺牲线性拓展能力的同时又能提供跨行事务、索引、SQL的功能”
原创
5378阅读
2评论
1点赞
发布博客于 8 年前

论文阅读笔记 - TAO: Facebook'sDistributed Data Store for the Social Graph

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/column/details/cloudpaper.html ==目标问题 == TAO的目标问题是构建一个在Faceb
原创
7006阅读
0评论
0点赞
发布博客于 8 年前

论文阅读笔记 - YARN : Architecture of Next Generation Apache Hadoop MapReduceFramework

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145==目标问题 == 下一代的Hadoop框架,支持1
原创
3935阅读
0评论
0点赞
发布博客于 8 年前

论文阅读笔记 - Mesos: A Platform for Fine-Grained ResourceSharing in the Data Center

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145==目标问题 == 为了提高资源的利用率以及满足不同
原创
4954阅读
0评论
2点赞
发布博客于 8 年前

论文阅读笔记 - Omega: flexible,scalable schedulers for large compute clusters

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145 关键字 集群调度 ==目标问题 ==
原创
3791阅读
0评论
0点赞
发布博客于 8 年前

论文阅读笔记 - Spanner: Google'sGlobally-Distributed Database

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145关键字Spanner,外部一致性,跨机房,
原创
5913阅读
0评论
0点赞
发布博客于 8 年前

THE UNOFFICIAL LEGO TECHNIC BUILDER’S GUIDE

Technic 版的 UNOFFICIAL LEGO BUILDER GUIDE
pdf
发布资源于 8 年前

快速理解 Phoenix : SQL on HBASE

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多云计算相关项目快速理解文档  http://blog.csdn.net/colorant/article/details/8255910==是什么 == 目标Scope Eas
原创
22182阅读
0评论
0点赞
发布博客于 8 年前

论文阅读笔记 - MapReduce : Simplified Data Processing on Large Clusters

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145 关键字MapReduce分布式计算
原创
6629阅读
0评论
1点赞
发布博客于 8 年前

论文阅读笔记 - The Google File System

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145 关键字GFS分布式文件系统 ==目标问题 ==
原创
3840阅读
0评论
1点赞
发布博客于 8 年前

论文阅读笔记 - Megastore : ProvidingScalable, Highly Available Storage for Interactive Services

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145关键字跨机房,数据同步,paxos,一致性,Google
原创
3570阅读
0评论
2点赞
发布博客于 8 年前

论文阅读笔记 - Bigtable: A Distributed Storage Systemfor Structured Data

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145 关键字Bigtable GFS分布式数据库 ==
原创
4595阅读
0评论
1点赞
发布博客于 8 年前

HBase MapReduce Job 某些节点随机慢的问题的研究

这段时间在做HBase的MR Scan的时候遇上了一个Random Lag behind Task的问题,花了很长时间Trouble shooting,其间使用各种工具,脚本profile了各种参数,过程大致Share如下,很长,有兴趣的同学随便看看,一开始用英文写的,太长,懒得用中文再写一遍了: === Environment === 1 master node + 4
原创
3626阅读
0评论
0点赞
发布博客于 8 年前

Zookeeper 快速理解

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多云计算相关项目快速理解文档  http://blog.csdn.net/colorant/article/details/8255910==是什么 == 目标Scope(解
原创
10474阅读
1评论
0点赞
发布博客于 9 年前

论文阅读笔记 - Chubby: The Chubby lock service for loosely-coupled distributed systems

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145关键字Chubby, Paxos,分布式锁服务
原创
5238阅读
0评论
0点赞
发布博客于 9 年前

论文阅读笔记 - Paxos made live

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145关键字Paxos, 实现,可靠性,性能,Chubby ==
原创
6932阅读
0评论
0点赞
发布博客于 9 年前

论文阅读笔记 - Paxos made simple

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145关键字Paxos,一致性 ==目标问题 ==
原创
7235阅读
0评论
0点赞
发布博客于 9 年前

Hadoop小集群上减少MR任务调度延迟

作者:刘旭晖 Raymond转载请注明出处Email:colorant at163.comBLOG:http://blog.csdn.net/colorant/ 最近在Hadoop1.0.4稳定版上搭的1+4节点上运行MR Job,遇到一些Latency的问题,记录Share一下在 hadoop 1.0.4的版本中,Jjobtracker默认的最小Heartbe
原创
3278阅读
2评论
1点赞
发布博客于 9 年前

Hadoop与大数据技术大会2012PPT阅读笔记

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多文档论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145以下是Hadoop与大数据技术大会 2012 的一些PP
原创
6253阅读
0评论
1点赞
发布博客于 9 年前

论文阅读笔记 - Pregel

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145阅读笔记 - Pregel: A System for Large-Scal
原创
7524阅读
0评论
2点赞
发布博客于 9 年前

论文阅读笔记- Dremel

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145阅读笔记 - Dremel: Interactive Ana
原创
3863阅读
0评论
1点赞
发布博客于 9 年前

Storm快速理解

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多云计算相关项目快速理解文档  http://blog.csdn.net/colorant/article/details/8255910==是什么 == 目标Scope(解决什么问
原创
8344阅读
1评论
4点赞
发布博客于 9 年前

Spark 快速理解

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多云计算相关项目快速理解文档  http://blog.csdn.net/colorant/article/details/8255910==是什么 == 目标Scope(解决什么问
原创
34786阅读
3评论
1点赞
发布博客于 9 年前

云计算相关项目快速理解

这个是一个汇总贴,希望能不断更新文档的目标和内容: 云计算/数据库相关的软件项目多如牛毛,写这些文档的主要目的,一方面是作为自己的学习笔记,另一方面也是希望能够给那些只打算快速扫描理解一下这些项目的基本框架原理的TX一些帮助。 因为是快速理解,所以我试图以尽可能简短的篇幅总结该项目的目标,解决的问题,为什么能解决相关问题,架构的核心关键是什么,与其它架构的区别,在上下游
原创
4677阅读
0评论
0点赞
发布博客于 9 年前

云计算和数据库相关论文阅读

这个是一个汇总贴,希望能不断更新文档的目标和内容: 云计算/数据库相关的论文很多,这里的学习笔记,主要是为了自己能够在读完一篇论文后能多少总结一下,可长可短,免得看过就忘,另一方面也希望做分享之用,对一些想要了解大意的朋友有所帮助 用中文写的原因很简单,笔记嘛,求快,用中文写也避免自己无脑拷贝,如果你习惯看英文,直接看论文原文就好了;) 最后,个人能力有限,也是
原创
5003阅读
0评论
0点赞
发布博客于 9 年前

kiji 快速理解

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多云计算相关项目快速理解文档  http://blog.csdn.net/colorant/article/details/8255910==是什么 == 目标Scope(解决什么问题)
原创
5376阅读
1评论
1点赞
发布博客于 9 年前

Hadoop学习笔记 - Sort / TeraSort / TestDFSIO

Hadoop Examples学习笔记作者:刘旭晖Raymond转载请注明出处Email:colorant@163.com BLOG:http://blog.csdn.net/colorant/ 记录一下这几天学习Hadoop的几个测试用例的理解。主要是三个Sort/TeraSort/TestDFSIO, 这几个example一方面可以用来做benchmark,另一方面通过学习
原创
9521阅读
0评论
0点赞
发布博客于 9 年前

Chromium音频输出相关简介 - AudioPlayback support in Chromium

Chromium音频输出相关简介 - AudioPlayback support in Chromium作者:刘旭晖Raymond转载请注明出处Email:colorant 163.comBLOG:http://blog.csdn.net/colorant/Chromium中音频输出的主要手段 在Chromium中,播放音频数据的手段大概可以归纳为以下几种:使用Embe
原创
2944阅读
0评论
0点赞
发布博客于 9 年前

Chromium Web Audio设计思想

ChromiumWeb Audio设计思想作者:刘旭晖Raymond转载请注明出处Email:colorant 163.comBLOG:http://blog.csdn.net/colorant/ 本文是我在参与W3C Web Audio的相关的工作时对其设计思想的一点理解,对于WebAudio是什么,以及如何使用,本文不打算做过多的介绍,因此这里假定你使用过W3CWeb Au
原创
2708阅读
0评论
1点赞
发布博客于 9 年前

【TIPS】Ubuntu 远程桌面不更新


问题描述:
 
在Ubuntu 10.04 或者更早的发行版中,使用远程桌面,在Client端看不见server端桌面内容的更新。
 
解决:
 
这个问题通常在装了NVidia驱动的机器上发生,应该是驱动或者窗口管理器的bug,没有触发远程更新。简单的解决办法就是关闭桌面的Visual Effect
 
原创
2687阅读
0评论
0点赞
发布博客于 11 年前

QT样式表

QT样式表 (QStyleSheet)作者:刘旭晖 Raymond 转载请注明出处Email:colorant@163.comBLOG:http://blog.csdn.net/colorant/ 除了子类化Style类,使用QT样式表(QStyleSheet)是另一种快速改变QT程序UI风格的方法,它很大程度上借鉴和参考了HTML层叠样式表的语法和思想。其效果叠加在Style的基础上
原创
20891阅读
0评论
0点赞
发布博客于 11 年前

QT 样式风格

QT 样式风格(Style Mechanism) 作者:刘旭晖 Raymond 转载请注明出处Email:colorant@163.comBLOG:http://blog.csdn.net/colorant/ QT Style的机制和GTK的Style机制很类似,基本上就是定义了一个基础的Style类,在Style类里面定义一系列的绘图相关函数接口,具体风格的Style类实现了
原创
8599阅读
0评论
0点赞
发布博客于 11 年前

QT 布局管理

QT 布局管理作者:刘旭晖 Raymond 转载请注明出处Email:colorant@163.comBLOG:http://blog.csdn.net/colorant/ 狭义的说,QT的布局管理框架指的是以QLayoutItem/QLayout为基类的布局管理体系(应该说,对于QGraphicsSystem, 还有以QGraphicsLayoutItem/QGraphicsLayo
原创
10362阅读
0评论
0点赞
发布博客于 11 年前

QT绘图系统

QT绘图系统(The Paint System)作者:刘旭晖 Raymond 转载请注明出处Email:colorant@163.comBLOG:http://blog.csdn.net/colorant/ QT的绘图系统为UI界面在各种设备(屏幕,打印机等等)上的输出,提供了统一的API接口层次结构与Paint绘图输出直接相关的类大致为以下三个类及其子类QPainte
原创
12767阅读
3评论
1点赞
发布博客于 11 年前

QT动画框架(The Animation Framework)

动画框架(The Animation Framework)作者:刘旭晖 Raymond 转载请注明出处Email:colorant@163.comBLOG:http://blog.csdn.net/colorant/ QT的动画框架也是引入至QT4.6,很有可能是配合图形系统框架为了下一代UI做的铺垫类别个人认为,狭义的来说,Animation Framework指的是以QAb
原创
10122阅读
0评论
0点赞
发布博客于 11 年前

QT状态机框架

状态机(The State Machine Framework) 作者:刘旭晖 Raymond 转载请注明出处Email:colorant@163.comBLOG:http://blog.csdn.net/colorant/ QT的State Machine Framework是在Qt4.6中引入的,其理论基础是Harel的Statechart,通过定义一系列的可能状态,以及系统如何在
原创
8925阅读
1评论
1点赞
发布博客于 11 年前

Logo语言

今天看2010年3月更新的热门编程语言排行版,原本是被标题objective-c排行大幅提升吸引进去的。没想到往下翻看前50名的列表时,赫然发现了Logo语言,排名36!  记得那还是在初中的时候,在学校机房,Apple II电脑上玩过一点。启动时是一个小海龟的图标在屏幕中央,然后可以用类英语的命令操纵它画图。  这个不知道多少年前我以为就绝迹了,没想到还健在,还能上榜单,神奇啊!
原创
2711阅读
0评论
0点赞
发布博客于 11 年前

用Valgrind调试GTK程序及其它Tips

用Valgrind调试GTK程序及其它Tips作者:刘旭晖 Raymond转载请注明出处Email:colorant@163.com BLOG:http://blog.csdn.net/colorant/    如何使用Valgrind的文章很多了,我也不打算再写一个,这里只是记录一下自己在调试GTK程序过程中遇到的一些问题,以及其它一些Tips 1.1  
原创
3880阅读
0评论
0点赞
发布博客于 12 年前

使用GTK-DOC自动生成API文档

作者:刘旭晖 Raymond转载请注明出处Email:colorant@163.com BLOG:http://blog.csdn.net/colorant/主页:http://sites.google.com/site/rgbbones/       之前很少做从零开始做上层应用和中间层的开发,所以从来没有接触过API文档的自动生成这个话题,一直以为这是个很复杂的工作,最近做
原创
7621阅读
0评论
0点赞
发布博客于 12 年前

The Unofficial LEGO Builder's Guide.rar

目前仅有的一本lego build的理论指导书籍,听说过的人就知道啦
application/x-rar
发布资源于 12 年前

SCIM Bridge Client端代码分析

 作者:刘旭晖 Raymond转载请注明出处Email:colorant@163.com BLOG:http://blog.csdn.net/colorant/主页:http://sites.google.com/site/rgbbones/              SCIM bridge端一开始的出现是为了解决C++ ABI兼容性。在Agent端使用C++,而为GTK写的C
原创
2990阅读
0评论
0点赞
发布博客于 12 年前

浅析GTK 输入法模块 GTK IMContext

 作者:刘旭晖 Raymond转载请注明出处Email:colorant@163.com BLOG:http://blog.csdn.net/colorant/主页:http://sites.google.com/site/rgbbones/              这段时间因为需要移植一个输入法程序,所以学习研究了GTK下输入法实现的相关程序,这才发现输入法所涉及到的内
原创
7765阅读
1评论
0点赞
发布博客于 12 年前

ETSI TS 102 223 V8.20 Smart Cards : Card Application Toolkit

Smart Cards : Card Application Toolkit Version 8.20 2009
application/pdf
发布资源于 12 年前

理解和使用蓝牙BlueZ中的FTP与PBAP协议

作者:刘旭晖 Raymond转载请注明出处Email:colorant@163.com BLOG:http://blog.csdn.net/colorant/主页:http://sites.google.com/site/rgbbones 在蓝牙Bluetooth协议栈中,文件传输协议FTP(File Transfer Profile)和电话号码簿访问协议PBAP(Phoneb
原创
22044阅读
9评论
0点赞
发布博客于 12 年前

对比SVN学习GIT版本管理工具

对比SVN学习GIT版本管理工具作者:刘旭晖 Raymond转载请注明出处Email:colorant@163.com BLOG:http://blog.csdn.net/colorant/主页:http://sites.google.com/site/rgbbones/              因为近期工作需要,要掌握git的使用方法,所以决心花点时间学习一下它的各种使
原创
16955阅读
4评论
0点赞
发布博客于 13 年前

山水阳朔-神奇的银子岩

完整游记请看我的旅行博客: http://colorant.blogcn.com/diary,19878114.shtml 因为之前去过一些小的溶洞,再加上网上看过一些知名溶洞的照片,感觉一般,不外乎就是一些钟乳石,石柱,石笋和人工刻意雕琢的媚俗灯光而已,因此对溶洞并不太感冒,所以这次阳朔之行,银子岩本来是排在我们行程里的候补部分,如果时间紧张,大概就不去了。现在想来,还是没有见过世面啊
原创
2224阅读
0评论
0点赞
发布博客于 13 年前

山水阳朔-遇龙河

完整文章请看: http://colorant.blogcn.com/diary,19800608.shtml  要说这次中秋阳朔之行,最让我回味的不是漓江,而是遇龙河。一共去了两次,第一次是头一天傍晚从遇龙河上游的金龙桥逆流而上漂流到富里桥,再往下回到遇龙桥。第二次是次日清晨一大早,骑车穿行在遇龙河下游的田野和山峰之间。下午4点才从阳朔出发,5点到达金龙桥开始漂流,傍晚的河面上,没有其他
原创
2699阅读
0评论
0点赞
发布博客于 13 年前

佳能EOS相机闪光摄影

摄影无忌上 作者:皆能编译 翻译的一篇很长的闪光灯摄影的文章,原文是分7部分发布的。抓下来,做成pdf。
application/pdf
发布资源于 13 年前

嵌入式系统的动态电源管理技术

嵌入式系统的动态电源管理技术作者:刘旭晖 Raymond转载请注明出处Email:colorant@163.com BLOG:http://blog.csdn.net/colorant/主页:http://sites.google.com/site/rgbbones/  在嵌入式系统中,电源的管理和功耗的控制,始终是一个非常重要的任务。所以通常面向嵌入式应用的CPU都会
原创
7804阅读
2评论
0点赞
发布博客于 13 年前

驱动调试常见问题_Keypad

 作者:刘旭晖 Raymond转载请注明出处Email:colorant@163.com BLOG:http://blog.csdn.net/colorant/主页:http://sites.google.com/site/rgbbones/     这里的Keypad不是PC上用的编码式的键盘,而是在嵌入式设备中常见的非编码式的键盘。Keypad的常见连接方式有:矩阵
原创
4006阅读
1评论
0点赞
发布博客于 13 年前

驱动调试常见问题_Camera

 作者:刘旭晖 Raymond转载请注明出处Email:colorant@163.com BLOG:http://blog.csdn.net/colorant/主页:http://sites.google.com/site/rgbbones/     在嵌入式系统,如手机等平台上使用的Camera sensor通常是由类似I2C这样的总线进行寄存器控制,由CPU端的Co
原创
11552阅读
9评论
1点赞
发布博客于 13 年前

驱动调试常见问题_LCD

 作者:刘旭晖 Raymond转载请注明出处Email:colorant@163.com BLOG:http://blog.csdn.net/colorant/主页:http://sites.google.com/site/rgbbones/     这里记录的是在TFT类型的LCD驱动的调试中我所遇到过的一些问题,因为具体硬件平台和环境不同,有些问题,现象和原因可能不
原创
9197阅读
2评论
0点赞
发布博客于 13 年前

驱动调试常见问题_触摸屏

作者:刘旭晖 Raymond转载请注明出处Email:colorant@163.com BLOG:http://blog.csdn.net/colorant/主页:http://sites.google.com/site/rgbbones/     电阻式触摸屏的Controller从原理上,简单的说就是一个可切换通道的AD转换器,常见的有类似TSC2046这一系列的独立芯
原创
8801阅读
1评论
0点赞
发布博客于 13 年前

如何成为一名优秀的技术型主管

作者:刘旭晖 Raymond转载请注明出处Email:colorant@163.com BLOG:http://blog.csdn.net/colorant/主页:http://sites.google.com/site/rgbbones/     这回又是厚着脸皮写这篇文章了,毕竟到目前为止,以自己所承担过的管理岗位来说,仅仅只做了一年的Team Leader,外加一年的驱动
原创
4740阅读
2评论
1点赞
发布博客于 13 年前

Bad mode in prefetch abort handler detected

  简单记录一下,今天在调试休眠代码时,遇到一个很奇怪的问题,在唤醒过程中,出现了一个没见过Oops。看样子是执行了非法操作,CPU进入了异常状态。 Bad mode in prefetch abort handler detectedInternal error: Oops - bad mode: 0 [#1]Modules linked in:CPU: 0PC is at seri
原创
5880阅读
0评论
0点赞
发布博客于 13 年前

如何成为优秀的驱动开发工程师

 作者:刘旭晖 Raymond转载请注明出处Email:colorant@163.com BLOG:http://blog.csdn.net/colorant/主页:http://sites.google.com/site/rgbbones/ 或许这样的标题,应该是由像Linus或Greg KH这样的大师级的高手才有资格写的吧。但是作为我来说,也许我更想把这个标题作为一个疑
原创
18174阅读
4评论
3点赞
发布博客于 13 年前

驱动编程调优相关辅助工具-图形图像类

 驱动编程调优相关辅助工具-图形图像类作者:刘旭晖 Raymond转载请注明出处Email:colorant@163.com BLOG:http://blog.csdn.net/colorant/主页:http://sites.google.com/site/rgbbones/1         综述说到驱动编程和调优的辅助工具,我想说的不是像source insigh
原创
4671阅读
2评论
0点赞
发布博客于 13 年前

gamma曲线计算工具

自己做的,用来计算gamma曲线的数值的excel表格,方便lcd camera之类驱动开发
application/msword
发布资源于 13 年前