- 博客(6)
- 资源 (12)
- 收藏
- 关注
转载 hadoop状态分析系统chukwa
Apache 的开源项目 hadoop, 作为一个分布式存储和计算系统,已经被业界广泛应用。很多大型企业都有了各自基于 hadoop 的应用和相关扩展。当 1000+ 以上个节点的 hadoop 集群变得常见时,集群自身的相关信息如何收集和分析呢?针对这个问题, Apache 同样提出了相应的解决方案,那就是 chukwa。概述 chukwa 的官方网站是这样描述自己的: chukwa 是
2012-02-29 22:32:55 672
转载 Redis几个认识误区
前几天微博发生了一起大的系统故障,很多技术的朋友都比较关心,其中的原因不会超出James Hamilton在On Designing and Deploying Internet-Scale Service(1)概括的那几个范围,James第一条经验“Design for failure”是所有互联网架构成功的一个关键。互联网系统的工程理论其实非常简单,James paper中内容几乎称不上理
2012-02-23 13:17:55 481
转载 【入门】十五分钟介绍 Redis数据结构
Redis是一种面向“键/值”对类型数据的分布式NoSQL数据库系统,特点是高性能,持久存储,适应高并发的应用场景。它起步较晚,发展迅速,目前已被许多大型机构采用,比如Github,看看谁在用它。本文翻译自Redis的一篇官方文档:A fifteen minute introduction to Redis data types方便感兴趣的朋友,快速介绍Redis的数据类型。中英文
2012-02-23 13:08:29 577
转载 sendfile
在apache,nginx,lighttpd等web服务器当中,都有一项sendfile相关的配置,在一些网上的资料都有谈到sendfile会提升文件传输性能,那sendfile到底是什么呢?它的原理又是如何呢? 在传统的文件传输里面(read/write方式),在实现上其实是比较复杂的,需要经过多次上下文的切换,我们看一下如下两行代码: read(file,
2012-02-22 13:24:39 589
原创 awk 值排序
awk内置函数asort能对值排序,但它丢掉了键key信息,无法满足我们值排序需求,因为awk没有严格按顺序的数组,只有map这里通过自实现一个排序函数对值进行排序排序后ARRAY2/ARRAY3的键是1..length(ARRAY) ARRAY2的值是ARRAY的值,ARRAY3的值是ARRAY的键awk 'function sort(ARRAY,ARRAY
2012-02-15 17:36:07 1329
转载 Hadoop:从初出茅庐的小象变身行业巨人
由于具备低成本和前所未有的高扩展性,Hadoop已被公认为是新一代的大数据处理平台。就像30年前SQL(Structured Query Language)出现一样,Hadoop正带来了新一轮的数据革命。如今Hadoop已从初出茅庐的小象变成了行业的巨人,但Hadoop仍需继续完善。基于Java语言构建的Hadoop框架实际上一种分布式处理大数据平台,其包括软件和众多子项目。在近十年中Hado
2012-02-03 11:52:03 651
软件项目管理 人件中文第二版
2009-02-22
编程高手箴言.chm
2009-01-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人