- 博客(7)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 沧海拾贝——一个递归引发的思考
最近一段时间，在登月项目中接触到一个涉及数据对比的工具，需要对hdfs上的一些原始数据进行按行解析，并重新保存成可被hive识别的数据文件。作为一个复杂度不高的应用MR并行计算框架的工具，设计制作过程还是很顺利的，两三天的功夫编码完成，自测也通过了，然而上线使用后，却发生了一个意想不到的bug，在解决该bug的过程中，我有幸从中获得了一些新的技术启发，也许对大多数技术人员来说只是一个常规到不值一提
2014-03-24 20:07:48
573
原创 两年前写的：HBase性能深度分析
HBase作为BigTable的一个开源实现，随着其应用的普及，用户对它的性能数据愈发关注。本文将为您揭开HBase性能测试的一角，邀您一起参与到对云计算模块性能调优的深度思考中。 对于BigTable类型的分布式数据库应用来说，用户往往会对其性能状况有极大的兴趣，这其中又对实时数据插入性能更为关注。HBase作为BigTable的一个实现，在这方面的性能会如何呢？这就需要通过测试数据来说话
2013-11-29 15:11:19
577
原创 工欲善其事必先利其器——第一弹 应用MapReduce制作压测利器
引言 众所周知，MapReduce编程框架（以下简称MR）一直是大并发运算以及海量数据读写应用设计的利器。在MR编程体系下，一个job通常会把输入的数据集切分为若干块，由map task以完全并行的方式处理消化这些数据块。框架会对map的输出先进行排序，然后把结果作为输入提交给reduce任务。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败
2013-11-29 11:31:29
1054
原创 工欲善其事必先利其器——第二弹 HDFS性能压测工具浅析
引言 Hadoop生态圈的基石有两个，一个是HDFS文件系统，一个是MR编程框架。第一弹中提到应用MR编程框架实现大规模多机联合负载压测场景的方案，则突出了MR的能力，实际上HDFS作为这一切的基础，所起的作用是不容忽视的。 HDFS分布式文件系统与一般的文件系统，从本质构成上来说并没有太大的区别，普通磁盘上的文件系统，例如ext3有数据块（block），HDFS也有这个概念，ext3
2013-11-29 11:30:43
1757
原创 工欲善其事必先利其器——第三弹 用云存储实现对云计算的监控
引言 大凡集群系统的性能、压力测试，都要通过监控系统进行收集整理。其中ganglia是集群监控最常用的工具之一。它与Hadoop生态圈结合的非常好，且性能优良，不会对系统本身性能造成影响。 Ganglia是UC Berkeley发起的一个开源集群监视项目，包含gmond、gmetad两个服务，以及一个web展示前端。本身部署后就立即可以对cpu、memory、network、disk等
2013-11-29 11:29:25
512
原创 工欲善其事必先利其器——第四弹 业务线仿真回归流程剖析
引言 Hadoop集群的计算和数据处理能力随着集群规模的增长逐渐形成了一个弥漫天际的浩翰空间，处于其中的各种数据应用、采集作业、数据分析、数据挖掘，以及前沿的机器学习、人工智能等都如同空间中的一朵朵云彩，此消彼长。Hadoop集群根据业务提起的请求按需动态分配计算资源、数据空间，虽然业务的需求是复杂多变的，但是对于大规模的Hadoop集群来说，整体的计算能力需求则始终是平滑的。这正是云计算的
2013-11-29 11:28:33
1158
原创 工欲善其事必先利其器——番外篇 Distcp工具深入分析
引言 DistCp命令是hadoop用户最常使用的命令之一，它位于hadoop tools包中，代码不多，约1300多行，主要用于在两个HDFS集群之间快速拷贝数据。DistCp工具代码结构清晰易懂，通过分析该工具的代码有助于我们更好的理解MR编程框架，并可以对hdfs文件系统有一个初步的了解。 用法 DistCp使用方法如下表所示： OPTIONS: -p[rbu
2013-11-29 11:27:25
1190
Hadoop & Hbase 高级教程
2009-11-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人