![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
liuxinglanyue
这个作者很懒,什么都没留下…
展开
-
HBase的领导人探讨Hadoop、BigTable和分布式数据库
转自:http://duanple.blog.163.com/blog/static/7097176720100493555558/ Google最近关于Google Application Engin的介绍再一次引起了大家对备选数据库技术的兴趣。几星期前InfoQ访谈Hypertable项目的创始人之一Doug Judd,该项目受到了Google的BigTable数据库的启发。本周InfoQ很...原创 2010-12-17 22:15:28 · 125 阅读 · 0 评论 -
Hadoop中文文档
http://hadoop.apache.org/common/docs/r0.21.0/cn/index.html原创 2010-11-28 17:32:33 · 93 阅读 · 0 评论 -
Hadoop 学习总结之一:HDFS简介(转)
一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。 1.2、元数据节点(Namenode)...原创 2010-11-15 20:29:27 · 100 阅读 · 0 评论 -
Hadoop学习总结之三:Map-Reduce入门(转)
1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据,其格式如下: 按照ASCII码存储,每行一条记录 每一行字符从0开始计数,第15个到第18个字符为年 第25个到第29个字符为温度,其中第25位是符号+/- 0067011990999991950051507+0000+ 0043011990999991950051512+0022+ 0043011...原创 2010-11-15 20:25:42 · 99 阅读 · 0 评论 -
Hadoop学习总结之二:HDFS读写过程解析(转)
一、文件的打开 1.1、客户端 HDFS打开一个文件,需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize),其实现为: public FSDataInputStream open(Path f, int bufferSize) throws IOException { return new DFSClient.DFS...原创 2010-11-15 20:23:48 · 86 阅读 · 0 评论 -
使用 Linux 和 Hadoop 进行分布式计算(转)
Hadoop 由 Apache Software Foundation 公司于 2005 年秋天作为 Lucene 的子项目 Nutch 的一部分正式引入。它受到最先由 Google Lab 开发的 MapReduce 和 Google File System 的启发。2006 年 3 月份,MapReduce 和 Nutch Distributed File System (NDFS) 分别...原创 2010-11-15 18:06:51 · 96 阅读 · 0 评论 -
Hadoop源代码分析 针对包和类(收藏)
Hadoop的升级和回滚 搞定Shindig和HBase的接口 Hadoop源代码分析(重读GFS的文章) Hadoop源代码分析(MapReduce概论) Hadoop源代码分析(包org.apache.hadoop.mapreduce) Hadoop源代码分析(包mapreduce.lib.input) Hadoop源代码分析(包m...原创 2010-12-28 09:02:17 · 371 阅读 · 0 评论 -
Hadoop源代码分析 共41篇(收藏)
Hadoop源代码分析(一) Hadoop源代码分析(二) Hadoop源代码分析(三) Hadoop源代码分析(四) Hadoop源代码分析(五) Hadoop源代码分析(六) Hadoop源代码分析(七) Hadoop源代码分析(八) Hadoop源代码分析(九) Hadoop源代码分析(一零) ...原创 2010-12-28 08:50:36 · 635 阅读 · 0 评论 -
Hadoop资源(收藏)
初见Hadoop,源于InfoQ的介绍,文初的三篇介绍,由浅入深,是入门的好台阶 http://www.infoq.com/cn/articles/hadoop-intro http://www.infoq.com/cn/articles/hadoop-config-tip http://www.infoq.com/cn/articles/hadoop-process-develop JavaEy...原创 2010-12-28 08:37:02 · 85 阅读 · 0 评论 -
Linux下安装Hadoop教程(转)
Linux下安装Hadoop教程作者:阿KingE-mail:cs_cjj@163.comBlog:http://hi.baidu.com/cumthacker目的:此教程旨在引导未接触Hadoop的新手入门只用,高手请飘过。 环境: Fedora12 Kernel2.6.31.5-127.fc12.i686.PAE Hadoop-0.20.2 ...原创 2010-12-22 16:24:09 · 133 阅读 · 0 评论 -
Hadoop学习笔记之五:使用Eclipse插件
转载务必注明出处Taobao QA Team,原文地址:http://qa.taobao.com/?p=10659 引言在开发调试过程中,需要将程序打包,运行任务后通过命令或web界面查看运行输出及job运行情况,这个比较繁琐,下面介绍的eclipse插件可以简化这个过程,方便调试。插件安装Hadoop的eclipse plugin跟hadoop发行版一起分发,到hadoop安装目录\ co...原创 2010-12-22 15:47:13 · 93 阅读 · 0 评论 -
Hadoop学习笔记之四:运行MapReduce作业做集成测试
转载务必注明出处Taobao QA Team,原文地址:http://qa.taobao.com/?p=10633 引言通过本系列的前篇文章用MRUnit做单元测试介绍可以很容易对MapReduce进行单元测试,这很必要,可以较早的发现一些代码逻辑的问题。只有单元测试是不够的,我们需要对MapReduce任务进行集成测试,要进行集成测试,得先懂得如何将MapReduce 作业在hadoo...原创 2010-12-22 15:46:17 · 134 阅读 · 0 评论 -
Hadoop学习笔记之三:用MRUnit做单元测试
转载务必注明出处Taobao QA Team,原文地址:http://qa.taobao.com/?p=10550 引言借年底盛宴品鉴之风,继续抒我Hadoop之情,本篇文章介绍如何对Hadoop的MapReduce进行单元测试。MapReduce的开发周期差不多是这样:编写mapper和reducer、编译、打包、提交作业和结果检索等,这个过程比较繁琐,一旦提交到分布式环境出了问题要定位...原创 2010-12-22 15:42:28 · 174 阅读 · 0 评论 -
hadoop学习笔记之二:MapReduce基本编程
转载务必注明出处Taobao QA Team,原文地址:http://qa.taobao.com/?p=10523 引言在本系列的上篇文章中介绍了Hadoop的基本概念和架构,本文将通过一个实例演示MapReduce基本编程。在继续进行前希望能重温下前面的内容,至少理解这张图是怎么回事。 实践 创建maven工程并加入hadoop依赖 我们选用maven来管理工程,用自己喜爱的m...原创 2010-12-22 15:38:43 · 120 阅读 · 0 评论 -
hadoop学习笔记之一:初识hadoop
转载务必注明出处Taobao QA Team,原文地址:http://qa.taobao.com/?p=10514 引言最近了解到淘宝使用hadoop的项目多了起来,hadoop对于许多测试人员来说或许是个新鲜玩儿,因此,把自己之前整理的学习笔记整理发上来,希望通过此系列文章快速了解Hadoop的基本概念和架构原理,从而助于hadoop相关项目的测试理解和沟通。Hadoop简介Hadoop ...原创 2010-12-22 15:34:45 · 293 阅读 · 1 评论 -
分布式计算开源框架Hadoop入门实践
转:http://blog.redfox66.com/post/hadoop-prictice-1.aspx 在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计。但是由于统计的内容暂时还是十分简单,所以就采用Memcache作为计数器,结合MySQL就完成了访问控制以及统计的工作。然而未来,对于海量日志分析的工作,还是需要有所准备。现在最火的技...原创 2010-12-03 20:47:40 · 79 阅读 · 0 评论