- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Hadoop学习（8）----MapReduce讲解
1 Hadoop的两个核心组件：HDFS和MapReduce，HDFS负责大数据的分布式存储，而MapReduce则是对大数据的分布式处理框架，能够并行的进行大数据文件处理，从而提高处理效率。该篇博客就是对MapReduce进行讲解。2 MapReduce讲解MapReduce框架
2015-06-21 11:06:54
1062
原创 hadoop学习（7）----将Hadoop2.6源码导入到win7下的eclipse
1 介绍在我们学习Hadoop过程中，源码学习将是一种很好的学习方式，笔者通过这篇微博记录一下自己的如果编译Hadoop2.6的源码并且导入到eclipse中2 编译在编译过程中需要几个工具：Maven、protobuf2.5（1）安装Maven下载地址：http://maven.apache.org/download.cgi下载后解压，并且开始配置环境变量：新建变量M
2015-06-21 10:07:10
1607
原创 Hadoop(6)----hadoop1.x 与 hadoop2.x之间的区别
1 介绍随着企业数据化和Hadoop的应用越加广泛，hadoop1.x的框架设计越来越无法满足人们对需求，Apache一直在对Hadoop1.x进行修改，最后退出了新一代的Hadoop2.x，下面笔者将从HDFS和MapReduce两个方面对Hadoop1.x和Hadoop2.x直接的区别2 HDFS之间的区别Hadoop 1.X:在Hadoop1.x中，HDFS的采用Mast
2015-06-18 23:29:49
1884
原创 Hadoop学习(5)-----hadoop 2.6的安装
1 介绍为了解决Hadoop 1.x框架中的问题：例如单namenode节点问题等问题，Apache基金会推出新一代的hadoop框架，Hadoop 2.x系列版本，在该版本中，HDFS的一些机制进行了改善，并且Hadoop的MapReduce框架升级为YARY框架（MapReduce 2），并且实现了与spark等现在叫流行的大数据分析框架的集成。关于Hadoop 2.x系列，我们将会在后面
2015-06-16 23:21:42
765
原创 Hadoop学习(3)----HDFS API
1 API介绍除了HDFS shell以外，hdfs还可以通过api接口操作文件的整个文件系统，并且在MapReduce任务过过程中，也有可能会用到HDFS的api接口，今天简单介绍一下HDFS的api接口2 api详解我们通过实现shell命令行的方式进行api的介绍（1）ls命令行的实现使用api：FileSystem.list(Path path)public sta
2015-06-11 23:53:15
655
原创 Hadoop学习(2)----hdfs shell命令
1. shell介绍HDFS（Hadoop Distributed File System）作为Hadoop的文件系统，其也拥有文件系统的一些属性，例如权限、shell语句等。当操作HDFS文件系统上的文件的时候Hadoop提供了两种方法，一种是hadoop的shell语句，另一个是hadoop的原生API借口。Hadoop shell其实与linux的shell作用相同，都是对文件、用户
2015-06-09 11:43:44
656
原创 Hadoop学习（1）----HDFS详解
1、HDFS介绍HDFS（Hadoop Distrabuted File System）是Apache顶级项目Hadoop的重要组件，是一种分布式文件系统，基于数据流模式访问和为处理大文件而产生，具有高可用性、高安全性、高扩展性、高容错率等特点，因为使用在普通的商用PC中和节点扩展性，所以HDFS文件系统可以通过购置廉价的上午电脑而实现现行扩展存储和规模的强大优势。2、基础概念2.1
2015-06-07 16:35:55
798
DHTMLX 5 CHM API文档
2016-11-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人