chenzhengyou天道酬勤

带上梦想生活、永不停步地学习

Hadoop之旅(7)— HDFS HA Zookeeper自动故障转移

1、HDFS HA Zookeeper自动故障转移的需求      在 HDFS 集群下,我们知道也只有单个 NameNode 节点,虽然是集群但是也会有单节点故障等事故。所以需要一个协调者帮助我们遇到故障时及时帮助我们切换可用的 NameNode 节点。这个就是我们的需求、如果我们不需要ZK的话...

2017-06-26 12:16:06

阅读数:1495

评论数:0

Hadoop之旅(5)— MapReduce Java API案例实战

1、本文实现 HDFS 案例 Hadoop之旅(3)— HDFS 原理讲解   和  Hadoop之旅(1)—单机与伪集群安装、简单经典案例 准备好环境:idea、创建项目、添加依赖 org.apache.hadoop hadoop-client ...

2017-06-23 20:15:47

阅读数:1490

评论数:0

Hadoop之旅(4)— MapReduce 与 YARN 原理讲解

1、MapReduce 介绍       MapReduce是一种可用于数据处理的编程框架。MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就...

2017-06-20 21:53:42

阅读数:1241

评论数:2

Hadoop之旅(3)— HDFS 原理讲解

1、HDFS 介绍        Hadoop 实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch,后者是一个开...

2017-06-18 20:59:25

阅读数:1600

评论数:0

Hadoop之旅(2)—伪集群 HDFS 文件读取与上传案例、权限与安全模式

1、准备工作 环境:centsOS7.0、jdk1.8、maven3.3.9 工具:idea(eclipse)、HADOOP  SHELL 、 发行版 :Hadoop2.5.0 Hadoop之旅(2)—伪集群文件读取与上传案例、权限与安全模式 环境上一节已经搭建好了、不明白的可以看  Hadoop...

2017-06-17 20:32:32

阅读数:1412

评论数:0

Hadoop之旅(1)—单机与伪集群安装、简单经典案例

Hadoop 2.0安装部署流程 Hadoop 2.0测试环境(单机)搭建方法 Hadoop 简单案例(经典案例-统计单词的数次) MapReduce , HDFS、 YARN 搭建配置(经典案例-统计单词的数次)

2017-06-14 18:43:25

阅读数:2171

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭