- 博客(6)
- 资源 (29)
- 收藏
- 关注
RSS订阅原创 Hadoop之旅（7）— HDFS HA Zookeeper自动故障转移
1、HDFS HA Zookeeper自动故障转移的需求 在 HDFS 集群下，我们知道也只有单个 NameNode 节点，虽然是集群但是也会有单节点故障等事故。所以需要一个协调者帮助我们遇到故障时及时帮助我们切换可用的 NameNode 节点。这个就是我们的需求、如果我们不需要ZK的话、搭建的HA需要我们手动切换，这是不可行的。所以我们需要 zookeeper安装与配置教程。
2017-06-26 12:16:06
2805
原创 Hadoop之旅（5）— MapReduce Java API案例实战
1、本文实现 HDFS 案例Hadoop之旅（3）— HDFS 原理讲解 和 Hadoop之旅（1）—单机与伪集群安装、简单经典案例准备好环境：idea、创建项目、添加依赖 org.apache.hadoop hadoop-client ${hadoop.versi
2017-06-23 20:15:47
2122
原创 Hadoop之旅（4）— MapReduce 与 YARN 原理讲解
1、MapReduce 介绍 MapReduce是一种可用于数据处理的编程框架。MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。2、YARN 介绍 MapReduce has undergone a complete overhaul in hadoop-0.23 and we now have, what we ca
2017-06-20 21:53:42
1853
2
原创 Hadoop之旅（3）— HDFS 原理讲解
1、HDFS 介绍 Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch，后者是一个开源的网络搜索引擎，本身也是Luene项目的一部分。Aapche Hadoop架构是MapRedu
2017-06-18 20:59:25
2180
原创 Hadoop之旅（2）—伪集群 HDFS 文件读取与上传案例、权限与安全模式
1、准备工作环境：centsOS7.0、jdk1.8、maven3.3.9工具：idea（eclipse）、HADOOP SHELL 、 发行版 ：Hadoop2.5.0Hadoop之旅（2）—伪集群文件读取与上传案例、权限与安全模式环境上一节已经搭建好了、不明白的可以看 Hadoop之旅（1） 或者 Apache2、添加maven依赖 UTF-8
2017-06-17 20:32:32
2048
原创 Hadoop之旅（1）—单机与伪集群安装、简单经典案例
Hadoop 2.0安装部署流程Hadoop 2.0测试环境（单机）搭建方法Hadoop 简单案例（经典案例-统计单词的数次）MapReduce , HDFS、 YARN 搭建配置（经典案例-统计单词的数次）
2017-06-14 18:43:25
3163
Solr 教程 pdf
2017-04-11
JavaWeb王者归来_扫描版
2015-12-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人