————[ Hadoop之旅 ]
文章平均质量分 88
Hadoop之旅、脚踏实地、一步一步存储知识与实战开发
Andy Chen 陈郑游
软件设计师、项目管理PMP
展开
-
Hadoop+Spark 之旅—脚踏实地、仰望星空(教程目录)
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统原创 2017-07-11 09:33:15 · 1935 阅读 · 1 评论 -
Hadoop之旅(9)— Hbase 教程与shell实战操作
HBase 是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目,是横向扩展的。HBase是一个数据模型,类似于谷歌的大表设计,可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统(HDFS)提供的容错能力。它是Hadoop的生态系统,提供对数据的随机实时读/写访问,是Hadoop文件系统的一部分。人们可以直接或通过HBase的存储HDFS数据。使用HBase在HDFS读取消费/随机访问数据。 HBase在Hadoop的文件系统之上,并提供了读写访问。原创 2017-09-24 21:19:00 · 1200 阅读 · 0 评论 -
Hadoop之旅(8)— HDFS API 实战操作
Hadoop 实现了一个分布式文件系统(hadoop Distributed File System),简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch,后者是一个开源的网络搜索引擎,本身也是Luene项目的一部分。Aapche Hadoop架构是MapReduce算法的一种开源应用,是Google开创其帝国的重要基石。HDFS API 实战操作原创 2017-08-30 16:31:43 · 1278 阅读 · 0 评论 -
Hadoop之旅(7)— HDFS HA Zookeeper自动故障转移
1、HDFS HA Zookeeper自动故障转移的需求 在 HDFS 集群下,我们知道也只有单个 NameNode 节点,虽然是集群但是也会有单节点故障等事故。所以需要一个协调者帮助我们遇到故障时及时帮助我们切换可用的 NameNode 节点。这个就是我们的需求、如果我们不需要ZK的话、搭建的HA需要我们手动切换,这是不可行的。所以我们需要 zookeeper安装与配置教程。原创 2017-06-26 12:16:06 · 2761 阅读 · 0 评论 -
zookeeper 集群搭建教程之应用案例
Apache ZooKeeper是Apache软件基金会的一个软件项目,它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。ZooKeeper曾经是Hadoop的一个子项目,但现在是一个独立的顶级项目。Zookeeper没有直接采用Paxos算法的实现,而是使用了一种称为Zab(Zookeeper Atomic Broadcast)的一致性协议。原创 2016-03-03 19:22:39 · 3095 阅读 · 1 评论 -
Hadoop之旅(5)— MapReduce Java API案例实战
1、本文实现 HDFS 案例Hadoop之旅(3)— HDFS 原理讲解 和 Hadoop之旅(1)—单机与伪集群安装、简单经典案例准备好环境:idea、创建项目、添加依赖 org.apache.hadoop hadoop-client ${hadoop.versi原创 2017-06-23 20:15:47 · 2086 阅读 · 0 评论 -
Hadoop之旅(4)— MapReduce 与 YARN 原理讲解
1、MapReduce 介绍 MapReduce是一种可用于数据处理的编程框架。MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。2、YARN 介绍 MapReduce has undergone a complete overhaul in hadoop-0.23 and we now have, what we ca原创 2017-06-20 21:53:42 · 1805 阅读 · 2 评论 -
Hadoop之旅(3)— HDFS 原理讲解
1、HDFS 介绍 Hadoop 实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch,后者是一个开源的网络搜索引擎,本身也是Luene项目的一部分。Aapche Hadoop架构是MapRedu原创 2017-06-18 20:59:25 · 2140 阅读 · 0 评论 -
Hadoop之旅(2)—伪集群 HDFS 文件读取与上传案例、权限与安全模式
1、准备工作环境:centsOS7.0、jdk1.8、maven3.3.9工具:idea(eclipse)、HADOOP SHELL 、 发行版 :Hadoop2.5.0Hadoop之旅(2)—伪集群文件读取与上传案例、权限与安全模式环境上一节已经搭建好了、不明白的可以看 Hadoop之旅(1) 或者 Apache2、添加maven依赖 UTF-8原创 2017-06-17 20:32:32 · 2015 阅读 · 0 评论 -
Hadoop之旅(1)—单机与伪集群安装、简单经典案例
Hadoop 2.0安装部署流程Hadoop 2.0测试环境(单机)搭建方法Hadoop 简单案例(经典案例-统计单词的数次)MapReduce , HDFS、 YARN 搭建配置(经典案例-统计单词的数次)原创 2017-06-14 18:43:25 · 3125 阅读 · 0 评论