HDFS
lemon lime
放弃很简单,但坚持一定很酷!
展开
-
完全分布式搭建HDFS分布式文件存储系统
三分钟上手,完全分布式搭建HDFS文章目录三分钟上手,完全分布式搭建HDFS一,环境的准备二,开始安装及相关配置文件2.1 下载解压缩 hadoop2.2 配置etc/hadoop/hadoop-env.sh2.3 配置core-site.xml2.4 hdfs-site.xml配置2.5 写上**SNN**节点名: node022.6 配置datanode存放服务器2.7 分发节点...原创 2019-01-03 21:55:00 · 1794 阅读 · 0 评论 -
Hadoop的HA搭建及Yarn简单理解
Hadoop的HA搭建及Yarn简单理解一,Hadoop2.0产生背景之间我们搭建了 hadoop 1.0 版本 完全分布式,详情见博客–> 完全分布式搭建HDFS回顾1.0版本中搭建的架构图,如下:存在以下问题: – Hadoop 1.0 中 HDFS和MapReduce在高可用,扩展性方面存在问题。HDFS存在的问题: NameNode单点故障问题,NameNod...原创 2019-01-04 22:33:51 · 1062 阅读 · 0 评论 -
Zookeeper
Zookeeper一,Zookeeper是什么,用来干什么?Zookeeper是一个开源的分布式应用程序协调服务。是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。 大部分应用需要开发私有的一个主控,协调器或控制器的协调程序来管理物理分布的子进程(如资源,任务的分配等)。而协调程序的反复编写浪费,且难以形成通用,伸缩性好的协调器,所以,zookeeper应...原创 2019-01-05 20:09:39 · 232 阅读 · 0 评论