hadoop
文章平均质量分 76
张一不二
喜欢摸鱼的懒癌晚期患者
展开
-
企业项目实战hadoop篇---HBase高可用集群部署(四)
HBase高可用集群部署一.Hbase 分布式部署一.Hbase 分布式部署hbase 配置[hadoop@server1 conf]$ cat regionservers 172.25.3.2172.25.3.3172.25.3.4[hadoop@server1 conf]$ cat hbase-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?&原创 2021-08-16 15:02:17 · 277 阅读 · 0 评论 -
企业项目实战hadoop篇---YARN高可用集群部署(三)
YARN高可用集群部署一.YARN高可用集群部署二.yarn 故障切换一.YARN高可用集群部署编辑 mapred-site.xml 文件[hadoop@server1 hadoop]$ vim etc/hadoop/mapred-site.xml <configuration><!-- 指定 yarn 为 MapReduce 的框架 --><property><name>mapreduce.framework.name</name>原创 2021-08-16 00:20:55 · 363 阅读 · 1 评论 -
企业项目实战hadoop篇---hadoop高可用集群部署(二)
hadoop高可用集群部署一.hadoop高可用集群概述二.部署说明三.Zookeeper 集群搭建四.Hadoop 配置及高可用搭建五.故障自动切换一.hadoop高可用集群概述在典型的 HA 集群中,通常有两台不同的机器充当 NN。在任何时间,只有一台机器处于Active 状态;另一台机器是处于 Standby 状态。Active NN 负责集群中所有客户端的操作;而 Standby NN 主要用于备用,它主要维持足够的状态,如果必要,可以提供快速的故障恢复。为了让 Standby NN 的状态和原创 2021-08-15 23:38:47 · 430 阅读 · 0 评论 -
企业项目实战hadoop篇---hadoop安装部署(一)
hadoop安装部署一.hadoop简介二.安装hadoop三.部署伪分布式hadoop四.部署分布式hadoop五. 部署分布式资源管理框架yarn一.hadoop简介HDFS是一个高度容错性的分布式文件系统,可以被广泛的部署于廉价的PC上。它以流式访问模式访问应用程序的数据,这大大提高了整个系统的数据吞吐量,因而非常适合用于具有超大数据集的应用程序中。HDFS的架构如图所示。HDFS架构采用主从架构(master/slave)。一个典型的HDFS集群包含一个NameNode节点和多个DataNod原创 2021-08-15 22:06:55 · 1093 阅读 · 0 评论