Hadoop安装之高可用搭建

最新推荐文章于 2024-05-02 20:59:28 发布
最新推荐文章于 2024-05-02 20:59:28 发布
阅读量615 收藏
点赞数 2
分类专栏： bigdata 文章标签： hadoop高可用安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_15076569/article/details/84185610
版权

通过前面两篇文章的搭建，可以发现搭建的NameNode只有一台，没有进行备份机，如果NameNode宕机了，那整个集群也就废了，所以我们需要在另外的机器上再搭建一个NameNode节点，且使用JournalNode来保证两台NameNode中的元数据保持一致，并且还需要通过zookeeper的zkFailoverController守护进程来监控NameNode的健康状况，一旦其中active的NameNode宕机了，立刻切换到另外一台NameNode。

集群运行服务规划

 

192.168.254.100

192.168.254.110

192.168.254.120

zookeeper

zk

zk

zk

HDFS

JournalNode

JournalNode

JournalNode

NameNode

NameNode

 

ZKFC

ZKFC

 

DataNode

DataNode

DataNode

YARN

 

ResourceManager

ResourceManager

NodeManager

NodeManager

NodeManager

MapReduce

 

 

JobHistoryServer

三台服务配置主机名：

100为node01

110为node02

120为node03

一：安装

在100的机器上进行解压安装

mkdir -p /export/softwares

mkdir -p /export/servers

cd /export/softwares

tar -zxvf hadoop-2.7.5.tar.gz -C ../servers/

二：修改配置文件

1)修改core-site.xml

cd /export/servers/hadoop-2.7.5/etc/hadoop

vim core-site.xml

<configuration>

<!-- 指定NameNode的HA高可用的zk地址  -->

<property>

<name>ha.zookeeper.quorum</name>

<value>node01:2181,node02:2181,node03:2181</value>

</property>

 <!-- 指定HDFS访问的域名地址  -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://ns</value>

</property>

 <!-- 临时文件存储目录  -->

<property>

<name>hadoop.tmp.dir</name>

<value>/export/servers/hadoop-2.7.5/data/tmp</value>

</property>

 <!-- 开启hdfs垃圾箱机制，指定垃圾箱中的文件七天之后就彻底删掉

单位为分钟

 -->

<property>

<name>fs.trash.interval</name>

<value>10080</value>

</property>

</configuration>

2)修改hdfs-site.xml

cd /export/servers/hadoop-2.7.5/etc/hadoop

vim hdfs-site.xml

<configuration>

<!--  指定命名空间  -->

<property>

<name>dfs.nameservices</name>

<value>ns</value>

</property>

<!--  指定该命名空间下的两个机器作为我们的NameNode  -->

<property>

<name>dfs.ha.namenodes.ns</name>

<value>nn1,nn2</value>

</property>

 

<!-- 配置第一台服务器的namenode通信地址  -->

<property>

<name>dfs.namenode.rpc-address.ns.nn1</name>

<value>node01:8020</value>

</property>

<!--  配置第二台服务器的namenode通信地址  -->

<property>

<name>dfs.namenode.rpc-address.ns.nn2</name>

<value>node02:8020</value>

</property>

<!-- 所有从节点之间相互通信端口地址 -->

<property>

<name>dfs.namenode.servicerpc-address.ns.nn1</name>

<value>node01:8022</value>

</property>

<!-- 所有从节点之间相互通信端口地址 -->

<property>

<name>dfs.namenode.servicerpc-address.ns.nn2</name>

<value>node02:8022</value>

</property>

 

<!-- 第一台服务器namenode的web访问地址  -->

<property>

<name>dfs.namenode.http-address.ns.nn1</name>

<value>node01:50070</value>

</property>

<!-- 第二台服务器namenode的web访问地址  -->

<property>

<name>dfs.namenode.http-address.ns.nn2</name>

<value>node02:50070</value>

</property>

 

<!-- journalNode的访问地址，注意这个地址一定要配置 -->

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://node01:8485;node02:8485;node03:8485/ns1</value>

</property>

<!--  指定故障自动恢复使用的哪个java类 -->

<property>

<name>dfs.client.failover.proxy.provider.ns</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

 

<!-- 故障转移使用的哪种通信机制 -->

<property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

 

<!-- 指定通信使用的公钥  -->

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/root/.ssh/id_rsa</value>

</property>

<!-- journalNode数据存放地址  -->

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/export/servers/hadoop-2.7.5/data/dfs/jn</value>

</property>

<!-- 启用自动故障恢复功能 -->

<property>

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

</property>

<!-- namenode产生的文件存放路径 -->

<property>

<name>dfs.namenode.name.dir</name>

<value>file:///export/servers/hadoop-2.7.5/data/dfs/nn/name</value>

</property>

<!-- edits产生的文件存放路径 -->

<property>

<name>dfs.namenode.edits.dir</name>

<value>file:///export/servers/hadoop-2.7.5/data/dfs/nn/edits</value>

</property>

<!-- dataNode文件存放路径 -->

<property>

<name>dfs.datanode.data.dir</name>

<value>file:///export/servers/hadoop-2.7.5/data/dfs/dn</value>

</property>

<!-- 关闭hdfs的文件权限 -->

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<!-- 指定block文件块的大小 -->

<property>

<name>dfs.blocksize</name>

<value>134217728</value>

</property>

</configuration>

3）修改yarn-site.xml

cd /export/servers/hadoop-2.7.5/etc/hadoop

vim yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<!-- 是否启用日志聚合.应用程序完成后,日志汇总收集每个容器的日志,这些日志移动到文件系统,例如HDFS. -->

<!-- 用户可以通过配置"yarn.nodemanager.remote-app-log-dir"、"yarn.nodemanager.remote-app-log-dir-suffix"来确定日志移动到的位置 -->

<!-- 用户可以通过应用程序时间服务器访问日志 -->

 

<!-- 启用日志聚合功能，应用程序完成后，收集各个节点的日志到一起便于查看 -->

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

 

 

<!--开启resource manager HA,默认为false-->

<property>

        <name>yarn.resourcemanager.ha.enabled</name>

        <value>true</value>

</property>

<!-- 集群的Id，使用该值确保RM不会做为其它集群的active -->

<property>

        <name>yarn.resourcemanager.cluster-id</name>

        <value>mycluster</value>

</property>

<!--配置resource manager  命名-->

<property>

        <name>yarn.resourcemanager.ha.rm-ids</name>

        <value>rm1,rm2</value>

</property>

<!-- 配置第一台机器的resourceManager -->

<property>

        <name>yarn.resourcemanager.hostname.rm1</name>

        <value>node03</value>

</property>

<!-- 配置第二台机器的resourceManager -->

<property>

        <name>yarn.resourcemanager.hostname.rm2</name>

        <value>node02</value>

</property>

 

<!-- 配置第一台机器的resourceManager通信地址 -->

<property>

        <name>yarn.resourcemanager.address.rm1</name>

        <value>node03:8032</value>

</property>

<property>

        <name>yarn.resourcemanager.scheduler.address.rm1</name>

        <value>node03:8030</value>

</property>

<property>

        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>

        <value>node03:8031</value>

</property>

<property>

        <name>yarn.resourcemanager.admin.address.rm1</name>

        <value>node03:8033</value>

</property>

<property>

        <name>yarn.resourcemanager.webapp.address.rm1</name>

        <value>node03:8088</value>

</property>

 

<!-- 配置第二台机器的resourceManager通信地址 -->

<property>

        <name>yarn.resourcemanager.address.rm2</name>

        <value>node02:8032</value>

</property>

<property>

        <name>yarn.resourcemanager.scheduler.address.rm2</name>

        <value>node02:8030</value>

</property>

<property>

        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>

        <value>node02:8031</value>

</property>

<property>

        <name>yarn.resourcemanager.admin.address.rm2</name>

        <value>node02:8033</value>

</property>

<property>

        <name>yarn.resourcemanager.webapp.address.rm2</name>

        <value>node02:8088</value>

</property>

<!--开启resourcemanager自动恢复功能-->

<property>

        <name>yarn.resourcemanager.recovery.enabled</name>

        <value>true</value>

</property>

<!--在node1上配置rm1,在node2上配置rm2,注意：一般都喜欢把配置好的文件远程复制到其它机器上，但这个在YARN的另一个机器上一定要修改，其他机器上不配置此项-->

<property>       

<name>yarn.resourcemanager.ha.id</name>

<value>rm1</value>

       <description>If we want to launch more than one RM in single node, we need this configuration</description>

</property>

   

   <!--用于持久存储的类。尝试开启-->

<property>

        <name>yarn.resourcemanager.store.class</name>

        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

</property>

<property>

        <name>yarn.resourcemanager.zk-address</name>

        <value>node02:2181,node03:2181,node01:2181</value>

        <description>For multiple zk services, separate them with comma</description>

</property>

<!--开启resourcemanager故障自动切换，指定机器-->

<property>

        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>

        <value>true</value>

        <description>Enable automatic failover; By default, it is enabled only when HA is enabled.</description>

</property>

<property>

        <name>yarn.client.failover-proxy-provider</name>

        <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>

</property>

<!-- 允许分配给一个任务最大的CPU核数，默认是8 -->

<property>

        <name>yarn.nodemanager.resource.cpu-vcores</name>

        <value>4</value>

</property>

<!-- 每个节点可用内存,单位MB -->

<property>

        <name>yarn.nodemanager.resource.memory-mb</name>

        <value>512</value>

</property>

<!-- 单个任务可申请最少内存，默认1024MB -->

<property>

        <name>yarn.scheduler.minimum-allocation-mb</name>

        <value>512</value>

</property>

<!-- 单个任务可申请最大内存，默认8192MB -->

<property>

        <name>yarn.scheduler.maximum-allocation-mb</name>

        <value>512</value>

</property>

<!--多长时间聚合删除一次日志 此处-->

<property>

        <name>yarn.log-aggregation.retain-seconds</name>

        <value>2592000</value><!--30 day-->

</property>

<!--时间在几秒钟内保留用户日志。只适用于如果日志聚合是禁用的-->

<property>

        <name>yarn.nodemanager.log.retain-seconds</name>

        <value>604800</value><!--7 day-->

</property>

<!--指定文件压缩类型用于压缩汇总日志-->

<property>

        <name>yarn.nodemanager.log-aggregation.compression-type</name>

        <value>gz</value>

</property>

<!-- nodemanager本地文件存储目录-->

<property>

        <name>yarn.nodemanager.local-dirs</name>

        <value>/export/servers/hadoop-2.7.5/yarn/local</value>

</property>

<!-- resourceManager  保存最大的任务完成个数 -->

<property>

        <name>yarn.resourcemanager.max-completed-applications</name>

        <value>1000</value>

</property>

<!-- 逗号隔开的服务列表，列表名称应该只包含a-zA-Z0-9_,不能以数字开始-->

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

</property>

 

<!--rm失联后重新链接的时间-->

<property>

        <name>yarn.resourcemanager.connect.retry-interval.ms</name>

        <value>2000</value>

</property>

</configuration>

4）修改mapred-site.xml

cd /export/servers/hadoop-2.7.5/etc/hadoop

vim mapred-site.xml

<configuration>

<!--指定运行mapreduce的环境是yarn -->

<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

</property>

<!-- MapReduce JobHistory Server IPC host:port -->

<property>

        <name>mapreduce.jobhistory.address</name>

        <value>node03:10020</value>

</property>

<!-- MapReduce JobHistory Server Web UI host:port -->

<property>

        <name>mapreduce.jobhistory.webapp.address</name>

        <value>node03:19888</value>

</property>

<!-- The directory where MapReduce stores control files.默认 ${hadoop.tmp.dir}/mapred/system -->

<property>

        <name>mapreduce.jobtracker.system.dir</name>

        <value>/export/servers/hadoop-2.7.5/data/system/jobtracker</value>

</property>

<!-- The amount of memory to request from the scheduler for each map task. 默认 1024-->

<property>

        <name>mapreduce.map.memory.mb</name>

        <value>1024</value>

</property>

<!-- <property>

                <name>mapreduce.map.java.opts</name>

                <value>-Xmx1024m</value>

        </property> -->

<!-- The amount of memory to request from the scheduler for each reduce task. 默认 1024-->

<property>

        <name>mapreduce.reduce.memory.mb</name>

        <value>1024</value>

</property>

<!-- <property>

               <name>mapreduce.reduce.java.opts</name>

               <value>-Xmx2048m</value>

        </property> -->

<!-- 用于存储文件的缓存内存的总数量，以兆字节为单位。默认情况下，分配给每个合并流1MB，给个合并流应该寻求最小化。默认值100-->

<property>

        <name>mapreduce.task.io.sort.mb</name>

        <value>100</value>

</property>

 

<!-- <property>

        <name>mapreduce.jobtracker.handler.count</name>

        <value>25</value>

        </property>-->

<!-- 整理文件时用于合并的流的数量。这决定了打开的文件句柄的数量。默认值10-->

<property>

        <name>mapreduce.task.io.sort.factor</name>

        <value>10</value>

</property>

<!-- 默认的并行传输量由reduce在copy(shuffle)阶段。默认值5-->

<property>

        <name>mapreduce.reduce.shuffle.parallelcopies</name>

        <value>25</value>

</property>

<property>

        <name>yarn.app.mapreduce.am.command-opts</name>

        <value>-Xmx1024m</value>

</property>

<!-- MR AppMaster所需的内存总量。默认值1536-->

<property>

        <name>yarn.app.mapreduce.am.resource.mb</name>

        <value>1536</value>

</property>

<!-- MapReduce存储中间数据文件的本地目录。目录不存在则被忽略。默认值${hadoop.tmp.dir}/mapred/local-->

<property>

        <name>mapreduce.cluster.local.dir</name>

        <value>/export/servers/hadoop-2.7.5/data/system/local</value>

</property>

</configuration>

5）修改slaves

cd /export/servers/hadoop-2.7.5/etc/hadoop

vim slaves

node01

node02

node03

6）修改hadoop-env.sh

cd /export/servers/hadoop-2.7.5/etc/hadoop

vim hadoop-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_141

三：拷贝hadoop到110和120机器上

cd /export/servers

scp -r hadoop-2.7.5/ node02:$PWD

scp -r hadoop-2.7.5/ node03:$PWD

三台机器100、110、120分别执行

mkdir -p /export/servers/hadoop-2.7.5/data/dfs/nn/name

mkdir -p /export/servers/hadoop-2.7.5/data/dfs/nn/edits

mkdir -p /export/servers/hadoop-2.7.5/data/dfs/nn/name

mkdir -p /export/servers/hadoop-2.7.5/data/dfs/nn/edits

进入110机器，进入hadoop2.7.5中修改yarn-site.xml

<!--在node3上配置rm1,在node2上配置rm2,注意：一般都喜欢把配置好的文件远程复制到其它机器上，

但这个在YARN的另一个机器上一定要修改，其他机器上不配置此项

注意我们现在有两个resourceManager  第三台是rm1   第二台是rm2

这个配置一定要记得去node02上面改好

-->

<property>       

<name>yarn.resourcemanager.ha.id</name>

<value>rm2</value>

       <description>If we want to launch more than one RM in single node, we need this configuration</description>

</property>

四：启动HDFS

在100机器上执行

cd   /export/servers/hadoop-2.7.5

bin/hdfs zkfc -formatZK

sbin/hadoop-daemons.sh start journalnode

bin/hdfs namenode -format

bin/hdfs namenode -initializeSharedEdits -force

sbin/start-dfs.sh

在110机器上执行

cd   /export/servers/hadoop-2.7.5

bin/hdfs namenode -bootstrapStandby

sbin/hadoop-daemon.sh start namenode

在120机器上执行

cd   /export/servers/hadoop-2.7.5

sbin/start-yarn.sh

在110上执行

cd   /export/servers/hadoop-2.7.5

sbin/start-yarn.sh

查看resourceManager状态：

在120上执行

cd   /export/servers/hadoop-2.7.5

bin/yarn rmadmin -getServiceState rm1

110上执行

cd   /export/servers/hadoop-2.7.5

bin/yarn rmadmin -getServiceState rm2

120上启动jobHistory

cd /export/servers/hadoop-2.7.5

sbin/mr-jobhistory-daemon.sh start historyserver

hdfs状态查看

node01机器查看hdfs状态

http://192.168.254.100:50070/dfshealth.html#tab-overview

node02机器查看hdfs状态

http://192.168.254.110:50070/dfshealth.html#tab-overview

 

yarn集群访问查看

http://node03:8088/cluster

历史任务浏览界面

页面访问：

http://192.168.254.120:19888/jobhistory

 

 

 

 

 

徐川江的个人博客
关注
专栏目录
Hadoop高可用安装
weixin_48726009的博客
06-18 290
Hadoop高可用安装过程 1、分发jdk到node02、03、04 scp jdk-7u67-linux-x64.rpm node02:pwd scp jdk-7u67-linux-x64.rpm node03:pwd scp jdk-7u67-linux-x64.rpm node04:pwd 并在Xshell的全部会话栏里一起ll，看jdk是否发送成功。 2、给node02、03、04分别安装jdk 分别在node02、03、04上执行rpm安装命令 rpm -i jdk-7u67-linux
Hadoop2.7.5 高可用（HA）集群搭建
weixin_44387652的博客
03-04 927
Hadoop2.7.5 高可用（HA）集群搭建1、Hadoop HA 原理概述2、集群规划3、集群服务器准备4、集群安装4.1、安装 Zookeeper 集群：4.2、安装 hadoop 集群4.2.1、安装 hadoop4.2.2、修改 hadoop-env.sh4.2.3、修改 core-site.xml4.2.4、修改 hdfs-site.xml4.2.5、修改 mapred-site.xml4.2.6、修改 yarn-site.xml4.2.7、修改 slaves4.2.8、分发配置后安装包文件到其
大数据分布式基础环境搭建
01-26 437
安装VMware Workstation Pro和3台linux虚拟机 一 centos7最小化安装后不能上网: 首先一定要选网络适配器NAT 选后service network restart cd /etc/sysconfig/network-scripts vi /etc/sysconfig/network-scripts/ifcfg-ens33#刚开始没有vim只有vi BOOTPRO...
安装配置高可用Hadoop
JiGmin的博客
07-24 153
首先下载好Hadoop的安装包，并解压 1.配置hadoop-env.sh中的java_home 修改为自己jdk的路径 修改hadoop-env.sh中的java_home export JAVA_HOME=/opt/jdk1.8.0_181/ 2.配置core-site.xml\ <!--指定hadoop运行时产生文件的存储目录--> <property> <n...
Hadoop之Ha高可用搭建教程_启动hadoop高可用集群
2401_84170623的博客
04-27 697
DataNode | 有 | 有 | 有 | 存储实际数据，参与数据块的读写操作 || NodeManager | 有 | 有 | 有 | 负责管理容器生命周期，与ResourceManager通信 |
2024年大数据最新Hadoop之Ha高可用搭建教程_启动hadoop高可用集群
最新发布
2401_84181536的博客
05-02 758
服务的逻辑名称,使用mycluster替换master:9000作为逻辑名称。通过SSH连接到Active NameNode并终止进程。存放namenode、datanode数据的根路径。列出运行 ZooKeeper 服务的主机端口对。存放journalnode数据的地址。两个namenode的rpc通信地址。hdfs分布式文件系统名字/地址。两个namenode的名称。切换namenode代理类。启动自动故障转移机制。
Hadoop3.3高可用环境搭建 .docx
11-29
五台虚拟机搭建Hadoop3.3.1高可用完全分布式环境
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群...通过规划服务器环境、选择合适的版本组合、安装和配置Zookeeper、Hadoop和HBase三个组件，可以搭建一个高效的Hadoop HA高可用集群。
hadoop高可用搭建
11-13
hadoop集群搭建高可用文档在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（High Available 高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN，执行步骤如下： 创建hadoop用户 安装JDK 配置hosts 安装SSH ...
大数据分布式集群环境搭建.docx
11-09
centos大数据分布式集群搭建，包含hadoop spark hbase hive solr elasticsearch redis zookeeper rocketmq mongodb mariadb storm kafka docker
大数据分布式环境搭建文档
阿尼古
12-18 353
分布式环境搭建文档 Hadoop2.7.4+hbase1.3.1+jdk1.8+zookeeper3.4.9 分布式和伪分布式的区别 简单的一句话概括一下，就是一台机器和多台机器的区别，加了一个zookeeper的配置，zookeeper就是为了进行集群间信息同步协助框架，把相关进程启动就可以了。 首先搭建一个伪分布式的环境 首先修改主机名、关闭防火墙、配置主机名和ip间的映射关...
hadoop高可用
su_use的博客
08-28 411
server1：172.25.5.1 [hadoop@server1 hadoop]$ sbin/start-dfs.sh Starting namenodes on [server1 server5] server1: starting namenode, logging to /home/hadoop/hadoop-2.7.3/logs/hadoop-hadoop-namenode-serv...
大数据之路-伪分布式环境搭建
大数据之路
05-24 690
这一块笔主前后花了近3个约时间，才陆陆续续在本地搭建完成。 楼主的电脑的 i5，24G内存（后扩16G）； 上面装了4个虚拟机，分别是Namenode, Calcnode1~3； 装伪分布式环境时绕了弯路，先是搭建hadoop，后转搭建cdh5.3.4； 现在环境以及搭建好了，期间遇到无数问题，之前没摘录，这里发图大家看看： CSDN上本来有一系列文章【hadoop入门第一步 ~
大数据环境搭建之Hadoop集群搭建
SuperMap技术控
06-14 5092
作者：Neshoir     Hadoop是目前市面上比较主流的开源分布式存储及分布式大数据计算框架，其具有高可靠，高可用，可扩展性强等特点，其设计允许简单的编程模型跨计算机集群处理大规模数据集，框架本身不依赖于硬件的可用性，而是利用设计在应用程序层检测和处理故障。Hadoop项目包含的组件模块有Common，HDFS，MapReduce，YARN等。 Hadoop Common：一些列的核...
2-3.Hadoop大数据集群搭建之---完全分布式
xubo5868的博客
01-29 741
hadoop完全分布式搭建
hadoop2.7.5 集群搭建（高可用）
zhaishujie的博客
08-22 2420
附录hadoop所有版本下载地址：https://archive.apache.org/dist/hadoop/common/ 由于需要用到hadoop的服务器配置特写出来分享此文档。 服务器： hostname ip 系统 node1 192.168.3.21 centos7.2 nod...
Hadoop编译文档
qq_43528451的博客
02-26 122
Hadoop编译文档 1. 准备linux环境 准备一台linux环境，内存4G或以上，硬盘40G或以上，我这里使用的是Centos7.7 64位的操作系统（注意：一定要使用64位的操作系统），需要虚拟机联网，关闭防火墙，关闭selinux，安装好JDK8。 根据以上需求，只需要将node1再克隆一台即可，命名为node4，专门用来进行Hadoop编译。 2. 安装maven 这里使用maven3.x以上的版本应该都可以，不建议使用太高的版本，强烈建议使用3.0.5的版本即可 将maven的安装包上传到
hadoop环境搭建（续预备）
翻滚啊牛宝宝
12-01 148
继hadoop环境搭建预备节之后，开始正式搭建hadoop集群环境，先简单介绍下lz的环境，共五台虚机，node1-node5 node1和node2为NameNode node3-node5为DataNode 安装包下载：lz使用的是2.7.7的包 配置 cd /data/soft/new/hadoop //解压压缩包 tar -zxvf hadoop-2.7.7.tar.gz cd...
基于ZooKeeper的Hadoop高可用HA搭建指南
Hadoop 3.x 高可用 HA 搭建方式概述 Hadoop 3.x 高可用 HA 搭建方式是指在 Hadoop 集群中实现高可用的方法，旨在提高集群的可用性和可靠性。本文将详细介绍 Hadoop 3.x 高可用 HA 搭建方式的架构、组件、配置和实现...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值