Hadoop3.3.6 HA分布式安装

已于 2023-08-30 16:12:11 修改
阅读量460 收藏 2
点赞数 2
文章标签： hadoop
于 2023-08-30 15:49:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43838444/article/details/132584295
版权

Hadoop3.3.6 HA分布式安装

  1. 安装JAVA环境

  2. 安装Zookeeper环境

  3. 编译Hadoop源码

  4. 安装Hadoop

    cd /export/software
tar -zxvf hadoop-3.3.6.tar.gz -C ../server/
cd ../server/hadoop-3.3.6/

  5. 配置hadoop-env.sh

    export JAVA_HOME=/export/server/jdk1.8.0_241
export HADOOP_PID_DIR=/export/server/hadoop-3.3.6/hadoop_pid_dir_tmp
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root

  6. 检查Hadoop在新环境依赖

    [root@node00 bin]# ./hadoop checknative
2023-08-29 04:52:39,162 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
2023-08-29 04:52:39,164 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
2023-08-29 04:52:39,198 INFO nativeio.NativeIO: The native code was built with PMDK support, and PMDK libs were loaded successfully.
Native library checking:
hadoop:  true /export/server/hadoop-3.3.6-src/hadoop-dist/target/hadoop-3.3.6/lib/native/libhadoop.so.1.0.0
zlib:    true /lib64/libz.so.1
zstd  :  true /lib64/libzstd.so.1
bzip2:   true /lib64/libbz2.so.1
openssl: true /lib64/libcrypto.so
ISA-L:   true /lib/libisal.so.2
PMDK:    true /usr/local/lib64/libpmem.so.1.0.0

# 如果出现false先在三台机器上安装

  7. 配置core-site.xml

    
<configuration>
<!-- 用于设置Hadoop的文件系统，由URI指定 -->
	 <property>
		    <name>fs.defaultFS</name>
		    <value>hdfs://nns</value>
	 </property>
<!-- 配置Hadoop存储数据目录,默认/tmp/hadoop-${user.name} -->
	 <property>
		   <name>hadoop.tmp.dir</name>
		   <value>/export/server/hadoop-3.3.6/hadoopDatas/tempDatas</value>
	</property>
	<!-- 指定zookeeper地址 -->
	 <property>
		<name>ha.zookeeper.quorum</name>
		<value>node1:2181,node2:2181,node3:2181</value>
	 </property>


	<!--  缓冲区大小，实际工作中根据服务器性能动态调整: 根据自己的虚拟机的内存大小进行配置即可, 不要小于1GB, 最高配置为 4gb  -->
	 <property>
		   <name>io.file.buffer.size</name>
		   <value>4096</value>
	 </property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	 <property>
		   <name>fs.trash.interval</name>
		   <value>10080</value>
	 </property>
	   <!-- 设置HDFS web UI用户身份 -->  
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>root</value>
	</property>
  
	<!-- 配置该root允许通过代理访问的主机节点 -->
	<property>
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>

	 <!-- 配置该root允许代理的用户所属组 -->
	<property>
		<name>hadoop.proxyuser.root.groups</name>
		<value>*</value>
	</property>

	<!-- 配置该root允许代理的用户 -->
	<property>
		<name>hadoop.proxyuser.root.users</name>
		<value>*</value>
	</property>

</configuration>

  8. hdfs-site.xml

    <configuration>
	<!--执行hdfs的nameservice为nns，注意要和core-site.xml中的名称保持一致 -->
	<property>
		<name>dfs.nameservices</name>
		<value>nns</value>
	</property>
	<!-- nameservice包含的namenode，ns集群下有两个namenode，分别为ns1, ns2 -->
	<property>
		<name>dfs.ha.namenodes.nns</name>
		<value>nn1,nn2</value>
	</property>

	<!-- nn1的rpc地址和端口号，rpc用来和datanode通讯，默认值：9000-->
	<property>
		<name>dfs.namenode.rpc-address.nns.nn1</name>
		<value>node1:9000</value>
	</property>

	<!-- nn2的rpc地址和端口号，rpc用来和datanode通讯，默认值：9000-->
	<property>
		<name>dfs.namenode.rpc-address.nns.nn2</name>
		<value>node2:9000</value>
	</property>

	<!-- nn1的http地址和端口号，web客户端 -->
	<property>
		<name>dfs.namenode.http-address.nns.nn1</name>
		<value>node1:9870</value>
	</property>
	<!-- nn2的http地址和端口号，web客户端 -->
	<property>
		<name>dfs.namenode.http-address.nns.nn2</name>
		<value>node2:9870</value>
	</property>

	<!-- 指定namenode的元数据在JournalNode上存放的位置，namenode2可以从journalnode集群里的指定位置上获取信息，达到热备效果 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://node1:8485;node2:8485;node3:8485/nns</value>
	</property>

		  <!-- 配置失败自动切换实现方式,客户端连接可用状态的NameNode所用的代理类,默认值：org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider -->
	<property>
		<name>dfs.client.failover.proxy.provider.nns</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>


<!-- 配置隔离机制,HDFS的HA功能的防脑裂方法。建议使用sshfence(hadoop:9922)，括号内的是用户名和端口，注意，2台NN之间可免密码登陆.sshfences是防止脑裂的方法，保证NN中仅一个是Active的，如果2者都是Active的，新的会把旧的强制Kill -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>

	<!-- 开启NameNode失败自动切换 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!-- 配置失败自动切换实现方式 -->
	<property>
		<name>dfs.client.failover.proxy.provider.nns</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!-- 指定上述选项ssh通讯使用的密钥文件在系统中的位置 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>

	<!-- 指定JournalNode在本地磁盘存放数据的位置。 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/export/server/hadoop-3.3.6/hadoopDatas/journalnode</value>
	</property>


	<!-- 指定namenode元数据的存放位置 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/server/hadoop-3.3.6/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义datanode数据存储的节点位置 -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/server/hadoop-3.3.6/hadoopDatas/datanodeDatas</value>
	</property>	
	<!-- 定义namenode的edits文件存放路径 -->
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/server/hadoop-3.3.6/hadoopDatas/nn/edits</value>
	</property>

	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/server/hadoop-3.3.6/hadoopDatas/dfs/snn/edits</value>
	</property>
	<!-- 配置检查点目录 -->
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/server/hadoop-3.3.6/hadoopDatas/snn/name</value>
	</property>

	<!-- 文件切片的副本个数-->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<!-- 设置HDFS的文件权限-->
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
	<!-- 设置一个文件切片的大小：128M-->
	<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
	<!-- 指定DataNode的节点配置文件 -->
	<property>
		<name>dfs.hosts</name>
		<value>/export/server/hadoop-3.3.6/etc/hadoop/slaves</value>
	</property>
</configuration>

  9. yarn-site.xml

    <configuration>
	<!-- Site specific YARN configuration properties -->
	<!-- 是否启用日志聚合.应用程序完成后,日志汇总收集每个容器的日志,这些日志移动到文件系统,例如HDFS. -->		  <!-- 用户可以通过配置"yarn.nodemanager.remote-app-log-dir"、"yarn.nodemanager.remote-app-log-dir-suffix"来确定日志移动到的位置 -->
	<!-- 用户可以通过应用程序时间服务器访问日志 -->
	<!-- 启用日志聚合功能，应用程序完成后，收集各个节点的日志到一起便于查看 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	
	<!--开启ResourceManager HA功能-->
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	<!-- 集群的Id，使用该值确保RM不会做为其它集群的active -->
	<!--标志ResourceManager-->
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>mycluster</value>
	</property>
  
	<!--集群中ResourceManager的ID列表，后面的配置将引用该ID-->
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>
  
	<!-- 设置YARN集群主角色运行节点rm1-->
	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>node2</value>
	</property>
  
	<!-- 设置YARN集群主角色运行节点rm2-->
	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>node3</value>
	</property>
  
	<!--ResourceManager1的Web页面访问地址-->
	<property>
		<name>yarn.resourcemanager.webapp.address.rm1</name>
		<value>node2:8088</value>
	</property>

	<!--ResourceManager2的Web页面访问地址-->
	<property>
		<name>yarn.resourcemanager.webapp.address.rm2</name>
		<value>node3:8088</value>
	</property>
	<!-- 配置第一台机器的resourceManager通信地址 -->
	<property>
	     <name>yarn.resourcemanager.address.rm1</name>
	     <value>node2:8032</value>
	</property>
	<property>
	     <name>yarn.resourcemanager.scheduler.address.rm1</name>
	     <value>node2:8030</value>
	</property>
	<property>
	     <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
	     <value>node2:8031</value>
	</property>
	<property>
	     <name>yarn.resourcemanager.admin.address.rm1</name>
	     <value>node2:8033</value>
	</property>
	<!-- 配置第二台机器的resourceManager通信地址 -->
	<property>
	     <name>yarn.resourcemanager.address.rm2</name>
	     <value>node3:8032</value>
	</property>
	<property>
	     <name>yarn.resourcemanager.scheduler.address.rm2</name>
	     <value>node3:8030</value>
	</property>
	<property>
	     <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
	     <value>node3:8031</value>
	</property>
	<property>
	     <name>yarn.resourcemanager.admin.address.rm2</name>
	     <value>node3:8033</value>
	</property>
	<!--启用ResouerceManager重启的功能，默认为false-->
	<property>
		<name>yarn.resourcemanager.recovery.enabled</name>
		<value>true</value>
	</property>
	<!--在node2上配置rm1,在node3上配置rm2,注意：一般都喜欢把配置好的文件远程复制到其它机器上，但这个在YARN的另一个机器上一定要修改，其他机器上不配置此项-->
	<property>       
		<name>yarn.resourcemanager.ha.id</name>
		<value>rm2</value>
		<description>If we want to launch more than one RM in single node, we need this configuration</description>
	</property>

	<!--用于ResouerceManager状态存储的类-->
	<property>
		<name>yarn.resourcemanager.store.class</name>
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
	</property>
	<!--ZooKeeper集群列表-->
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>node2:2181,node3:2181,node1:2181</value>
		<description>For multiple zk services, separate them with comma</description>
	</property>

	<!--开启resourcemanager故障自动切换，指定机器--> 
	<property>
		<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
		<value>true</value>
		<description>Enable automatic failover; By default, it is enabled only when HA is enabled.</description>
	</property>	

	<property>
		<name>yarn.client.failover-proxy-provider</name>
		<value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>
	</property>
	
	<!-- 允许分配给一个任务最大的CPU核数，默认是8 -->
	<property>
		<name>yarn.nodemanager.resource.cpu-vcores</name>
		<value>4</value>
	</property>

	<!-- 每个节点可用内存,单位MB -->
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>4096</value>
	</property>
	<!-- 单个任务可申请最少内存，默认1024MB -->
	<property>
	 	<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>1024</value>
	</property>

	<!-- 单个任务可申请最大内存，默认8192MB -->
	<property>
		<name>yarn.scheduler.maximum-allocation-mb</name>
		<value>4096</value>
	</property>

	<!--多长时间聚合删除一次日志 此处-->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>2592000</value><!--30 day-->
	</property>
	<!--时间在几秒钟内保留用户日志。只适用于如果日志聚合是禁用的-->
	<property>
		<name>yarn.nodemanager.log.retain-seconds</name>
		<value>604800</value><!--7 day-->
	</property>
	<!--指定文件压缩类型用于压缩汇总日志-->
	<property>
		<name>yarn.nodemanager.log-aggregation.compression-type</name>
		<value>gz</value>
	</property>

	<!-- nodemanager本地文件存储目录-->
	<property>
		<name>yarn.nodemanager.local-dirs</name>
		<value>/export/server/hadoop-3.3.6/hadoopDatas/yarn/local</value>
	</property>


	<!-- resourceManager  保存最大的任务完成个数 -->
	<property>
		<name>yarn.resourcemanager.max-completed-applications</name>
		<value>1000</value>
	</property>
	<!-- 逗号隔开的服务列表，列表名称应该只包含a-zA-Z0-9_,不能以数字开始-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>

	<!-- 是否将对容器实施虚拟内存限制 -->
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>
  
	<!-- 设置日志聚集服务器地址 -->
	<property>
		<name>yarn.log.server.url</name>
		<value>http://node3:19888/jobhistory/logs</value>
	</property>
	<!--环境变量通过从NodeManagers的容器继承的环境属性，对于MapReduce应用程序，除了 默认值 hadoop op_mapred_home 应被加入 外，还有如下属性值：-->
 	<property>
 	    <name>yarn.nodemanager.env-whitelist</name>
 	    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
 	</property>

	
</configuration>

  10. mapred-site.xml

    <configuration>
	<!-- 设置MR程序默认运行模式，yarn集群模式，local本地模式 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
  
	<!-- 历史服务器端地址 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node3:10020</value>
	</property>
  
	<!-- 历史服务器web端地址 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node3:19888</value>
	</property>


	<!-- The directory where MapReduce stores control files.默认 ${hadoop.tmp.dir}/mapred/system -->
	<property>
	     <name>mapreduce.jobtracker.system.dir</name>
	     <value>/export/server/hadoop-3.3.6/hadoopDatas/system/jobtracker</value>
	</property>
	<!-- The amount of memory to request from the scheduler for each map task. 默认 1024-->
	<property>
	     <name>mapreduce.map.memory.mb</name>
	     <value>1024</value>
	</property>
	<!-- <property>
	                <name>mapreduce.map.java.opts</name>
	                <value>-Xmx1024m</value>
	        </property> -->
	<!-- The amount of memory to request from the scheduler for each reduce task. 默认 1024-->
	<property>
	     <name>mapreduce.reduce.memory.mb</name>
	     <value>1024</value>
	</property>
	<!-- <property>
	               <name>mapreduce.reduce.java.opts</name>
	               <value>-Xmx2048m</value>
	        </property> -->
	<!-- 用于存储文件的缓存内存的总数量，以兆字节为单位。默认情况下，分配给每个合并流1MB，给个合并流应该寻求最小化。默认值100-->
	<property>
	     <name>mapreduce.task.io.sort.mb</name>
	     <value>100</value>
	</property>
 
	<!-- <property>
	        <name>mapreduce.jobtracker.handler.count</name>
	        <value>25</value>
	        </property>-->
	<!-- 整理文件时用于合并的流的数量。这决定了打开的文件句柄的数量。默认值10-->
	<property>
	     <name>mapreduce.task.io.sort.factor</name>
	     <value>10</value>
	</property>
	<!-- 默认的并行传输量由reduce在copy(shuffle)阶段。默认值5-->
	<property>
	     <name>mapreduce.reduce.shuffle.parallelcopies</name>
	     <value>15</value>
	</property>
	<property>
	     <name>yarn.app.mapreduce.am.command-opts</name>
	     <value>-Xmx2048m</value>
	</property>
	<!-- MR AppMaster所需的内存总量。默认值1536-->
	<property>
	     <name>yarn.app.mapreduce.am.resource.mb</name>
	     <value>1536</value>
	</property>
	<!-- MapReduce存储中间数据文件的本地目录。目录不存在则被忽略。默认值${hadoop.tmp.dir}/mapred/local-->
	<property>
	     <name>mapreduce.cluster.local.dir</name>
	     <value>/export/server/hadoop-3.3.6/hadoopDatas/system/local</value>
	</property>
</configuration>

  11. workers

    node1
node2
node3

  12. 配置环境变量三台

    vim /etc/profile
# set hadoop environment
export HADOOP_HOME=/export/server/hadoop-3.3.6
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

  13. 分发Hadoop

    cd /export/server
scp -r hadoop-3.3.6/ node2:$PWD
scp -r hadoop-3.3.6/ node3:$PWD

  14. 启动和初始化

    # 1. 重启三台机器
reboot
# 2.三台机器启动ZK
zkServer.sh start
zkServer.sh status
# 3. 初始化ZK（node1执行）
hdfs zkfc -formatZK
# 4. 启动 journalnod（node1执行）
hadoop-daemons.sh start journalnode
# 5. 初始化Hadoop（node1执行）
hdfs namenode -format
hdfs namenode -initializeSharedEdits -force
# 6.启动HDFS（node1执行）
start-dfs.sh
# 7.将node2的namenode激活并设置状态为Standby（node2执行）
hdfs namenode -bootstrapStandby
hadoop-daemon.sh start namenode
# 8. node2上启动激活yarn（node2执行）
start-yarn.sh
# 9. node3上启动激活yarn（node3执行）
start-yarn.sh
# 10. 查看resourceManager的状态
yarn rmadmin -getServiceState rm1（node2执行）
yarn rmadmin -getServiceState rm2（node3执行）
# 11. 启动jobhistory（node3执行）
mr-jobhistory-daemon.sh start historyserver

  15. web访访问地址

    # HDFS
http://node1:9870/dfshealth.html#tab-overview
http://node2:9870/dfshealth.html#tab-overview
# yarn
http://node2:8088/cluster
# jobHistory
http://node3:19888/jobhistory

  16. 后面集群启动和关闭就不需要这么麻烦了

    # 先启动ZK三台机器启动ZK
zkServer.sh start
zkServer.sh status
# 启动
star-all.sh
# 关闭
stop-all.sh
过去的曾经^_^
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
hadoop-3.3.6.tar.gz - hadoop 3.3.6 安装包
07-19
Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。适用于用户进行大数据处理和存储的需求。下载后请按照官方文档进行安装和配置。
Hadoop单机伪分布式安装
03-20
Hadoop单机伪分布式安装 Hadoop 是一个开源的大数据处理框架，由 Apache 软件基金会开发和维护。Hadoop 的核心组件包括 HDFS（Hadoop Distributed File System）、MapReduce 和 YARN（Yet Another Resource ...
Hadoop3.3.6高可用集群搭建
qq_28604399的博客
09-07 709
在上一篇文章中《Hadoop3.x入门-搭建3节点分布式集群》只是一个简单的测试的分布式集群，并不是高可用的，也就是说当namenode或者resourcemanager节点挂掉，hadoop的功能就无法使用了，所以无法应用到生产环境中。在上一篇文章中《Hadoop3.x入门-搭建3节点分布式集群》只是一个简单的测试的分布式集群，并不是高可用的，也就是说当namenode或者resourcemanager节点挂掉，hadoop的功能就无法使用了，所以无法应用到生产环境中。解决方法：安装插件psmisc。
Hadoop-3.3.6完全分布式集群安装
m0_63480823的博客
09-09 334
Step1：需要准备至少三台配置好的虚拟机（core-site、hdfs-site、mapred-site和yarn-site文件），可以选择克隆已完成配置的伪分布安装的虚拟机。Step2：在克隆的虚拟机内输入命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33并修改ip。Step7：在每台虚拟机上输入：vi /etc/hosts 写入三个虚拟机的的ip地址和主机名。Step8：分发jdk，在master主机上输入cd /opt（打开解压后的jdk所在文件夹）
hadoop学习笔记
最新发布
皮鞭蘸碘伏边抽边消毒
05-28 875
Hadoop 是一个开源的分布式存储和计算框架，旨在处理大规模数据集并提供高可靠性、高性能的数据处理能力。它主要包括以下几个核心组件：Hadoop 分布式文件系统（HDFS）：HDFS 是 Hadoop 的分布式文件存储系统，用于存储大规模数据，并通过数据的副本和自动故障恢复机制来提供高可靠性和容错性。
Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建
weixin_43655425的博客
12-08 1582
一文搞定Hadoop完全分布式部署
Hadoop(01) Hadoop3.3.6安装教程，单机/伪分布式配置
weixin_38735917的博客
09-26 6356
在安装 Hadoop 3.3.6 前，需要满足以下前置条件：Java Development Kit (JDK)：Hadoop 是用 Java 编写的，因此需要安装并配置适当版本的 JDK。Hadoop 3.3.6 建议使用 JDK 8 或更高版本。确保正确安装 JDK，并设置 JAVA_HOME 环境变量。SSH：Hadoop 集群中的节点需要通过 SSH 进行通信和管理。确保在所有节点上安装和配置了 SSH，并且可以通过 SSH 无密码登录到集群的各个节点。
Hadoop-3.3.6完全分布式集群搭建
m0_62929925的博客
09-10 1203
右击创建好的虚拟机hadoop base，选择管理-克隆-点击下一步-虚拟机中的当前状态-下一步-创建完整克隆-下一步-设置克隆机名称，安装位置-完成。设置静态ip，与主节点ljl的hosts文件保持一致，设置成功重启网络。首先进入hadoop所在配置文件目录/usr/local/src/Hadoop-3.3.6/etc/hadoop，在此目录打开终端。打开Xshell7,左上角新建文件，在弹出框设置两个从节点的名称和ip地址，然后连接，随后输入root账号密码完成连接。回到主节点ljl，执行。
Hadoop 3.3.6 安装教程
Grain_Rain_GR的博客
01-01 884
hadoop 的安装与测试
Hadoop的伪分布式安装
02-26
该软件不需要安装，直接打开使用即可，如图1.1所示图1.1在HostName中输入Centos的ip地址，其余设置使用默认值，然后点击最下面的“Open”按钮，就会提示输入用户名和密码，我们需要输入Centos的用户名root，密码...
Hadoop-2.7.1分布式安装手册
11-14
《Hadoop-2.7.1分布式安装手册》是一份详尽的指南，旨在帮助用户在不同的模式下安装和配置Apache Hadoop 2.7.1。Hadoop是开源的大数据处理框架，它允许在廉价硬件上进行大规模数据处理，具有高容错性和可扩展性。这...
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
摘要 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 软件特点 Hadoop是一个
Hadoop3.3.6安装和配置hbase-2.5.5-hadoop3x，zookeeper-3.8.3
xinglu20的博客
11-21 2421
/修改 zoo.cfg 配置文件，将 dataDir=/data/zookeeper/data 修改为指定的data目录。重点：以下配置都是在root用户下进行配置后续会给对应的hadoop用户权限。推荐一口气配置完在进行给予权限和进行配置文件的刷新，以及最后的分发。在安装过程中推荐设置root用户密码为1234方面后续操作。权限 给 hadoop 用户配置相关权限。hadoop2,3分别创建软连接。hadoop2,3创建软连接。hadoop2 修改为2。hadoop3 修改为3。以hadoop3为例。
Hadoop3.3.6
xinglu20的博客
09-19 341
hadoop3.3.6安装和配置
最新版本——Hadoop3.3.6单机版完全部署指南
大数据流动
12-06 1438
大家好，我是独孤风，大数据流动的作者。本文基于最新的 Hadoop 3.3.6 的版本编写，带大家通过单机版充分了解 Apache Hadoop 的使用。本文更强调实践，实践是大数据学习的重要环节，也能在实践中对该技术有更深的理解，所以一些理论知识建议大家多阅读相关的书籍（都在资料包中）。本文档版权归大数据流动所有，请勿商用，全套大数据、数据治理、人工智能相关学习资料，请关注大数据流动。（本文所使...
Centos7系统下搭建Hadoop 3.3.6
zxc872202364的博客
10-08 1373
Centos7系统下搭建Hadoop 3.3.6(包括jdk的安装)
(图文并茂)基于CentOS-7搭建hadoop3.3.6大数据集群
m0_64825044的博客
05-15 1304
安装虚拟机等很久没反应一般是需要按 Enter键 确认进入安装界面。
安装Hadoop集群（超详细！）
weixin_51981189的博客
10-10 4423
前面我写了一篇单机版的Hadoop安装，这里终于要装集群版，装集群版的步骤比较繁琐，需要同学们多加练习，因为我们不可能只装一次，经常出了问题就要重装，所以必须要练熟练。
Hadoop集群搭建安装教程（详细完整）
zhang_232的专栏
11-21 2880
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。
hadoop3.3.6完全分布式配置
09-10
对于Hadoop 3.3.6的完全分布式配置，你可以按照以下步骤进行操作： 1. 确保你已经安装了Java并设置了正确的环境变量。 2. 下载Hadoop 3.3.6的二进制文件并解压缩到你想要安装的目录。 3. 打开Hadoop配置文件目录...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值