hadoop3.2.2大数据完整集群搭建

最新推荐文章于 2022-03-25 16:30:14 发布
最新推荐文章于 2022-03-25 16:30:14 发布
阅读量1.1k 收藏 14
点赞数
文章标签： 大数据 hadoop spark linux java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/smartsteps/article/details/119834968
版权

hadoop3.2.2完整集群搭建

准备工作

1.搭建虚拟机集群

请参考
centos7虚拟机集群搭建

2.安装zookeeper集群

请参考
zookeeper集群搭建

3.下载或编译hadoop3.2.2安装包

请参考
hadoop3.2.2源码包编译

安装阶段

1.创建安装目录并解压安装包

在node1服务器上执行


#解压文件
 tar -zxvf hadoop-3.2.2.tar.gz -C /home/

2.修改配置文件

2.1 修改 core-site.xml

cd /home/hadoop-3.2.2/etc/hadoop
vi /core-site.xml

<configuration>
<!-- 指定NameNode的HA高可用的zk地址  -->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>node1:2181,node2:2181,node3:2181</value>
	</property>
 <!-- 指定HDFS访问的域名地址  -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://ns</value>
	</property>
 <!-- 临时文件存储目录  -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/hadoop-3.2.2/data/tmp</value>
	</property>
	 <!-- 开启hdfs垃圾箱机制，指定垃圾箱中的文件七天之后就彻底删掉
			单位为分钟
	 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

2.2 修改hdfs-site.xml

cd /home/hadoop-3.2.2/etc/hadoop
vi /hdfs-site.xml

<configuration>
<!--  指定命名空间  -->
	<property>
		<name>dfs.nameservices</name>
		<value>ns</value>
	</property>
<!--  指定该命名空间下的两个机器作为我们的NameNode  -->
	<property>
		<name>dfs.ha.namenodes.ns</name>
		<value>nn1,nn2</value>
	</property>

	<!-- 配置第一台服务器的namenode通信地址  -->
	<property>
		<name>dfs.namenode.rpc-address.ns.nn1</name>
		<value>node1:8020</value>
	</property>
	<!--  配置第二台服务器的namenode通信地址  -->
	<property>
		<name>dfs.namenode.rpc-address.ns.nn2</name>
		<value>node2:8020</value>
	</property>
	<!-- 所有从节点之间相互通信端口地址 -->
	<property>
		<name>dfs.namenode.servicerpc-address.ns.nn1</name>
		<value>node1:8022</value>
	</property>
	<!-- 所有从节点之间相互通信端口地址 -->
	<property>
		<name>dfs.namenode.servicerpc-address.ns.nn2</name>
		<value>node2:8022</value>
	</property>
	
	<!-- 第一台服务器namenode的web访问地址  -->
	<property>
		<name>dfs.namenode.http-address.ns.nn1</name>
		<value>node1:50070</value>
	</property>
	<!-- 第二台服务器namenode的web访问地址  -->
	<property>
		<name>dfs.namenode.http-address.ns.nn2</name>
		<value>node2:50070</value>
	</property>
	
	<!-- journalNode的访问地址，注意这个地址一定要配置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://node1:8485;node2:8485;node3:8485/ns1</value>
	</property>
	<!--  指定故障自动恢复使用的哪个java类 -->
	<property>
		<name>dfs.client.failover.proxy.provider.ns</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	
	<!-- 故障转移使用的哪种通信机制 -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	
	<!-- 指定通信使用的公钥  -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	<!-- journalNode数据存放地址  -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/home/hadoop-3.2.2/data/dfs/jn</value>
	</property>
	<!-- 启用自动故障恢复功能 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!-- namenode产生的文件存放路径 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///home/hadoop-3.2.2/data/dfs/nn/name</value>
	</property>
	<!-- edits产生的文件存放路径 -->
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:home/hadoop-3.2.2/data/dfs/nn/edits</value>
	</property>
	<!-- dataNode文件存放路径 -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///home/hadoop-3.2.2/data/dfs/dn</value>
	</property>
	<!-- 关闭hdfs的文件权限 -->
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
	<!-- 指定block文件块的大小 -->
	<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

2.3.修改修改yarn-site.xml

cd /home/hadoop-3.2.2/etc/hadoop
vi /yarn-site.xml


<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 是否启用日志聚合.应用程序完成后,日志汇总收集每个容器的日志,这些日志移动到文件系统,例如HDFS. -->
<!-- 用户可以通过配置"yarn.nodemanager.remote-app-log-dir"、"yarn.nodemanager.remote-app-log-dir-suffix"来确定日志移动到的位置 -->
<!-- 用户可以通过应用程序时间服务器访问日志 -->

<!-- 启用日志聚合功能，应用程序完成后，收集各个节点的日志到一起便于查看 -->
        <property>
                        <name>yarn.log-aggregation-enable</name>
                        <value>true</value>
        </property>


<!--开启resource manager HA,默认为false-->
<property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
</property>
<!-- 集群的Id，使用该值确保RM不会做为其它集群的active -->
<property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>mycluster</value>
</property>
<!--配置resource manager  命名-->
<property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
</property>
<!-- 配置第一台机器的resourceManager -->
<property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>node3</value>
</property>
<!-- 配置第二台机器的resourceManager -->
<property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>node2</value>
</property>

<!-- 配置第一台机器的resourceManager通信地址 -->
<property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>node3:8032</value>
</property>
<property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>node3:8030</value>
</property>
<property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>node3:8031</value>
</property>
<property>
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>node3:8033</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>node3:8088</value>
</property>

<!-- 配置第二台机器的resourceManager通信地址 -->
<property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>node2:8032</value>
</property>
<property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>node2:8030</value>
</property>
<property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>node2:8031</value>
</property>
<property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>node2:8033</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>node2:8088</value>
</property>
<!--开启resourcemanager自动恢复功能-->
<property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
</property>
<!--在node1上配置rm1,在node2上配置rm2,注意：一般都喜欢把配置好的文件远程复制到其它机器上，但这个在YARN的另一个机器上一定要修改，其他机器上不配置此项-->
        <property>
                <name>yarn.resourcemanager.ha.id</name>
                <value>rm2</value>
       <description>If we want to launch more than one RM in single node, we need this configuration</description>
        </property>

           <!--用于持久存储的类。尝试开启-->
<property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>node2:2181,node3:2181,node1:2181</value>
        <description>For multiple zk services, separate them with comma</description>
</property>
<!--开启resourcemanager故障自动切换，指定机器-->
<property>
        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
        <value>true</value>
        <description>Enable automatic failover; By default, it is enabled only when HA is enabled.</description>
</property>
<property>
        <name>yarn.client.failover-proxy-provider</name>
        <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>
</property>
<!-- 允许分配给一个任务最大的CPU核数，默认是8 -->
<property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>4</value>
</property>
<!-- 每个节点可用内存,单位MB -->
<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1536</value>
</property>
<!-- 单个任务可申请最少内存，默认1024MB -->
<property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1536</value>
</property>
<!-- 单个任务可申请最大内存，默认8192MB -->
<property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>1536</value>
</property>
<!--多长时间聚合删除一次日志 此处-->
<property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>2592000</value><!--30 day-->
</property>
<!--时间在几秒钟内保留用户日志。只适用于如果日志聚合是禁用的-->
<property>
        <name>yarn.nodemanager.log.retain-seconds</name>
        <value>604800</value><!--7 day-->
</property>
<!--指定文件压缩类型用于压缩汇总日志-->
<property>
        <name>yarn.nodemanager.log-aggregation.compression-type</name>
        <value>gz</value>
</property>
<!-- nodemanager本地文件存储目录-->
<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/home/hadoop-3.2.2/data/yarn/local</value>
</property>
<!-- resourceManager  保存最大的任务完成个数 -->
<property>
        <name>yarn.resourcemanager.max-completed-applications</name>
        <value>1000</value>
</property>
<!-- 逗号隔开的服务列表，列表名称应该只包含a-zA-Z0-9_,不能以数字开始-->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!--rm失联后重新链接的时间-->
<property>
        <name>yarn.resourcemanager.connect.retry-interval.ms</name>
        <value>2000</value>
</property>
</configuration>

2.4.修改workers文件

（老版本叫slave文件）

cd /home/hadoop-3.2.2/etc/hadoop
vi workers

加入要工作的服务器列表

node1
node2
node3

2.5.修改hadoop-env.sh

cd /home/hadoop-3.2.2/etc/hadoop
vi hadoop-env.sh

添加本机jdk配置

export JAVA_HOME=/usr/local/jdk1.8.0_271

集群部署阶段

1.同步hadoop到其他节点

cd /home
scp -r hadoop-3.2.2/ node2:$PWD

2.三台机器同时创建目录

mkdir -p /home/hadoop-3.2.2/data/dfs/nn/name
mkdir -p /home/hadoop-3.2.2/data/dfs/nn/edits
mkdir -p /home/hadoop-3.2.2/data/dfs/nn/name
mkdir -p /home/hadoop-3.2.2/data/dfs/nn/edits

3.更改node2的rm2

cd /home/hadoop-3.2.2/etc/hadoop
vi yarn-site.xml

rm1修改rm2

<property>       
		<name>yarn.resourcemanager.ha.id</name>
		<value>rm2</value>
       <description>If we want to launch more than one RM in single node, we need this configuration</description>
	</property>

启动阶段

1.启动hdfs

cd /home/hadoop-3.2.2
bin/hdfs zkfc -formatZK

在这里插入图片描述

 2.启动 journalnode
sbin/hadoop-daemons.sh start journalnode
#格式化 namenode
bin/hdfs namenode -format
bin/hdfs namenode -initializeSharedEdits -force
#启动hdfs
sbin/start-dfs.sh

启动成功
在这里插入图片描述
jps查看进程 可以看到服务已经启动
node1
在这里插入图片描述

node2
在这里插入图片描述

node3
在这里插入图片描述

时间原因今天先到这里。

2.启动 yarn过程

node3节点启动yarn

cd /home/hadoop-3.2.2/etc/hadoop
sbin/start-yarn.sh

node2节点启动yarn

cd /home/hadoop-3.2.2/etc/hadoop
sbin/start-yarn.sh

3.查看resourceManager状态

node3上执行

cd /home/hadoop-3.2.2/etc/hadoop
bin/yarn rmadmin -getServiceState rm1

node2上执行

cd /home/hadoop-3.2.2/etc/hadoop
bin/yarn rmadmin -getServiceState rm1

4.启动jobHistory

node3机器执行以下命令启动jobHistory

cd /home/hadoop-3.2.2/etc/hadoop
sbin/mr-jobhistory-daemon.sh start historyserver

5.hdfs状态查看

主节点hdfs
http://192.168.60.11:50070/dfshealth.html#tab-datanode
备用节点hdfs
http://192.168.60.12:50070/dfshealth.html#tab-datanode
在这里插入图片描述
三个节点已经建立成功了。

6.yarn集群的查看

http://192.168.60.13:8088/cluster
在这里插入图片描述

7.历史任务的查看

http://192.168.60.13:19888/jobhistory/app
在这里插入图片描述

DEMO测试

跑一个pI程序
进入目录 /home/hadoop-3.2.2/share/hadoop/mapreduce

 hadoop jar hadoop-mapreduce-examples-3.2.2.jar pi 5 5

内存不足错误排查

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException): Invalid resource request! Cannot allocate containers as requested resource is greater than maximum allowed allocation. Requested resource type=[memory-mb], Requested resource=<memory:1536, vCores:1>, maximum allowed allocation=<memory:512, vCores:4>, please note that maximum allowed allocation is calculated by scheduler based on maximum resource of registered NodeManagers, which might be less than configured maximum allocation=<memory:512, vCores:4>

内存调整到1536

<!-- 每个节点可用内存,单位MB -->
<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1536</value>
</property>
<!-- 单个任务可申请最少内存，默认1024MB -->
<property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1536</value>
</property>
<!-- 单个任务可申请最大内存，默认8192MB -->
<property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>1536</value>
</property>

错误排查：

Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

Please check whether your etc/hadoop/mapred-site.xml contains the below configuration:
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>

[2021-08-26 02:13:48.447]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

Please check whether your etc/hadoop/mapred-site.xml contains the below configuration:
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>

For more detailed output, check the application tracking page: http://node3:8088/cluster/app/application_1629943989622_0001 Then click on links to logs of each attempt.
. Failing the application.
2021-08-26 02:13:49,416 INFO mapreduce.Job: Counters: 0
Job job_1629943989622_0001 failed!

解决方案：根据提示，在所有master和slave的mapred-site.xml中添加如下内容：

 <property>
      <name>yarn.app.mapreduce.am.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
      <name>mapreduce.map.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
      <name>mapreduce.reduce.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>

程序执行成功！

        File System Counters
                FILE: Number of bytes read=116
                FILE: Number of bytes written=1441455
                FILE: Number of read operations=0
                FILE: Number of large read operations=0
                FILE: Number of write operations=0
                HDFS: Number of bytes read=1260
                HDFS: Number of bytes written=215
                HDFS: Number of read operations=25
                HDFS: Number of large read operations=0
                HDFS: Number of write operations=3
                HDFS: Number of bytes read erasure-coded=0
        Job Counters
                Launched map tasks=5
                Launched reduce tasks=1
                Data-local map tasks=5
                Total time spent by all maps in occupied slots (ms)=25558
                Total time spent by all reduces in occupied slots (ms)=4745
                Total time spent by all map tasks (ms)=25558
                Total time spent by all reduce tasks (ms)=4745
                Total vcore-milliseconds taken by all map tasks=25558
                Total vcore-milliseconds taken by all reduce tasks=4745
                Total megabyte-milliseconds taken by all map tasks=39257088
                Total megabyte-milliseconds taken by all reduce tasks=7288320
        Map-Reduce Framework
                Map input records=5
                Map output records=10
                Map output bytes=90
                Map output materialized bytes=140
                Input split bytes=670
                Combine input records=0
                Combine output records=0
                Reduce input groups=2
                Reduce shuffle bytes=140
                Reduce input records=10
                Reduce output records=0
                Spilled Records=20
                Shuffled Maps =5
                Failed Shuffles=0
                Merged Map outputs=5
                GC time elapsed (ms)=500
                CPU time spent (ms)=4730
                Physical memory (bytes) snapshot=1582936064
                Virtual memory (bytes) snapshot=16672661504
                Total committed heap usage (bytes)=1177026560
                Peak Map Physical memory (bytes)=295788544
                Peak Map Virtual memory (bytes)=2778599424
                Peak Reduce Physical memory (bytes)=185905152
                Peak Reduce Virtual memory (bytes)=2801176576
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters
                Bytes Read=590
        File Output Format Counters
                Bytes Written=97
Job Finished in 32.885 seconds
Estimated value of Pi is 3.68000000000000000000
精诚所至金石为开
关注
  • 0
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop3.2.2完全分布式集群环境搭建（一）
羽的博客
06-03 1022
超详细的hadoop生产环境的配置。 参考文章：http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html
（一）Ubuntu18.04下的Hadoop3.2.2详细安装与分布式集群搭建
李漂亮的博客
08-21 632
Ubuntu18.04下的Hadoop3.2.2详细安装与分布式搭建 一：jdk安装 我喜欢在root下使用命令，以下都是在root下操作的 1.使用which Java 命令查看是否有jdk，没显示说明没有 2.红框里是我自己创建的文件夹，把下载好的jdk放到这个文件夹下解压 解压命令 tar -zxvf jdk1.8.0_161 3.编辑文件 使用命令vim /etc/profile 在最下面加入这三行 export JAVA_HOM=E/usr/soft/jdk/jdk1.8.0_16
hadoop3.2.2集群搭建
m0_67393828的博客
03-25 2301
说明：本文以HDFS High Availability Using the Quorum Journal Manager模式搭建hadoop3.2.0集群。 环境 CentOS7.5.1804、jdk1.8.0_181、zookeeper3.6.2、hadoop3.2.2 虚拟机安装CentOS7五台，如下： hostname IP roles node-1 192.168.56.129 QuorumPeerMain、NameNode、JournalNode、DFSZKFailoverControll
hadoop-3.2.2高可用集群搭建
桃李不言的博客
05-18 793
规划原则： ➢ NameNode 和 SecondaryNameNode 不要安装在同⼀台服务器 ➢ ResourceManager 也很消耗内存,不要和 NameNode、SecondaryNameNode 配置在同⼀台服务器 master slave1 slave2 hdfs namenode namenode datanode datanode datanode yarn datanode datanode datanode nodemanager nodemana
0到1搭建hadoop-3.2.2集群
qq_42409495的博客
01-09 325
1 安装包准备 从官网下载安装包：hadoop-3.2.2.tar.gzhttps://archive.apache.org/dist/hadoop/common/ 2 集群规划 Hadoop101 Hadoop102 hadoop103 192.168.56.101 NameNode,DataNode DataNode DataNode 192.168.56.102 NodeManager ResourceManager,NodeManage
基于centos的大数据hadoop集群搭建说明文档
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
基于Hadoop大数据集群的搭建.docx
最新发布
11-06
【Hadoop大数据集群搭建】 Hadoop是一个开源的分布式计算框架，由Apache基金会开发，主要用于处理和存储海量数据。它的设计灵感来源于Google的MapReduce和GFS（Google文件系统）。Hadoop以其高容错性、可扩展性和...
实验一Hadoop大数据集群搭建
11-11
【实验一Hadoop大数据集群搭建】是一门针对大数据导论课程的实践操作，旨在让学生掌握如何在Ubuntu或CentOS操作系统上构建Hadoop集群。实验详细分解了五个主要步骤，涵盖了虚拟机配置、Hadoop和JDK的安装、集群克隆...
Hadoop3.2.2资源包+安装文档
04-20
Hadoop 2.x - 可以通过复制（浪费空间）来处理容错。 Hadoop 3.x - 可以通过Erasure编码处理容错。 数据平衡 Hadoop 2.x - 对于数据平衡使用HDFS平衡器。 Hadoop 3.x - 对于数据平衡使用Intra-data节点平衡器，该...
Hadoop3.2.2.zip
05-13
在Linux环境下，Hadoop通常被用作大数据处理的核心组件，搭建分布式集群，为大数据分析提供强大的支撑。 首先，让我们深入了解Hadoop的基本架构。Hadoop由两个主要部分组成：Hadoop Distributed File System (HDFS)...
电商数仓项目(三) hadoop3.2.2 安装与配置
02-27
电商数仓项目(三) hadoop3.2.2 安装与配置
CentOS7下Hadoop3.2.1集群的安装与部署（下）
01-07
在《CentOS7下Hadoop3.2.1集群的安装与部署（上）》中我们我们完成了对Hadoop集群的安装与启动。接下来，重点对HDFS和Yarn的HA配置进行介绍。 HDFS高可用 在上述Hadoop集群搭建完成之后，若要启用HA还需要对hdfs-site.xml和core-site.xml两个文件进行一点额外的配置。 hdfs-site.xml dfs.nameservices hadoop-cluster dfs.ha.namenodes.hadoop-cluster
Hadoop3集群搭建（hadoop3.2.2）
qq_43979159的博客
07-10 1264
Hadoop3集群部署部署环境安装包安装jdk（四台虚拟机都要）Hadoop3.2.2安装（master节点） 部署环境 master 192.168.128.130 slave1 192.168.128.131 slave2 192.168.128.132 slave3 192.168.128.133 安装包 hadoop-3.2.2.tar.gz 链接: https://pan.baidu.com/s/1esiIfOfC7nm-B9b1oTm8AQ 提取码: a2ng jdk-8u151-linux
hadoop3.2.2集群
SuperlcBlog
09-28 426
镜像文件下载地址:https://dlcdn.apache.org/hadoop/common/hadoop-3.2.2/ hadoop3.2.2文档：https://hadoop.apache.org/docs/r3.2.2/ hadoop3.2.2集群部署 1.环境 redhat7.5+hadoop3.2.2+jdk1.81+ 2.iso镜像挂载 0_master_local_yum.sh #!/bin/sh base_path=$(cd `dirname $0`; pwd) iso_path=${
Hadoop 中zoo_Hadoop中HA集群搭建步骤（详细）
weixin_39950083的博客
11-21 134
搭建HA集群（在完全分布式集群的基础上，可以参考博主之前的博客）：1、zookeeper集群搭建 a) 将zookeeper.tar.gz上传到node002、node003、node004 b) 解压到/opt tar -zxf zookeeper-3.4.6.tar.gz -C /opt c) 配置环境变量： export ZOOKEEPER_PREFIX=/opt/zookeeper-3...
docker配置hadoop3.2.2全分布式集群
Bernard's
10-12 436
git clone https://github.com/jpetazzo/pipework.git sudo cp -rp pipework-master/pipework /usr/local/bin/ sudo brctl addbr br0 sudo ip link set dev br0 up sudo ip addr add 192.168.2.1/24 dev br0
基于CentOS7的Hadoop3.2.2完全分布式集群部署记录
小菜立志成大牛
06-09 585
服务器部署结构 hostname hadoop1 hadoop2 hadoop3 IP 192.168.10.25 192.168.10.27 192.168.10.28 HDFS NameNode SecondaryNameNode HDFS DataNode DataNode DataNode YARN ResourceManager YARN NodeManager NodeManager NodeManager 一.环境准备 1、安装java环境，推荐rpm
分布式Hadoop3.2.2集群搭建
shadow的博客
08-12 193
Hadoop 准备基础环境 java8,ubuntu20.04 搭建步骤: 基本插件安装sudo apt install ssh sudo apt-get install pdsh 下载安装包并解压 （Hadoop3.2.2安装包下载链接） 编辑 hadoop-env.sh文件添加java环境变量 export JAVA_HOME= ...
hadoop3.2.2部署-单机
SuperlcBlog
06-29 1063
apache hadoop 部署笔记：单机版本 安装环境：jdk1.8.0_181+hadoop3.2.2 1.官网地址：http://hadoop.apache.org/ 帮助文档： https://hadoop.apache.org/docs/r3.2.2/hadoop-project-dist/hadoop-common/SingleCluster.html 2.hadoop的核心: 1.HDFS: Hadoop Distributed File System 分布式文件系统 2.YARN: Yet
Ubuntu16.04伪分布式Hadoop3.1.3大数据集群配置指南
"提供了一个基于Ubuntu 16.04的伪分布式Hadoop 3.1.3大数据集群环境，该环境预装了包括Hadoop、HBase、MySQL、Hive、Scala、Spark、Flink和Maven等一系列大数据处理相关的组件。虚拟机镜像是ova格式，适用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值