Hadoop3.3.4分布式安装

最新推荐文章于 2024-10-14 21:26:32 发布
最新推荐文章于 2024-10-14 21:26:32 发布
阅读量954 收藏 1
点赞数
文章标签： 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52606060/article/details/134391601
版权

安装前提：已经配置好java环境，所有机器之间ssh的免密登录。
注意：下文中的flinkv1、flinkv2、flinkv3是三台服务器的别名
在这里插入图片描述

1.集群部署规划
注意：NameNode和SecondaryNameNode不要安装在同一台服务器
注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台
机器上。
在这里插入图片描述
2.上传安装包到linux系统上
在这里插入图片描述
3.进入到Hadoop安装包路径下

[zhangflink@9wmwtivvjuibcd2e ~]$ cd /opt/package/

4.解压安装文件到/opt/module下面

[zhangflink@9wmwtivvjuibcd2e package]$ tar -zxvf hadoop-3.3.4.tar.gz -C ../software/

5.查看是否解压成功

[zhangflink@9wmwtivvjuibcd2e package]$ cd ../software/
[zhangflink@9wmwtivvjuibcd2e software]$ ls

在这里插入图片描述

6.重命名

[zhangflink@9wmwtivvjuibcd2e software]$ mv hadoop-3.3.4/ hadoop
[zhangflink@9wmwtivvjuibcd2e software]$ ls

在这里插入图片描述
7.将Hadoop添加到环境变量
（1）获取Hadoop安装路径

[zhangflink@9wmwtivvjuibcd2e software]$ cd hadoop/
[zhangflink@9wmwtivvjuibcd2e hadoop]$ pwd

在这里插入图片描述
（2）打开/etc/profile文件

[zhangflink@9wmwtivvjuibcd2e hadoop]$ sudo vim /etc/profile

在profile文件末尾添加JDK路径：（shitf+g）

> #HADOOP_HOME 	export
> HADOOP_HOME=/opt/software/hadoop 	
> export PATH=$PATH:$HADOOP_HOME/bin
> export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存后退出

 ：wq

（4）分发环境变量文件

[zhangflink@9wmwtivvjuibcd2e hadoop]$ /home/zhangflink/bin/xsync /etc/profile

（5）source 是之生效（3台节点）

[zhangflink@9wmwtivvjuibcd2e hadoop]$ source /etc/profile

8.配置集群
（1）核心配置文件
配置core-site.xml

[zhangflink@9wmwtivvjuibcd2e hadoop]$ cd etc/
[zhangflink@9wmwtivvjuibcd2e etc]$ cd hadoop/
[zhangflink@9wmwtivvjuibcd2e hadoop]$ vim core-site.xml

在这里插入图片描述

在配置文件最下面的configuration中间添加如下配置项

<configuration>
<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://flinkv1:8020</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/software/hadoop/data</value>
</property>

<!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>zhangflink</value>
</property>

<!-- 配置该atguigu(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.zhangflink.hosts</name>
        <value>*</value>
</property>
<!-- 配置该atguigu(superUser)允许通过代理用户所属组 -->
    <property>
        <name>hadoop.proxyuser.zhangflink.groups</name>
        <value>*</value>
</property>
<!-- 配置该atguigu(superUser)允许通过代理的用户-->
    <property>
        <name>hadoop.proxyuser.zhangflink.users</name>
        <value>*</value>
</property>
</configuration>

（2）HDFS配置文件

[zhangflink@9wmwtivvjuibcd2e hadoop]$ vim hdfs-site.xml

<configuration>
<!-- nn web端访问地址-->
        <property>
        <name>dfs.namenode.http-address</name>
        <value>flinkv1:9870</value>
    </property>

        <!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>flinkv3:9868</value>
    </property>

    <!-- 测试环境指定HDFS副本的数量1 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

在这里插入图片描述
（3）YARN配置文件

[zhangflink@9wmwtivvjuibcd2e hadoop]$ vim yarn-site.xml 

<configuration>
<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>flinkv2</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>

        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>

        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>

    <!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>

    <!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

（4）MapReduce配置文件

[zhangflink@9wmwtivvjuibcd2e hadoop]$ vim mapred-site.xml

<configuration>
<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

在这里插入图片描述
（5）配置workers

[zhangflink@9wmwtivvjuibcd2e hadoop]$ vim workers 

flinkv1
flinkv2
flinkv3

9.配置历史服务器
为了查看程序的历史运行情况，需要配置一下历史服务器
（1）配置mapred-site.xml

[zhangflink@9wmwtivvjuibcd2e hadoop]$ vim mapred-site.xml

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>flinkv1:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>flinkv1:19888</value>
</property>

10.配置日志的聚集
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。
（1）配置yarn-site.xml

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 设置日志聚集服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://flinkv1:19888/jobhistory/logs</value>
</property>

<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

11.分发Hadoop

[zhangflink@9wmwtivvjuibcd2e software]$ /home/zhangflink/bin/xsync hadoop/

12.群起集群
（1）启动集群
如果集群是第一次启动，需要在flinkv1节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

[zhangflink@9wmwtivvjuibcd2e hadoop]$ bin/hdfs namenode -format

在这里插入图片描述
（2）启动HDFS
在这里插入图片描述

启动HDFS如果出现以上报错，可能是没有配置java环境变量，首先检查系统java环境是否配置成功
在这里插入图片描述

如果系统环境如上图所示正常，那么就是hadoop的配置文件没有配置java环境变量路径导致。
只需按如下配置hadoop-env.sh文件即可

编辑hadoop-env.sh文件

[zhangflink@9wmwtivvjuibcd2e hadoop]$ vim etc/hadoop/hadoop-env.sh

找到java环境修改配置

JAVA_HOME=/opt/software/jdk1.8.0_212

在这里插入图片描述
分发hadoop配置文件

[zhangflink@9wmwtivvjuibcd2e hadoop]$ /home/zhangflink/bin/xsync etc/

在这里插入图片描述

再次启动HDFS

[zhangflink@9wmwtivvjuibcd2e hadoop]$ sbin/start-dfs.sh

查看进程

[zhangflink@9wmwtivvjuibcd2e hadoop]$ jps

在这里插入图片描述
（3）在配置了ResourceManager的节点（flinkv2）启动YARN

[zhangflink@9wmwtivvjuibcd2e-0001 hadoop]$ sbin/start-yarn.sh

查看进程

[zhangflink@9wmwtivvjuibcd2e hadoop]$ jps

在这里插入图片描述
（4）Web端查看HDFS的Web页面：http://flinkv1:9870/ （云服务器请使用公网IP地址访问，确保端口的安全组入口已经开发）
在这里插入图片描述
（5）Web端查看SecondaryNameNode
在这里插入图片描述

Appreciate(欣赏)
关注
Hadoop集群部署
博客
10-09 314
实验环境Centos7 使用Hadoop-2.10.1和jdk-15搭建4个结点的完全分布式,一个namenode，3个datanode 192.168.6.76 master 192.168.6.77 master77 192.168.6.78 master78 192.168.6.79 master79 1.首先做好准备工作 下载好hadoop和jdk版本 2.创建虚拟机和用户 创建一个虚拟机master和hadoop用户，hadoop组，创建这些是为了便于管理且安全。 给hadoop用户赋予root
大数据技术栈-Hadoop3.3.4-完全分布式集群搭建部署-centos7（完全超详细-小白注释版）虚拟机安装+平台部署
HAO的Blog
03-29 2260
安装包：虚拟机联网后可直接通过浏览器进行下载 若在PC机 则需通过工具上传至虚拟机中 （使用xshell或xftp）使用tar命令解压安装包（我的安装包统一放在/opt/software目录下，解压在/opt/module目录）通常出现的第一个此虚拟机使用的虚拟网卡，名称为ens33 对这个网卡的配置文件进行修改。注：本次安装过程使用了简易安装，不使用的话是需要自行选择需要安装的插件和软件。使用vim对 /etc/profile 进行编辑，将以下内容写入。使用命令查看jdk版本，与安装包相符说明配置成功。
Hadoop集群安装详细步骤|Hadoop安装配置
yymmiinngg的专栏
07-06 356
Hadoop集群安装 　　首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。　　Hadoop在windows下还未经过很好的测试，所以笔者推荐大家在linux（cent os 5.X）下安装使用。　　准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh、rsync和Jdk1.6...
Hadoop3.3.4分布式集群搭建
最新发布
jun_fu的博客
10-14 223
Hadoop集群的构建大致可以分为三大步：1.ssh的免密配置是为了简化操作流程、提高安全性和效率。2.JDK的部署是因为Hadoop是基于Java语言开发的，其运行环境依赖于Java虚拟机（JVM）。3.1 hadoop-env.sh：这个脚本文件用于设置Hadoop的环境变量，这些环境变量对于Hadoop的正常运行至关重要。3.2 core-site.xml：这个配置文件包含了Hadoop的核心配置信息，如HDFS和YARN的元数据存储位置、日志存储位置等。
Hadoop集群安装
m0_62064241的博客
08-22 503
Hadoop集群安装
Hadoop 集群安装
Fulling的博客
03-10 1050
Hadoop 集群安装
hadoop3.3.4 winutils
12-18
Hadoop是大数据处理领域的重要框架，它以分布式计算模型为基础，提供高可靠性和高扩展性的数据存储和处理能力。在Windows环境下配置和运行Hadoop通常比在Linux上更为复杂，因为Hadoop最初是为Unix-like系统设计的。...
hadoop-3.3.4 版本（最新版）
12-14
Apache Hadoop （hadoop-3.3.4.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢，因此将hadoop-3.3.4 版本放在这里，欢迎大家来下载使用！ Hadoop 架构是一个开源的、基于 Java 的编程...
Hadoop完全分布式安装
an_vana的博客
08-16 1023
Hadoop 完全分布式安装 前言 ​ 之前有搭建过一次 Hadoop 完全分布式集群但是没有记录，最近开始着手自己搭个模拟数仓需要搭建集群，趁此机会记录一下搭建的过程。 环境及机器： 节点：三台虚拟机 配置：内存 16G、硬盘 100G 系统：Centos 7.7 Hadoop版本：2.7.7 1、安装JDK1.8 1.1 下载 JDK ​ 推荐安装 Oracle 官方提供的 JDK 版本，可以在 Oracle 官网下载得到，下载 Linux 系统的版本即可 1.2 解压 JDK ​ 将下载的 JDK
大数据安全-kerberos技术-hadoop安装包，hadoop版本：hadoop-3.3.4.tar.gz
06-06
安装Hadoop-3.3.4时，需确保配置Kerberos以实现安全运行。首先，需要设置Kerberos的KDC服务器，并为每个Hadoop组件创建相应的服务主体名（SPN）。接着，为所有参与节点生成Kerberos密钥材料，包括principal和keytabs...
【Hadoop】集群安装
goat的博客
11-28 991
Hadoop集群搭建这一篇就够了，超详细，手把手教学
Hadoop集群部署安装
cuiyanmin1936的博客
10-11 168
学习Hadoop，必须要亲自部署一下，找找感觉。我使用的版本是0.20.2，下面就详细说一下部署过程。 一、规划使用VMWare Workstation创建3台虚拟机。定义如下表： ...
【hadoop】Hadoop 3.3.4 集群安装及简单使用
東₂₀₂₃²⁰²³
12-08 1889
Hadoop3.3.4 集群安装及简单配置
03、hadoop集群安装
小菜菜的博客
06-24 410
hadoop的思想来源是Google，Google曾经面对一个问题，大量的网页怎么存储，怎么快速搜索的问题，于是三篇论文诞生了GFS、Map-Reduce、BigTable，这三篇论文的开源实现版本分别就是hadoop的hdfs、mapreduce和hbase，分别对应大数据存储、大数据分析计算、列式非关系型数据库。 hadoop本身就是一个软件，一个用java写好的软件，只要你电脑上装好了jdk，就能运行。 hadoop1.0软件本身有两个模块，hdfs和mapreduce，hadoop2
Hadoop集群安装部署
qq_48391148的博客
03-28 3252
hadoop集群的搭建
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 4万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
Hadoop集群的安装
散步的博客
02-27 171
第一步：上传apache hadoop包并解压 解压命令： cd /export/softwares tar -zxvf hadoop-2.7.5.tar.gz -C ../servers/ 第二步：修改配置文件 修改 core-site.xml 文件 cd /export/servers/hadoop-2.7.5...
Hadoop的集群部署
m0_72168501的博客
10-23 818
Hadoop的部署
基于Kerberos技术的大数据安全与Hadoop 3.3.4安装教程
在大数据生态系统中，Hadoop作为一个开源框架，广泛用于分布式存储和处理大规模数据集。Hadoop的安全性问题一直备受关注，特别是其中涉及的认证、授权、数据加密以及审计等方面。 Kerberos技术是一种网络认证协议，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值