hadoop 3 完全分布式+历史服务器

已于 2024-04-20 19:37:31 修改
阅读量1.8k 收藏 28
点赞数 58
分类专栏： 大数据环境搭建 文章标签： 分布式 hadoop 大数据
于 2024-04-20 10:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_57629629/article/details/137977972
版权

hadoop102

hadoop103

hadoop104

HDFS

NameNode

DataNode

DataNode

SecondaryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

NodeManager

停止firewalld防火墙

systemctl stop firewalld

//关闭防火墙开机自启动

systemctl disable firewalld

//查看防火墙状态

systemctl status firewalld

关闭selinux防火墙

vi /etc/sysconfig/selinx
#设置
SELINUX=disabled

# 基于rpm安装配置jdk

#rpm -ivh jdk-8u281-linux.x64.rpm 

配置环境变量

#export JAVA_HOME=/usr/java/jdk1.8.0_281-amd64

#export CLASSAATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib.tools.jar

#export PATH=$JAVA_HOME/bin

tar -zxf opt/software/jdk-8u261-linux-x64.tar.gz
vi /etc/profile

export JAVA_HOME=/opt/module/jdk1.8.0_261

CLASSPATH=.:$JAVA_HOME/lib.tools.jars

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

使得环境变量生效

source /etc/profile

查看jdk环境变量是否配置正确

javac -version

java -version

安装配置hadoop 

tar -zxvf /opt/software/hadoop-3.1.4.tar.gz -C /opt/module

配置环境变量

export HADOOP_HOME=/opt/module/hadoop-3.1.4

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使得环境变量生效

source /etc/profile

查看hadoop环境变量是否配置正确

hadoop version

克隆

  1. 克隆母机(hadoop102)克隆二台虚拟机，分别命名为hadoop103、hadoop104
  2. 母机 右键 管理 克隆
  3. 选择完整克隆

虚拟机ip 以此修改

vi /etc/sysconfig/network-scripts/ifcfg-eng33

详细修改ip可参考Linux修改ip

hadoop102为192.168.10.27

hadoop103为192.168.10.28

hadoop104为192.168.10.29

重启网络并验证是否正常使用并连接xshell测试

1. systemctl restart network  -> 2.ping wwww.baidu.com ->3. ip addr show eng33

修改主机名

hostnamectl set-hostname hadoop102(主机名)

查看主机名

hostname

另外两个节点也是

hostnamectl set-hostname hadoop103

hostnamectl set-hostname hadoop104

主机映射

vim /etc/hosts

192.168.10.27 hadoop102

192.168.10.28 hadoop103

192.168.10.29 hadoop104

时间同步

安装ntp服务 

yum install ntp

同步时间

ntpdate -u ntp1.aliyun.com

查看时间

date

免密登录(ssh)

在集群开发中，主节点通常会对集群中各个节点频繁的访问，就需要不断输入目标服务器的用户名和密码，这种操作方式非常麻烦并且还会影响集群服务的连续运行。

为了解决上述问题，我们可以通过配置SSH服务来实现远程登录和SSH的免密登录功能。

可检查是否安装了ssh服务  rpm -qa |grep ssh

看看是否启动了ssh服务 ps -e |grep sshd

安装ssh服务命令为yum install openssh-server

原理

  1. 生成密钥对：
  2. 在本地机器上，你会生成一对密钥：公钥（public key）和私钥（private key）。
  3. 公钥是一个用于加密的字符串，可以公开分享，而私钥必须保密妥善保存。
  4. 将公钥复制到远程服务器：
  5. 将你的公钥复制到你想要连接的远程服务器的~/.ssh/authorized_keys文件中。
  6. 这个文件包含了所有被信任的公钥，允许拥有对应私钥的用户连接到这个账户。
  7. 连接到远程服务器：
  8. 当你尝试连接到远程服务器时，SSH客户端会发送一个请求，请求使用公钥来进行身份验证。
  9. 验证身份：
  10. 服务器接收到连接请求后，会检查请求中是否包含了一个匹配~/.ssh/authorized_keys中的公钥。
  11. 如果匹配成功，服务器会向你的客户端发送一个随机字符串（称为挑战 challenge）。
  12. 使用私钥签名：
  13. 你的SSH客户端会使用你的私钥来对挑战进行签名，然后将签名发送回服务器。
  14. 验证签名：
  15. 服务器使用与你公钥匹配的公钥来验证签名。如果签名验证成功，服务器会确认你的身份，并允许你登录。

三台机器生成公钥和私钥

生成公钥和私钥 ssh-keygen -t rsa  组图按下三个回车即可

第一个回车是指的是 密钥保存的默认位置一般不修改 直接回车

第二个输入密码无 直接来两次回车

生成的公钥和私钥

公钥复制到hadoop102主机

[root@hadoop102.ssh]# ssh-copy-id hadoop102  //包括本机

[root@hodoop103 ~]# ssh-copy-id hadoop102

[root@hodoop104 ~]# ssh-copy-id hadoop102

将第一台机器上authorized_keys文件拷贝到其他机器上，使得每台主机都有三台主机的公钥

scp：远程拷贝，可跨主机拷贝；     cp：本地拷贝

[root@hodoop102.ssh]# scp /root/.ssh/authorized_keys hadoop103:/root/.ssh  

// 此/root/.ssh/authorized_keys文件在hadoop102主机上

[root@hodoop102.ssh]#  scp /root/.ssh/authorized_keys hadoop104:/root/.ssh

bin目录是Hadoop最基本的管理脚本和使用脚本所在的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop        

sbin目录存放的是我们管理脚本的所在目录，重要是对hdfs和yarn的各种开启和关闭和单线程开启和守护 

etc目录存放的是一些Hadoop的配置文件

lib目录存放的是Hadoop运行时依赖的jar包，Hadoop在执行时会把lib目录下面的jar全部加到classpath中

logs目录存放的是Hadoop运行的日志，查看日志对寻找Hadoop运行错误非常有帮助

includ目录对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序

libexec目录各个服务对用的shell配置文件所在的目录，可用于配置日志输出、启动参数（比如JVM参数）等基本信息。

share目录Hadoop各个模块编译后的jar包所在的目录

vi /etc/profile

# 定义HDFS和yarn在root用户上运行

export  HDFS_NAMENODE_USER=root

export  HDFS_DATANODE_USER=root

export  HDFS_SECONDARYNAMENODE_USER=root

export  HDFS_SECURE_DN=hdfs

##yarn

export  YARN_RESOURCEMANAGER_USER=root

export  YARN_NODEMANAGER_USER=root

export  HADOOP_SECURE_DN_USER=root

以上也可在hadoop的sbin目录 start(stop)-dfs.sh 或start(stop)-yarn.sh添加

#HDFS_DATANODE_USER=root：用于启动和停止数据节点（DataNode）。

#HADOOP_SECURE_DN_USER=root：在启用了安全模式（安全模式）的情况下，用于启动和停止安全数据节点。

#HDFS_NAMENODE_USER=root：用于启动和停止主要的名称节点（NameNode）。

#HDFS_SECONDARYNAMENODE_USER=root：用于启动和停止辅助标题节点（Secondary NameNode）。

cd /opt/module/hadoop-3.1.4/etc/hadoop

vi hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_261

配置core-site.xml

<configuration>

<!-- 指定NameNode的地址 -->

<property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop102:8020</value>

</property>

<!-- 指定hadoop数据的存储目录 -->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/module/hadoop-3.1.4/data</value>

</property>

<!-- 配置HDFS网页登录使用的静态用户为root-->

    <property>

        <name>hadoop.http.staticuser.user</name>

        <value>root</value>

</property>

<!-- 配置该root(superUser)允许通过代理访问的主机节点 -->

    <property>

        <name>hadoop.proxyuser.root.hosts</name>

        <value>*</value>

</property>

<!-- 配置该root(superUser)允许通过代理用户所属组 -->

    <property>

        <name>hadoop.proxyuser.root.groups</name>

<value>*</value>

</property>

<!-- 配置该root(superUser)允许通过代理的用户-->

    <property>

        <name>hadoop.proxyuser.root.users</name>

        <value>*</value>

</property>

</configuration>

配置hdfs-stie.xml

<configuration>

<!-- nn web端访问地址-->

        <property>

        <name>dfs.namenode.http-address</name>

        <value>hadoop102:9870</value>

    </property>



        <!-- 2nn web端访问地址-->

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>hadoop104:9868</value>

    </property>



    <!-- 测试环境指定HDFS副本的数量1 -->

    <property>

        <name>dfs.replication</name>

        <value>3</value>

    </property>

</configuration>

配置yarn-site.xml 配置resource manager nodemanager通信端口 web监控端口

<configuration>

<!-- Site specific YARN configuration properties -->

<!-- 指定MR走shuffle -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <!-- 指定ResourceManager的地址-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop103</value>

    </property>

    <!-- 环境变量的继承(环境变量白名单) -->

    <property>

        <name>yarn.nodemanager.env-whitelist</name>

<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

    </property>

    <!--yarn单个容器允许分配的最大最小内存 -->

    <property>

        <name>yarn.scheduler.minimum-allocation-mb</name>

        <value>512</value>

</property>

    <property>

        <name>yarn.scheduler.maximum-allocation-mb</name>

        <value>2000</value>

    </property>

    <!-- yarn容器允许管理的物理内存大小 -->

    <property>

        <name>yarn.nodemanager.resource.memory-mb</name>

        <value>3072</value>

    </property>



    <!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->

    <property>

        <name>yarn.nodemanager.pmem-check-enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>yarn.nodemanager.vmem-check-enabled</name>

        <value>false</value>

</property>

</configuration>

获取白名单：

Hadooop官方网站：Hadoop – Apache Hadoop 3.1.4

配置mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

配置workers用来指定hadoop集群中所有的工作节点DataNode和NodeManager节点

hadoop102

hadoop103

hadoop104

远程发送scp

scp -r /opt/module/hadoop-3.1.4/etc/hadoop hadoop103:/opt/module/hadoop-3.1.4/etc/hadoop
scp -r /opt/module/hadoop-3.1.4/etc/hadoop hadoop104:/opt/module/hadoop-3.1.4/etc/hadoop

格式化前需要三台需删除日志文件

rm -rf data/ logs/

格式化  格式化日志有succefully format 则成功

hdfs namenode -format

进入hadoop的sbin目录编辑下面内容

cd $HADOOP_HOME/sbin

vim start-dfs.sh 和vim stop-dfs.sh

#!/usr/bin/env bash

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

在start-yarn.sh和stop-yarn.sh文件开头添加下列参数：

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

hadoop102 启动HDFS

start-dfs.sh

hadoop103 启动YARN

start-yarn.sh

HDFS WEB http://hadoop102:9870/

   

hadoop-daemon.sh

通过执行hadoop命令来启动/停止一个守护进程(daemon);他可以单独开启一个进程也可以使用hadoop-daemons来开启多个进程，这样我们在某台机器挂掉时，就不用全部重新开启了

start-all.sh

调用 start-dfs.sh和start-yarn.sh

stop-all.sh

调用 stop-dfs.sh和stop-yarn.sh

start-dfs.sh

启动NameNode ，SecondaryNamenode ，DataNode这些进程

start-yarn.sh

启动ResourceManager,nodeManager 这些进程

stop-dfs.sh

关闭NameNode ，SecondaryNamenode ，DataNode这些进程

stop-yarn.sh

关闭ResourceManager,nodeManager 这些进程

YARN WEB  http://hadoop103:8088/

在此之间只需把进程关闭即可

stop-hdfs.sh
stop-yarn.sh

配置历史服务器

配置mapred-site.xml

<!-- 历史服务器端地址 -->

<property>

    <name>mapreduce.jobhistory.address</name>

    <value>hadoop102:10020</value>

</property>

<!-- 历史服务器web端地址 -->

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hadoop102:19888</value>

</property>

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager、ResourceManager和HistoryManager。

配置yarn-site.xml

<!-- 开启日志聚集功能 -->

<property>

    <name>yarn.log-aggregation-enable</name>

    <value>true</value>

</property>

<!-- 设置日志聚集服务器地址 -->

<property> 

    <name>yarn.log.server.url</name> 

    <value>http://hadoop102:19888/jobhistory/logs</value>

</property>

<!-- 设置日志保留时间为7天 -->

<property>

    <name>yarn.log-aggregation.retain-seconds</name>

    <value>604800</value>

</property>

远程发送

scp -r mpared-site.xml hadoop103:/opt/module/hadoop-3.1.4/etc/hadoop
scp -r yarn-site.xml hadoop103:/opt/module/hadoop-3.1.4/etc/hadoop
scp -r mpared-site.xml hadoop104:/opt/module/hadoop-3.1.4/etc/hadoop
scp -r yarn-site.xml hadoop104:/opt/module/hadoop-3.1.4/etc/hadoop

这样就可以不用格式化这些了

hadoop102 启动HDFS

start-dfs.sh

hadoop103 启动YARN

start-yarn.sh

hadoop102启动JobHistory命令

mr-jobhistory-daemon.sh start historyserver

习题

单词统计

新建文本文件

vim word.txt

单词和单词直接要空格分隔(程序规定)

新建目录

上传word.txt文本文件到/user/data

cd $HADOOP_HOME/share/hadoop/mapreduce/

hadoop jar 执行jar包功能 mapreduce-examples-3.1.4.jar 指定执行具体的jar包 wordcount 单词计数功能 /user/data源文件 /user/data/output 目标文件output自动生成

查看结果

/user/data/output/_SUCCESS  运行成功标志

/user/data/output/part-r-00000

查看运行结果 hdfs dfs -cat /user/data/output/part*|part-r-00000

hdfs

hadoop102:9870   utilities -> Browse the file system -> /user/data ->part-r-00000 Download

yarn查看

历史服务器查看

风跟我说过她
关注
  • 58
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hadoop—集群配置历史服务器及访问历史服务器日志
阿楠的博客
04-12 4003
Hadoop历史服务器  Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器 历史服务器开启  mr-jobhistory-daemon.sh start h...
Hadoop配置历史服务器及日志聚合
一笑奈何
07-02 1310
        历史服务器 作用：查看我们已经完成的任务历史记录，日志记录。 配置文件：mapred-site.xml --》指定历史服务器所在位置及端口号     &lt;property&gt;         &lt;name&gt;mapreduce.jobhistory.address&lt;/name&gt;         &lt;value&gt;bdqn.lin...
hadoop3.x——历史服务器
wake_up_42的博客
09-02 1727
配置历史服务器，及测试历史服务器是否配置成功。
hadoop历史服务器搭建
猿猿不断的博客
11-18 99
为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下 1.配置mapred-site.xml vi mapred-site.xml，在该文件里面增加如下配置。 <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop101:10020</value> </property&...
hadoop配置历史服务器
m0_67401920的博客
04-03 1561
为了更好的查看程序的历史运行情况，需要配置一下历史服务器。 修改mapred-site文件 启动历史服务器 ./sbin/mr-jobhistory-daemon.sh start historyserver 查看wen端界面
Hadoop 完全分布式搭建（超详细）
热门推荐
JIE的博客 --- moon_coder
10-24 3万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
Hadoop 完全分布式部署
shisjin的博客
03-18 1355
Hadoop 完全分布式部署 ，环境：CentOS 7 、jdk1.8 、hadoop 3.3.4
hadoop平台完全分布式搭建
weixin_44697677的博客
03-12 1341
2.修改core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml四个配置文件。（hadoop默认配置文件在/opt/module/hadoop3/share/hadoop中）2.配置JAVA环境变量，编辑文件/etc/profile，添加内容，输入命令，使添加配置生效。1.进入到/opt/module/hadoop3/etc/hadoop目录下。tar -zxvf hadoop包名 -C /opt/module。
Hadoop3.1.3完全分布式平台搭建
qq_39652367的博客
07-12 992
Hadoop3.1.3完全分布式搭建教程
Hadoop单机伪分布式搭建教程1
08-04
【Hadoop单机伪分布式搭建教程】 一、前提条件 在搭建Hadoop单机伪分布式环境之前，确保已经安装了Java Development Kit (JDK)...在实际生产环境中，通常会采用多节点的完全分布式部署，以实现更高的可用性和扩展性。
毕业设计：基于hadoop+spark完全分布式平台的薪资水平预测系统.zip
09-26
【标题】：“毕业设计：基于hadoop+spark完全分布式平台的薪资水平预测系统” 这个毕业设计项目主要聚焦于构建一个薪资水平预测系统，利用大数据处理技术Hadoop和高性能计算框架Spark，实现数据的完全分布式处理。...
spark完全分布式环境搭建.pdf
10-22
"Spark完全分布式环境搭建" 本文档主要讲述了如何在 Linux 环境下搭建 Spark 完全分布式环境，包括环境变量的设置、Spark 配置文件的修改、 Slave 节点的配置以及集群的启动过程。 一、环境变量设置 在搭建 Spark...
hadoop搭建.docx
11-26
本教程将详细介绍如何在Linux环境下搭建一个高可用(HA)的Hadoop完全分布式集群，主要涉及到HDFS(Hadoop Distributed File System)的HA以及YARN(Yet Another Resource Negotiator)的高可用设置。 1. **HDFS HA**: ...
ZooKeeper分布式协调系统介绍
weixin_72583321的博客
08-14 797
ZooKeeper 是 Apache 软件基金会的一个项目，它确实提供了一种非常有用的服务，用于维护分布式系统中的配置信息、命名、提供分布式同步和提供组服务等。它的核心是原子广播和大约一致性模型，这使得它能够在分布式环境中提供一致性保证。ZooKeeper 的数据模型类似于传统的文件系统，具有节点和层次结构，但它是为分布式环境特别设计的。每个节点称为 znode，可以存储数据和状态信息。客户端可以对 znode 执行创建、读取、更新和删除操作，并且 ZooKeeper 保证了这些操作的顺序性和一致性。
分布式知识总结（基本概念）
月伴飞鱼
08-13 772
核心思想： 即使无法做到强一致性，但每个应用都可以根据自身业务特点，采用适当的方式来使系统达到最终一致性，也就是牺牲数据的一致性来满足系统的高可用性，系统中一部分数据的不可用或者不一致时，仍需要保持系统整体主要可用。软状态是指允许系统中的数据存在中间状态，并认为该中间状态的存在不会影响系统的整体可用性，即允许系统在不同节点的数据副本之间进行数据同步的过程存在延时；最终一致性强调的是系统中所有的数据副本，在经过一段时间的同步后，最终能够达到一个一致的状态。
RabbitMQ消息队列
minly12的博客
08-14 1091
#赋予user1用户management角色##同时赋予多个角色##针对fll虚拟主机给user1用户设置所有的配置、读写queue和exchange的权限。默认是没有任何权限的rabbitmqctl set_user_tags #赋予用户某个角色#给用户设置权限[root@localhost ~]# rabbitmqctl list_user_permissions user1 ##列出user1的权限。
Java面试题———分布式篇
最新发布
w13114的博客
08-17 761
在分布式系统中，一个业务因为跨越不同数据库或者跨越不同微服务而包含多个子事务，要求所有子事务同时成功或失败，这就是分布式事务。比如一个电商系统的下单操作需要请求三个服务来完成，这三个服务分别是：订单服务，账户服务，库存服务。当订单生成完毕以后，就需要分别请求账户服务和库存服务进行进行账户余额的扣减和库存扣减。假设都扣减成功了，此时在执行下单的后续操作时出现了问题，那么订单数据库就进行事务回滚，订单生成失败，而账户余额和扣减则都扣减成功了。这就出现了问题，而分布式事务就是解决上述这种不一致问题的。
Hadoop 2.2.0 完全分布式集群平台安装与配置
Hadoop2.2.0完全分布式集群平台安装设置是一个复杂的过程，需要多个步骤和配置。这里我们将详细介绍Hadoop2.2.0的集群安装过程，包括HDFS HA架构、QJM的安装和配置、Hadoop的环境变量配置、Native包编译、Hadoop配置...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值