完全分布式搭建

最新推荐文章于 2022-04-22 17:30:54 发布
最新推荐文章于 2022-04-22 17:30:54 发布
阅读量80 收藏
点赞数
文章标签： 分布式 linux java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59552763/article/details/122039269
版权

集群配置

注意：NameNode和SecondaryNameNode不要安装在同一台服务器

         （2NN备份元数据的，如果放在一台机器上，机器宕机元数据就拿不到）

         注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

hadoop100

hadoop101

hadoop102

HDFS

NameNode

DataNode

DataNode

SecondaryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

NodeManager

  1. 核心配置文件

配置：hadoop-env.sh（在/opt/module/hadoop-3.1.3/etc/hadoop目录下）

Linux系统中获取JDK的安装路径：

[soft863@ hadoop100 ~]# echo $JAVA_HOME

/opt/module/jdk1.8.0_212

在hadoop-env.sh文件中修改JAVA_HOME 路径：

（在第54行修改）

export JAVA_HOME=/opt/module/jdk1.8.0_212

配置core-site.xml

cd $HADOOP_HOME/etc/hadoop

vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop100:9820</value>

</property>

<!-- hadoop.data.dir是自定义的变量，下面的配置文件会用到 -->

    <property>

        <name>hadoop.data.dir</name>

        <value>/opt/module/hadoop-3.1.3/data</value>

    </property>

</configuration>

         （2）HDFS配置文件

配置hdfs-site.xml

vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <!-- namenode数据存放位置 -->

<property>

    <name>dfs.namenode.name.dir</name>

    <value>file://${hadoop.data.dir}/name</value>

  </property>

  <!-- datanode数据存放位置 -->

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>file://${hadoop.data.dir}/data</value>

  </property>

  <!-- secondary namenode数据存放位置 -->

    <property>

    <name>dfs.namenode.checkpoint.dir</name>

    <value>file://${hadoop.data.dir}/namesecondary</value>

  </property>

  <!-- datanode重启超时时间是30s，解决兼容性问题，跳过 -->

  <property>

    <name>dfs.client.datanode-restart.timeout</name>

    <value>30</value>

  </property>

  <!-- 设置web端访问namenode的地址 -->

<property>

    <name>dfs.namenode.http-address</name>

    <value>hadoop100:9870</value>

</property>

  <!-- 设置web端访问secondary namenode的地址 -->

  <property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>hadoop102:9868</value>

  </property>

</configuration>

（3）YARN配置文件

配置yarn-site.xml

vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop101</value>

    </property>

    <property>

        <name>yarn.nodemanager.env-whitelist</name>

        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

    </property>

</configuration>

（4）MapReduce配置文件

配置mapred-site.xml

vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

</configuration>

集群分发

把配置好的四个文件复制给另外两个虚拟机

[root@Hadoop001 opt]# scp -r hadooop/ Hadoop002:/opt/module/Hadoop-3.1.3/etc/  分发给002

[root@Hadoop001 opt]# scp -r hadooop/ Hadoop003:/opt/module/Hadoop-3.1.3/etc/     分发给003

把module目录拷贝到hadoop100：

[root@hadoop102 opt]# cd /opt

[root@hadoop102 opt]# scp -r module/ hadoop100:/opt/

把module目录拷贝到hadoop101：

[root@hadoop102 opt]# rsync -av module hadoop101:/opt/

把 /etc/profile拷贝到hadoop100 hadoop101

[root@hadoop102 opt]# rsync -av /etc/profile hadoop101:/etc

[root@hadoop102 opt]# rsync -av /etc/profile hadoop100:/etc

在hadoop100和hadoop101上分别要进行source /etc/profile

[root@hadoop100 opt]# source /etc/profile

[root@hadoop101 opt]# source /etc/profile

分布式集群格式化

分布式集群第一次启动之前要格式化

格式化之前，要把三个服务器上的hadoop安装目录下的 data目录和logs目录都删掉

[root@hadoop101 opt]# cd /opt/module/hadoop-3.1.3

[root@hadoop101 opt]# rm -rf data

[root@hadoop101 opt]# rm -rf logs

在指定namenode运行的服务器上执行格式化：

（namenode指定在hadoop100上运行的）

[root@hadoop100 hadoop-3.1.3]# hdfs namenode -format

集群单点启动

在每个节点上分别启动下边表格的进程：

hadoop100

hadoop101

hadoop102

HDFS

NameNode

DataNode

DataNode

SecondaryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

NodeManager

Hadoop100：

hdfs --daemon start namenode

hdfs --daemon start datanode

yarn --daemon start nodemanager

hadoop101：

         yarn --daemon start resourcemanager

hdfs --daemon start datanode

yarn --daemon start nodemanager

hadoop102：

         hdfs --daemon start secondarynamenode

hdfs --daemon start datanode

yarn --daemon start nodemanager

         1）启动hdfs相关

                  hdfs --daemon start namenode

                  hdfs --daemon start datanode

         2）启动yarn相关

                  yarn --daemon start resourcemanager

                  yarn --daemon start nodemanager

ssh免密登录

1、在每个节点生成公钥和私钥，并拷贝

Hadoop100：

         生成公钥和私钥

[root@hadoop100] ssh-keygen -t rsa

然后敲（三个回车）

将公钥拷贝到要免密登录的目标机器上

[root@hadoop100] ssh-copy-id hadoop100

[root@hadoop100] ssh-copy-id hadoop101

[root@hadoop100] ssh-copy-id hadoop102

Hadoop101：

         生成公钥和私钥

[root@hadoop101] ssh-keygen -t rsa

然后敲（三个回车）

将公钥拷贝到要免密登录的目标机器上

[root@hadoop101] ssh-copy-id hadoop100

[root@hadoop101] ssh-copy-id hadoop101

[root@hadoop101] ssh-copy-id hadoop102

Hadoop102：

         生成公钥和私钥

[root@hadoop102] ssh-keygen -t rsa

然后敲（三个回车）

将公钥拷贝到要免密登录的目标机器上

[root@hadoop102] ssh-copy-id hadoop100

[root@hadoop102] ssh-copy-id hadoop101

[root@hadoop102] ssh-copy-id hadoop102

2、修改hadoop配置文件

         在hadoop100上的start-dfs.sh 和stop-dfs.sh 文件最上边添加几行数据

[root@hadoop100] cd /opt/module/hadoop-3.1.3/sbin

[root@hadoop100] vi start-dfs.sh

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

[root@hadoop100] vi stop-dfs.sh

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

        

         在 start-yarn.sh 和 stop-yarn.sh文件最上方添加几行数据

[root@hadoop100] vi start-yarn.sh

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

[root@hadoop100] vi stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

         在hadoop100上修改workers：

[root@hadoop100] cd /opt/module/hadoop-3.1.3/etc/hadoop

[root@hadoop100] vi workers

hadoop100

hadoop101

hadoop102

         把上面的修改同步到hadoop101、hadoop102上：

[root@hadoop100] rsync -av /opt/module/hadoop-3.1.3/sbin/ hadoop101:/opt/module/hadoop-3.1.3/sbin/

[root@hadoop100] rsync -av /opt/module/hadoop-3.1.3/sbin/ hadoop102:/opt/module/hadoop-3.1.3/sbin/

[root@hadoop100] rsync -av /opt/module/hadoop-3.1.3/etc/hadoop/ hadoop101:/opt/module/hadoop-3.1.3/etc/hadoop/

[root@hadoop100] rsync -av /opt/module/hadoop-3.1.3/etc/hadoop/ hadoop102:/opt/module/hadoop-3.1.3/etc/hadoop/

启动停止集群

启动集群：

如果集群上已经启动hadoop相关程序，可以先执行停止。

在hadoop100上执行以下脚本，用来启动hdfs：

[root@hadoop100] start-dfs.sh

在hadoop101上执行以下脚本，用来启动yarn：

[root@hadoop101] start-yarn.sh

停止集群：

在hadoop100上执行以下脚本，用来停止hdfs：

[root@hadoop100] stop-dfs.sh

在hadoop101上执行以下脚本，用来停止yarn：

[root@hadoop101] stop-yarn.sh

m0_59552763
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop　完全分布式
ycchuan1的博客
01-15 337
文章目录完全分布式1.1 安装配置1.2出问题时解决1.3 hadoop 词频统计2HDFS节点管理2.1增加节点2.2删除节点3NFS网关3.1nfs网关用途特性3.2 配置用户3.3配置core-site.xml3.4 NFSGW配置 完全分布式 1.1 安装配置 1）配置mapred-site（nn01上面操作） [root@nn01 ~]cd /usr/local/hadoop/...
MOBA使用，hadoop完全分布式搭建
qq_54417407的博客
12-08 1317
Moba使用创建 打开moba创建新的连接服务 出现以下页面 你之前ping192.168.1.100成功没有，没有这就打不开 如果你是ping192.168.1.128成功，那个这个new session就要连接192.168.1.128 如果虚拟机没有启动也是出现下面情况，请直接输入R就可刷新 链接成功之后 差不多就是这样 我们需要在/opt下面创建两个文件夹 software：放软件的压缩包 创建software文件夹的命令：mkdir software module：放软..
Hadoop完全分布式
weixin_30632899的博客
12-21 71
修改主机名[root@localhost:/soft/hadoop2.7/etc/hadoop]nano /etc/hostname [root@localhost:/soft/hadoop2.7/etc/hadoop] [root@localhost:/soft/hadoop2.7/etc/hadoop]hostname s130 修改主机IP映射[root@...
Hadoop 三大运行模式--＞本地运行模式
风口IT猪的成长录
09-04 734
Hadoop 运行模式-->本地运行模式Hadoop 运行模式本地运行模式 Hadoop 运行模式 1）Hadoop 官方网站：http://hadoop.apache.org/ 2）Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。 伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。 完全分布式模式：多台服务器组成分布式环境。生产
hadoop完全分布式
helloWorldAndYou的博客
09-11 549
环境依赖不再累述 每台机器部署一个hadoop 一台用于启动namenode 其余三台用于datanode，这三台中还需有一台启动snn 如果用脚本管理其它节点，作为管理的这台服务器需要免密登陆其它所有节点。...
hadoop 完全分布式搭建
08-07
Hadoop 完全分布式搭建 Hadoop 是一个基于 Java 的开源框架，主要用于处理大数据。Hadoop 完全分布式搭建是指在多台服务器上部署 Hadoop，形成一个分布式集群，以便更好地处理大数据。 知识点1：Hadoop 集群架构 ...
hadoop完全分布式搭建.docx
09-09
Hadoop 完全分布式搭建指南 Hadoop 完全分布式搭建是指在多台服务器上安装和配置 Hadoop 组件，以实现大规模数据处理和存储的需求。以下是 Hadoop 完全分布式搭建的详细指南： 一、实验环境准备 在开始 Hadoop ...
hadoop完全分布式搭建.pdf
10-22
在搭建Hadoop完全分布式环境时，我们需要关注一系列配置和组件，这些内容对于理解Hadoop的运作至关重要。Hadoop是一个开源的分布式计算框架，主要由HDFS（Hadoop Distributed File System）和MapReduce两大部分组成...
Hadoop完全分布式搭建.doc
10-03
《Hadoop完全分布式搭建详解》 Hadoop完全分布式搭建是一项重要的技术实践，旨在构建一个高可用、高扩展的分布式数据处理环境。本文将详细介绍如何在Linux系统上搭建一个由三个节点组成的Hadoop完全分布式集群。 ...
Hadoop的完全分布式（基本环境已经搭建好，主要是针对配置文件的解析）
qq_52563266的博客
04-22 2348
Hadoop三台服务器配置
Hadoop的完全分布式
06-10 694
完全分布式安装（以3台为例） 1.准备工作 1.1修改主机名称 ftj-node1 图一 ftj-node2 图二 ftj-node3 图三 1.2设置静态的IP的 ftj-node1 -> 192.168.134.46 图五 ftj-node2-> 192.168.134.47 图六 ftj-node3 -> 192.168.134.48 图七 1.3配置hosts文件(主机与IP的映射) 每台主机都要添加下面三条配置。 图八 图九 图10 1.4设置免密码登录（从一台
hadoop 完全分布式
努力就是魅力
02-11 347
PV  page view, 浏览量 --每打开一次网页,记录一次UV  unique vistor, 独立访客数 --一天内访问某站点的人数(以 cookie | session 为依据)IP  Internet Protocol --访问数(以IP为依据)VV  Vistor View  访客的访问次数 --同一访客在一天内的访问次数跳出数 打开网站什么都不干,就退出了.***********...
Hadoop 完全分布式
辞树
05-06 595
4.完全分布式运行模式 分析： （ 1）准备3台客户机（关闭防火墙、静态ip、主机名称） （2）安装JDK （3）配置环境变量 （4）安装Hadoop （5）配置环境变量 （6）配置集群 （7）单点启动 （ 8）配置ssh （ 9）群起并测试集群...
完全分布式 hadoop
张斌斌的博客
07-16 199
hadoop完全分布式需要准备3台以上客户机，三台客户机必须具有ssh无密登录，3台客户机均安装jdk和hadoop的环境变量。 1.复制客户机上以前的hadoop伪分布式运行的hadoop相关文件 采用命令：scp-r 初始文件名 root@主机名：复制文件路径 2.配置ssh无密登录 1）生成当前用户和root的公钥和私钥（需切换用户） 命令：ssh K...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值