[绝对要收藏]配置hadoop完全分布式环境

最新推荐文章于 2024-11-10 22:25:06 发布

Java小白中的菜鸟

最新推荐文章于 2024-11-10 22:25:06 发布

阅读量417

点赞数 10

分类专栏： centos7 文章标签： hadoop 分布式 hdfs

本文链接：https://blog.csdn.net/qq_48817343/article/details/123285042

版权

centos7 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

环境：

hadoop-2.7.2，jdk1.8.0_144，CentOS-7-x86_64-Minimal-2009.iso

1 先创建一个主机
2 修改id，hostname，hosts
3 关闭防火墙
4 连接xshell
5 在opt下创建en和software包并将java导入到software包中
6 解压 java到en下
7 配置/etc/profile将java的环境加入进去
8 让文件生效并检测java环境是否配置成功
9 java -version
10 将主虚拟机关机
11 克隆3台虚拟机并把ip和hostname改掉重启
12 连接xshell
13 做免密
mkdir .ssh
ssh-keygen -t rsa
cd .ssh
在.ssh文件夹下进行免密秘钥生成并修改文件权限：
命令：
cat id_rsa.pub >> authorized_keys
文件权限修改
chmod 700 .ssh
chmod 600 .ssh/*
scp -r authorized_keys root@hadoop2:~/.ssh/ 从主节点到次节点
ssh-copy-id -i id_rsa.pub root@hadoop1 从次节点到主节点
14 配置好核心文件和hdfs文件
核心文件

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop5:9000</value>
</property>

<property>
       <name>hadoop.tmp.dir</name>
       <value>/opt/en/hadoop-2.7.2/data/tmp</value>
</property>
HDFS文件
配置hadoop-env.sh
export JAVA_HOME=/opt/en/jdk1.8.0_144
配置hdfs-site.xml
<property>
       <name>dfs.replication</name>
       <value>3</value>
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop6:50090</value>
</property>

15 向其他两个子节点分发hadoop文件夹，并将从节点的Hadoop环境配置好
scp -r root hadoop2:/opt/en
16 第一次启动时，在主机格式化namenode，进入hadoop/bin文件下，执行
hadoop namenode -format
17 启动hadoop集群进入hadoop/sbin文件夹下，执行start-all.sh启动集群
18 打开50070端口
19 将测试文件内容上传到文件系统上
hadoop-2.7.2]$bin/hdfs dfs -put wcinput/wc.input /input