Hadoop分布式集群搭建

最新推荐文章于 2024-08-25 12:13:51 发布

CodAlun

最新推荐文章于 2024-08-25 12:13:51 发布

阅读量447

点赞数

分类专栏：操作系统大数据文章标签： hadoop linux

本文链接：https://blog.csdn.net/CodAlun/article/details/120528783

版权

Hadoop3.0 单机伪分布集群安装

准备环境

1 台linux 虚拟机(Centos7.3 64 位)
ip 为：192.168.48.100
hostname 为：hadoop100

虚拟机基本环境配置

1、静态ip 配置

此处使用的是 NAT 网络模式

[root@hadoop100 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
BOOTPROTO=static
IPADDR=192.168.48.100
GATEWAY=192.168.48.2
NETMASK=255.255.255.0
DNS1=192.168.48.2

2、主机名设置

主机名的设置可以分为 临时设置 和 永久设置。
临时设置可以立刻生效，但是不能永久保存，虚拟机重启后就会失效，所以还需要结合永久设置。
（1）临时设置主机名

[root@hadoop100 ~]# hostname hadoop100

（2）永久设置主机名

[root@hadoop100 ~]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop100

3、hosts 文件配置

修改/etc/hosts 文件，把ip 和hostname 的映射关系配置进去，此处的ip 需要和你设置的虚拟机实际ip 相同

[root@hadoop100 ~]# vi /etc/hosts
192.168.48.100 hadoop100

4、ssh 免密码登陆

配置ssh 免密码登陆，在这里先实现免密码登陆本机
4.1 生成公钥
注意：执行这个命令以后，需要连续按几次回车键回到linux 命令行才表示这个操作执行结束，在按回车的时候不需要输入任何内容。

[root@hadoop100 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
20:d0:89:24:29:1e:c8:50:b3:fb:e0:57:76:94:0c:ea root@hadoop100
The key's randomart image is:
+--[ RSA 2048]----+
|*+=o ..            |
|++.+o. o .       |
|o o o . +         |
| . o . o            |
| o E o S         |
| . o o .            |
| . o                 |
| .                    |
|                      |
+-----------------+

4.2 向本机复制公钥

[root@hadoop100 ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

4.3 执行ssh 命令验证免密码登陆是否配置成功，
第一次验证的时候会提示输入yes 或no，直接输入yes 即可，如果输入了yes 之后按回车可以进入就表示免密码登陆配置成功。

[root@hadoop100 ~]# ssh hadoop100
The authenticity of host 'hadoop100(192.168.48.100)' can't be established.
RSA key fingerprint is 64:87:b9:da:46:c1:85:54:49:6d:65:4a:0f:49:8f:58.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'hadoop100' (RSA) to the list of known hosts.
Last login: Thu Jul 25 09:11:46 2021 from hadoop100
[root@hadoop100 ~]#