1_Hadoop安装部署及常用配置(HDFS+YARN)

2020/12/5 sunhaiqi@bonc.com.cn

一、hadoop伪分布式集群搭建

​ 一台全新的CentOS_6.5虚拟机

1.1、添加主机名称（ip空格机器名）

[bduser101@node101 .ssh]$ sudo vi /etc/hosts

1.2、为当前用户bduser101赋予root权限

[bduser101@node101 .ssh]$ su
密码：
[root@node101 .ssh]# vim /etc/sudoers

1.3、设置ssh无密登录

[bduser101@node101 ~]$cd ~
[bduser101@node101 ~]$ ssh-keygen -t rsa -P ''
#验证密钥创建成功的方法
[bduser101@node101 ~]$ cd .ssh
[bduser101@node101 .ssh]$ ll
总用量 8
-rw-------. 1 bduser101 bduser101 1675 3月  13 20:22 id_rsa
-rw-r--r--. 1 bduser101 bduser101  399 3月  13 20:22 id_rsa.pub
#将公钥写入authorized_keys文件
[bduser101@node101 .ssh]$ cat id_rsa.pub >> authorized_keys
[bduser101@node101 .ssh]$ ll
总用量 12
-rw-rw-r--. 1 bduser101 bduser101  399 3月  13 20:22 authorized_keys
-rw-------. 1 bduser101 bduser101 1675 3月  13 20:22 id_rsa
-rw-r--r--. 1 bduser101 bduser101  399 3月  13 20:22 id_rsa.pub
[bduser101@node101 .ssh]$ chmod 600 authorized_keys
#将以下文件的 47，48，49行的注释去掉
[bduser101@node101 .ssh]$ sudo vim /etc/ssh/sshd_config

重启sshd服务

[bduser101@node101 .ssh]$ sudo service sshd restart

运行以下代码确定ssh无密登录的成功

[bduser101@node101 ~]$ ssh node101
Last login: Fri Mar 13 22:15:00 2020 from 192.168.159.99

1.4、关闭防火墙，并将默认状态改为关闭

[bduser101@node101 modules]$ sudo service iptables stop
iptables：将链设置为政策 ACCEPT：filter                    [确定]
iptables：清除防火墙规则：                                 [确定]
iptables：正在卸载模块：                                   [确定]
[bduser101@node101 modules]$ sudo chkconfig iptables off

1.5、准备好jdk、hadoop压缩包

jdk版本是8.10
hadoop版本是2.7.6
点此进入Hadoop各版本下载地址
进入下载界面点击箭头位置下载并保存到本地