Hadoop下载地址提取码见文末
Linux系统虚拟机下HDFS及HA HDFS的搭建
1.普通HDFS的搭建
1.1添加HADOOP用户
在root用户权限下执行下列命令
useradd hadoop
passwd hadoop (然后输入密码)
1.2为HADOOP用户分配sudoer权限
1.切换到root用户下
2.添加sudo文件的写权限,命令是:
chmod u+w /etc/sudoers
3.编辑sudoers文件
vi /etc/sudoers
找到这行 root ALL=(ALL) ALL,在他下面添加xxx ALL=(ALL) ALL (这里的xxx是你的用户名)
ps:这里说下你可以sudoers添加下面四行中任意一条
youuser ALL=(ALL) ALL
%youuser ALL=(ALL) ALL
youuser ALL=(ALL) NOPASSWD: ALL
%youuser ALL=(ALL) NOPASSWD: ALL
第一行:允许用户youuser执行sudo命令(需要输入密码).
第二行:允许用户组youuser里面的用户执行sudo命令(需要输入密码).
第三行:允许用户youuser执行sudo命令,并且在执行的时候不输入密码.
第四行:允许用户组youuser里面的用户执行sudo命令,并且在执行的时候不输入密码.
4.撤销sudoers文件写权限,命令:
chmod u-w /etc/sudoers
这样普通用户就可以通过使用sudo执行root权限,注意一定要用sudo执行命令,不然许多命令不起作用且不会提示错误.
接下来的操作均需要在hadoop用户下操作(最好)
1.3配置防火墙
关闭防火墙,且设置为开机自动关闭
service iptables stop
chkconfig iptables off
1.4同步时间
1.检查ntp是否安装,如果未安装,则安装.服务器上需要安装ntp服务,同步机器上只要安装ntpdate
安装ntp
yum list | grep ntp
yun install -y ntp.x86_64
安装ntpdate
yum list | grep ntpdate
yum install -y ntpdate.x86_64
服务器端:
2.启动ntpd服务,且设置为开机自启
service ntpd start
chkconfig ntpd on
3.在namenode上配置时间服务
1.vi /etc/ntp.conf
2.restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap //给于局域网机的机器有同步时间的权限
3.禁用自带的4个server
4.重新启动一个服务server 127.127.1.0//本机服务
4.修改完ntp配置后,需要重启ntpd
service ntpd restart
服务启动需要5分钟,如果期间同步时间,会报错误:
no server suitable for synchronization found
客户端:
5.同步时间
ntpdate hp01
6.修改配置文件
主要因为默认不允许非终端执行sudo
找到/etc/sudoers
#
# Disable "ssh hostname sudo <cmd>", because it will show the password in clear.
# You have to run "ssh -t hostname sudo <cmd>".
#
#Defaults requiretty
#
# Refuse to run if unable to disable echo on the tty. This setting should also be
# changed in order to be able to use