hadoop完全分布式集群搭建

hadoop完全分布式集群搭建

  Auth    hahally
  time    2019.11.29
abstract   hadoop集群搭建

集群搭建规划

两台虚拟机

1. namenode/datanode ubuntu master 192.168.20.128
2. datanode ubuntu slave1 192.168.20.133
3. hadoop-2.9.2   jdk1.8

hadoop网络配置

1. 配置ip映射

修改文件 /etc/hosts

hadoop@master: vim /etc/hosts    # 添加下面内容

192.168.20.128	master
192.168.20.133	slave1

2. 集群的SSH配置

安装ssh服务软件，由于ubuntu已经有了openssh-client,所以只要安装openssh-server就ok了

hadoop@master: sudo apt-get install openssh-server 
hadoop@master: ssh-keygen  -t rsa -P ''   # 生成秘钥和公钥，‘’表示密码为空

该命令将在~/.ssh目录下面产生一个密钥id_rsa和一个公钥id_rsa.pub

hadoop@master: cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
hadoop@master: chmod 600 ~/.ssh/authorized_keys  
hadoop@master: service sshd start      [启动ssh服务]
hadoop@master: ssh localhost           # 测试本地无密码连接

另一台slave1也按相同方法操作，最后将两公钥加入 authorized_keys 文件中

JDK的安装与配置

下载jdk1.8版本压缩包后，解压在 /usr/local/ 目录下

hadoop@master: sudo tar -zxvf jdk1.8.0_162 /usr/local/jdk1.8.0_162

解压后即可配置环境变量打开文件 /etc/profile 或者 ~/.bashrc

hadoop@master: sudo vim ~/.bashrc

配置如下：

export JAVA_HOME=/usr/local/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

退出后执行下面命令

hadoop@master: source ~/.bashrc  # 使配置生效
hadoop@master: java -version    # 检查环境变量是否配置好

hadoop安装和配置

同样将hadoop的tar包解压到 /usr/local/ 目录下

具体配置参考另一篇笔记docker 搭建 hadoop集群

注意：格式化之前，需要将hadoop安装目录授权给hadoop[当前用户]用户，否则格式化会提示无法创建hdfs-site.xml中指定的目录

hadoop@master: sudo chown -R hadoop:hadoop /usr/local/hadoop-2.9.2
hadoop@master: sudo chmod -R a+w /usr/local/hadoop-2.9.2