hadoop
完全分布式集群搭建
Auth hahally time 2019.11.29 abstract hadoop集群搭建
集群搭建规划
两台虚拟机
- namenode/datanode ubuntu master 192.168.20.128
- datanode ubuntu slave1 192.168.20.133
- hadoop-2.9.2 jdk1.8
hadoop网络配置
1. 配置ip映射
修改文件 /etc/hosts
hadoop@master: vim /etc/hosts # 添加下面内容
192.168.20.128 master
192.168.20.133 slave1
2. 集群的SSH配置
安装ssh服务软件,由于ubuntu已经有了openssh-client,所以只要安装openssh-server就ok了
hadoop@master: sudo apt-get install openssh-server
hadoop@master: ssh-keygen -t rsa -P '' # 生成秘钥和公钥,‘’表示密码为空
该命令将在~/.ssh目录下面产生一个密钥id_rsa和一个公钥id_rsa.pub
hadoop@master: cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
hadoop@master: chmod 600 ~/.ssh/authorized_keys
hadoop@master: service sshd start [启动ssh服务]
hadoop@master: ssh localhost # 测试本地无密码连接
另一台slave1也按相同方法操作,最后将两公钥加入 authorized_keys 文件中
JDK的安装与配置
下载jdk1.8版本压缩包后,解压在 /usr/local/ 目录下
hadoop@master: sudo tar -zxvf jdk1.8.0_162 /usr/local/jdk1.8.0_162
解压后即可配置环境变量打开文件 /etc/profile 或者 ~/.bashrc
hadoop@master: sudo vim ~/.bashrc
配置如下:
export JAVA_HOME=/usr/local/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
退出后执行下面命令
hadoop@master: source ~/.bashrc # 使配置生效
hadoop@master: java -version # 检查环境变量是否配置好
hadoop安装和配置
同样将hadoop的tar包解压到 /usr/local/ 目录下
具体配置参考另一篇笔记docker 搭建 hadoop集群
注意:格式化之前,需要将
hadoop
安装目录授权给hadoop[当前用户]用户,否则格式化会提示无法创建hdfs-site.xml
中指定的目录
hadoop@master: sudo chown -R hadoop:hadoop /usr/local/hadoop-2.9.2
hadoop@master: sudo chmod -R a+w /usr/local/hadoop-2.9.2