Linux操作系统下安装Hadoop以及集群搭建
准备工作:
- VMware新建虚拟机(虚拟机时间需要与主机同步)
- 在根目录下新建software目录,把jdk、hadoop、hadoop-native、hive、hbase、zookeeper、mysql和java连接数据库jar包导入software目录下
- 将jdk、hadoop、hive、hbase、zookeeper解压到opt目录下
- hadoop-native解压到hadoop/etc/bin和hadoop/etc/bin/native目录下
配置环境变量(集群环境变量一次配置完成):
- vi /etc/profile 按shift+g、o 插入以下代码:
export JAVA_HOME=/opt/jdk8
export JRE_HOME=/opt/jdk8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
export HADOOP_HOME=/opt/hadoop
export HBASE_HOME=/opt/hbase
export HIVE_HOME=/opt/hive
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin
- source /etc/profile 刷新并执行环境变量
- 测试环境变量是否配置成功 java -version、hadoop version、hive version、hbase version
- 修改主机名
vi /etc/hostname
#主机名
hadoop101
- 修改主机列表
vi /etc/hosts
集群内的虚拟机都加入主机列表
- 虚拟机设置免密登录
- 生成免密密钥:
ssh-keygen -t rsa -P ""
- 将生成的免密私钥复制到公钥:
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys (>>为追加,>为替换)
- 为集群虚拟机添加互信:
ssh-copy-id -i .ssh/id_rsa.pub -p22 root@192.168.128.101(或主机名)
- 免密登录验证:
ssh -p 22 root@192.168.128.101(或主机名)
- 生成免密密钥:
配置Hadoop
- 进入hadoop/etc/hadoop目录下
- 配置hadoop-env.sh
vi hadoop-env.sh
JAVA_HOME后的路径修改为虚拟机的java路径