准备
hadoop-2.6.0-cdh5.14.2.tar.gz
hadoop-native-64-2.6.0.tar
hbase-1.2.0-cdh5.14.2.tar.gz
hive-1.1.0-cdh5.14.2.tar.gz
jdk-8u221-linux-x64.tar.gz
zookeeper-3.4.6.tar.gz
MySQL-server-5.6.46-1.el7.x86_64.rpm
MySQL-client-5.6.46-1.el7.x86_64.rpm
网盘链接:提取码:3a9x
linux环境搭建及jdk安装配置
这里略过,可参考本人文章:
hadoop集群搭建
伪分布式hadoop
先将有关包导入software目录下
解压到/opt
目录下(native解压到hadoop260/lib和hadoop260/lib/native目录下),
使用mv
命令改名(方便使用),我的是这样的
配置环境变量
输入vi /etc/profile
新增内容
export JAVA_HOME=/opt/java8
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export HBASE_HOME=/opt/hbase
export ZOOKEEPER_HOME=/opt/zookeeper
export HIVE_HOME=/opt/hive
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$HIVE_HOME/bin
jdk+hadoop+zookeeper+hbase+hive环境变量都配置完了
保存退出
输入source /etc/profile
使立即生效
修改主机名和主机列表
修改主机名:hostnamectl set-hostname hao01
或vi /etc/hostname修改为hao01
修改主机列表:vi /etc/hosts
新增内容192.168.74.111 hao01
查看是否修改成功:
配置免密登录
在 /opt/hadoop260/etc/hadoop
目录下配置
# 生成秘钥
ssh-keygen -t rsa -P ""
# 复制秘钥到公钥
cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys
# 开启远程免密登录
ssh-copy-id -i /root/.ssh/id_rsa.pub -p22 root@hadoop1
修改HDFS配置文件
hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/opt/java8
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hao01:9000</value>
</property