史上最详细的Hadoop环境搭建_Hadoop/Hive/Hbase
1 单机环境
项目 |
IP |
CentOS 7.7 |
192.168.214.120 |
MySQL 5.7.26 |
192.168.214.120 |
2 软件清单
序号 |
项目 |
版本 |
官网 |
1 |
hadoop |
2.7.5 |
http://hadoop.apache.org |
2 |
hadoop-hbase |
1.3.5 |
http://hbase.apache.org |
3 |
hadoop-hive |
2.3.7 |
http://hive.apache.org |
4 |
OpenJdk |
1.7.0 |
http://openjdk.java.net/ |
3 安装步骤
3.1 Hadoop账号
3.1.1 创建账号
useradd hadoop
3.1.2 设置密码
passwd hadoop
3.2 下载介质
su - hadoop
wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz
wget https://downloads.apache.org/hive/hive-2.3.7/apache-hive-2.3.7-bin.tar.gz
wget https://archive.apache.org/dist/hbase/1.3.5/hbase-1.3.5-bin.tar.gz
3.3 安装软件 - OpenJdk
su - root
yum install java-1.7.0-openjdk
#检查
java
3.4 安装软件 - Hadoop
3.4.1 解压安装包
#解压安装包
su - hadoop
tar -zxvf hadoop-2.7.5.tar.gz
3.4.2 hdfs存储目录
mkdir -p /home/hadoop/tmp
mkdir -p /home/hadoop/hdfs
mkdir -p /home/hadoop/hdfs/data
mkdir -p /home/hadoop/hdfs/name
3.4.3 Hadoop配置
su - hadoop
cd /home/hadoop/hadoop-2.7.5/etc/hadoop
3.4.3.1 core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.214.120:9000</value>
<description>HDFS的URI,文件系统://namenode标识:端口号</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>
3.4.3.2 hdfs-site.xml
<configuration>
<property>