我用的hadoop2.8.5 + apache-hive-2.3.3 +sqoop-1.4.7 + jdk1.8 + mysql 5.7 + scala-2.12.7 + spark-2.3.2-bin-hadoop2.7
第一步上传所需的包:我把所有的包都放在了home下面,如下:
先安装jdk 和mysql :
jdk安装:https://blog.csdn.net/lx1309244704/article/details/79765517
mysql安装:https://blog.csdn.net/lx1309244704/article/details/79786463
然后修改IP映射
vi /etc/hosts
我这里的hadoop版本为2.8.5,我们可以找到官方给我提供的搭建文档,因为官方没有2.8.5版本的文档,那就找2.8.X的版本的文档即可。
地址:http://hadoop.apache.org/docs/r2.8.4/
首先搭建hadoop环境:
按照上面的配置,如下 我将解压的hadoop
tar -zxf hadoop-2.8.5.tar.gz
重新命名为hadoop
mv hadoop-2.8.5 hadoop
配置环境变量
vi /etc/profile
#hadoop
export HADOOP_HOME=/home/hadoop/
export PATH=${HADOOP_HOME}/bin:$PATH
然后保存,执行一下命令,是配置生效
source /etc/profile
进入你安装的hadoop 下的 etc/hadoop/目录下
cd /home/hadoop/etc/hadoop/
core-site.xml的配置
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/tmp</value>
</property>
</configuration>
hdfs-site.xml的配置
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/tmp/dfs/data</value>
</property>
</configuration>
yarn的配置
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
然后初始化
hadoop namenode -format
然后就可以验证hadoop是否安装成功:进入你安装的hadoop目录下的sbin目录:/home/hadoop/sbin
cd /home/hadoop/sbin/
然后启动start-all.sh
./start-all.sh
如下:
然后查询是否启动成功:
jps
停止命令:
./stop-all.sh