照着网上诸多教程在本地搭建了一个伪分布式的Hadoop和spark,结果遇到了很多问题,虽然最后解决了任然觉得略坑,谨以此文聊作记录:
一、背景:Ubuntu16.04
二、步骤:
1、自行安装JDK
2、下载hadoop,spark安装包,安装位置自己定,我的路径在/usr/local/
3、配置/etc/profile文件,
export JAVA_HOME=/usr/local/jdk1.8.0_191
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export SPARK_HOME=/usr/local/spark-2.4.4-bin-hadoop2.7
export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$MAVEN_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin
4、配置$HADOOP_PATH/etc/hadoop/hadoop-env.sh,文中增加:
export JAVA_HOME=/usr/local/jdk1.8.0_191
5、配置$HADOOP_HOME/etc/hadoop/core-site.sh:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.3/tmp</value>