Ubuntu安装搭建Hadoop spark 单机版本

1、查看当前Ubuntu的Java版本

Java -version

2、查看Java的安装路径

update-alternatives --display java

 

3、查看ubuntu的版本

uname -a

4、下载Hadoop 2.6.4 版本

wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

5、将Hadoop下载完成之后解压缩

$ sudo tar -zxvf hadoop-2.6.4.tar.gz 

6、移动Hadoop

sudo mv hadoop-2.6.4 /usr/local/hadoop
查看Hadoop安装目录 /usr/local/hadoop

 

7、配置系统环境

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

注意：Java的路径需要跟自己的路径保持一致

source ~/.bashrc

8、修改配置文件

8.1 修改Hadoop-env.sh

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

修改Java的路径

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

8.2 修改core-site.xml

<configuration>
   <property>
             <name>fs.default.name</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

8.3 配置 yarn-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>

</configuration>

8.4 配置mapred-site.xml

复制一份模板，改名mapred-site.xml（需要切入到文件件）

sudo cp mapred-site.xml.template mapred-site.xml

<configuration>
<configuration>

        <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
       </property>
</configuration>

8.5 修改hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
            <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode </value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
            <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
        </property>
</configuration>

8.6 创建并格式化HDFS目录

sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode

sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode

8.7 修改文件夹的所有者

sudo chown python:python -R /usr/local/hadoop

修改目录及其子目录或文件的所有者和用户组

chown -R 所有者:用户组 文件名或目录

修改目录及其子目录或文件的所有者

chown -R 所有者 文件名或目录

修改目录及其子目录或文件的用户组

chown -R 用户组 文件名或目录

注：-R表示修改目录及其子目录。

8.8 格式化HDFS

hadoop namenode -format
当前操作会删除HDFS的所有操作

9、开启hadoop

start-all.sh

10、查看hadoop resource -manager web界面

localhost:8088

11、显示Hadoop的HDFS web界面

localhost：50070