大数据技术与应用比赛

Xshell

上传文件

rz -y

Hadoop安装

1.java安装

 tar -zxvf ./jdk-8u161-linux-x64.tar.gz -C /usr/local/src/

 java配置

vim ~/.bashrc

export JAVA_HOME=/usr/local/src/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

 这时，可以使用如下命令查看是否安装成功：

java -version

hadoop@ubuntu:~$ java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

2.hadoop安装

tar -zxvf ./hadoop-2.6.5.tar.gz -C /usr/local/src/

Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

1.查看路径：

pwd

2.进入下一级目录：

 cd /usr/local/src/

3.查看文件

ll

结果如下：

 4..进入下一级目录

cd /usr/local/src
cd hadoop-2.6.5
cd etc
cd hadoop

ll

结果如下：

 5.编辑 

 vim hadoop-env.sh

vim  core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

 vim  hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

 ./bin/hdfs namenode -format

 

 启动hadoop

 sbin/start-dfs.sh #start-dfs.sh是个完整的可执行文件，中间没有空格

查看hadoop是否启动成功

jps

 停止hadoop

sbin/stop-dfs.sh