day01-安装笔记 8天学会Hadoop基础

操作系统： CentOS7

安装 jdk

http://blog.csdn.net/fuyuwei2015/article/details/73195936

1. 卸载

查看已经安装的jdk

[root@bogon jre]# rpm -qa|grep jdk
java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64
java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64
java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64

2. 卸载命令

[root@bogon jre]# yum -y remove java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64

卸载完成之后Java命令不被识别

[root@bogon lib]# java -version

3. 安装

去官网下载jdk：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
解压到安装目录

[root@bogon software]# tar -zxvf jdk-8u101-linux-x64.tar.gz -C /usr/local/java/

安装完毕之后在/etc/profile文件末尾添加

[root@bogon software]# vim /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_161
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

使/etc/profile生效

[root@bogon jdk1.8.0_101]# source /etc/profile

Hadoop - 2.7.5 修改配置文件

下载 hadoop

http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz

解压到 /data/ 下面

修改配置文件

位置：/data/hadoop-2.7.5/etc/hadoop/

1. hadoop_env.sh

export JAVA_HOME=$JAVA_HOME
改成固定的路径  因为容易找不到
export JAVA_HOME=/usr/local/java/jdk1.8.0_161

2. core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>       <!-- 默认的文件系统-->
                <value>hdfs://hadoop1:9000/</value> <!-- 协议://主节点 -->
        </property>
        <property>
                <name>hadoop.tmp.dir</name>     <!--数据存放目录-->
                <value>/data/hadoop-2.7.5/data/</value>
        </property>
</configuration>

3. hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>   <!--存放副本的数量-->
                <value>1</value>
        </property>
</configuration>

4. mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>   <!--把jar包放到那个容器里面去跑-->
                <value>yarn</value>
        </property>
</configuration>

5. yarn.site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop1</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

</configuration>

6. 添加环境变量

/etc/profile

export HADOOP_HOME=/data/hadoop-2.7.5
export PATH=${HADOOP_HOME}/sbin:${HADOOP_HOME}/bin:$PATH

7. 启动

// 第一次启动先格式化
hadoop namenode -format

// 启动 hdfs
start-dfs.sh

// 启动 yarn框架
start-yarn.sh


//上传文件到dfs上
hadoop fs -put jdk-8u161-linux-x64.tar.gz hdfs://hadoop1:9000/

//下载文件从dfs上
hadoop fs -get hdfs://hadoop1:9000/jdk-8u161-linux-x64.tar.gz