大数据学习系列之一 ----- Hadoop环境搭建(单机)

大数据学习系列之一 ----- Hadoop环境搭建(单机)

所属专栏： 大数据(Hadoop，Spark)学习

 版权声明：本文为博主转载文章，转载请标明出处！博客地址:http://blog.csdn.net/qazwsxpcm https://blog.csdn.net/qazwsxpcm/article/details/78637874

一、环境选择

1，服务器选择

阿里云服务器:入门型(按量付费) 
操作系统:linux CentOS 6.8 
Cpu：1核 
内存：1G 
硬盘:40G 
ip:39.108.77.250 

2，配置选择

JDK:1.8 （jdk-8u144-linux-x64.tar.gz） 
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)

3，下载地址

官网地址: 
JDK： 
http://www.oracle.com/technetwork/java/javase/downloads

Hadopp: 
http://www.apache.org/dyn/closer.cgi/hadoop/common

百度云:

链接：http://pan.baidu.com/s/1pLqS4kF 密码：yb79

二、服务器的相关配置

在配置Hadoop之前，应该先做以下配置

1，更改主机名

首先更改主机名，目的是为了方便管理。 
输入:

hostname 

• 1

查看本机的名称 
然后输入:

vim /etc/sysconfig/network

• 1

修改主机名称 
将HOSTNAME 的名称更改为你想要设置的名称 
 
注:主机名称更改之后，要重启(reboot)才会生效。

输入

vim /etc/hosts

• 1

添加 主机IP 和对应的主机名称，做映射。 

注:在配置文件中使用主机名的话，这个映射必须做！

2，关闭防火墙

关闭防火墙，方便外部访问。 
CentOS 7版本以下输入: 
关闭防火墙

service   iptables stop

• 1

CentOS 7 以上的版本输入：

systemctl   stop   firewalld.service

• 1

3，时间设置

输入:

date

• 1

查看服务器时间是否一致，若不一致则更改 
更改时间命令

date -s ‘MMDDhhmmYYYY.ss’

• 1

三、Hadoop环境安装

1，下载jdk、hadoop

将下载下来的 jdk、hadoop 解压包放在home 目录下 
并新建java、hadoop文件夹 

3.1.1解压文件

输入: 
tar -xvf jdk-8u144-linux-x64.tar.gz 
tar -xvf hadoop-2.8.2.tar.gz 
解压jdk和hadoop ,分别移动文件到java和hadoop文件下， 
并将文件夹重命名为jdk1.8和hadoop2.8 

2，JDK环境配置

首先输入

java -version 

• 1

查看是否安装了JDK，如果安装了，但版本不适合的话，就卸载

3.2.1 profile 文件更改

编辑 /etc/profile 文件 
输入:

vim /etc/profile

• 1

整体的配置文件:

export JAVA_HOME=/home/java/jdk1.8
export JRE_HOME=/home/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=.:${JAVA_HOME}/bin:$PATH

• 1
• 2
• 3
• 4

 
注: JAVA_HOME的路径是 JDK的路径

使用vim 编辑之后 记得输入

source /etc/profile 

• 1

使配置生效

配置完后，输入java -version 查看版本信息 

3，Hadoop 环境配置

3.3.1 profile 文件更改

编辑 /etc/profile 文件 
输入:

vim /etc/profile

• 1

整体的配置文件:

export HADOOP_HOME=/home/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

• 1
• 2
• 3
• 4

 
输入:

source  /etc/profile

• 1

使配置生效

修改配置文件

3.3.2新建文件夹

在修改配置文件之前，现在root目录下建立一些文件夹。 
输入:

mkdir  /root/hadoop  
mkdir  /root/hadoop/tmp  
mkdir  /root/hadoop/var  
mkdir  /root/hadoop/dfs  
mkdir  /root/hadoop/dfs/name  
mkdir  /root/hadoop/dfs/data

• 1
• 2
• 3
• 4
• 5
• 6

注:在root目录下新建文件夹是防止被莫名的删除。

首先切换到 /home/hadoop/hadoop2.8/etc/hadoop/ 目录下

3.3.3修改 core-site.xml

输入:

vim core-site.xml

• 1

在<configuration>添加:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://test1:9000</value>
   </property>
</configuration>

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11

 
说明: test1 可以替换为主机的ip。

3.3.4修改 hadoop-env.sh

输入:

vim hadoop-env.sh

• 1

将${JAVA_HOME} 修改为自己的JDK路径

export   JAVA_HOME=${JAVA_HOME}

• 1

修改为：

export   JAVA_HOME=/home/java/jdk1.8

• 1

3.4.5修改 hdfs-site.xml

输入:

vim hdfs-site.xml

• 1

在<configuration>添加:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19

说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

3.4.6 修改mapred-site.xml

如果没有 mapred-site.xml 该文件，就复制mapred-site.xml.template文件并重命名为mapred-site.xml。 
输入:

vim mapred-site.xml

• 1

修改这个新建的mapred-site.xml文件，在<configuration>节点内加入配置:

<property>
    <name>mapred.job.tracker</name>
    <value>test1:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12

使用的命令: 
 
到此 Hadoop 的单机模式的配置就完成了。

四、Hadoop启动

第一次启动Hadoop需要初始化 
切换到 /home/hadoop/hadoop2.8/bin目录下输入

  ./hadoop  namenode  -format

• 1

 

初始化成功后，可以在/root/hadoop/dfs/name 目录下(该路径在hdfs-site.xml文件中进行了相应配置，并新建了该文件夹)新增了一个current 目录以及一些文件。 

启动Hadoop 主要是启动HDFS和YARN 
切换到/home/hadoop/hadoop2.8/sbin目录 
启动HDFS 
输入:

start-dfs.sh

• 1

登录会询问是否连接，输入yes ，然后输入密码就可以了 

启动YARN 
输入:

start-yarn.sh

• 1

可以输入 jps 查看是否成功启动

在浏览器输入: 
http://39.108.77.250:8088/cluster 

输入: 
http://39.108.77.250:50070 

注:当时忘记截图了，这张使用的是本地用虚拟机搭建环境的图片。

到此，Hadoop的单机配置就结束了。

ps: 当时我的机器端口为  50075  , 不知道是不是因为版本不同还是什么导致的.

 

转自:   https://blog.csdn.net/qazwsxpcm/article/details/78637874