Hadoop2.6.3安装

Hadoop2.6.3安装

1 Hadoop简介

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop实现了一个分布式文件系统(HadoopDistributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(highthroughput)来访问应用程序的数据，适合那些有着超大数据集(largedata set)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streamingaccess)文件系统中的数据。

Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

2 环境说明

　　集群中包括3个节点：1个Master，2个Salve，节点之间局域网连接。

 

机器名称	IP地址
master	192.168.0.104
s1	192.168.0.110
S2	192.168.0.111

 

三个节点上均是CentOS6.8系统，并且有一个相同的用户root。Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执行；2个Salve机器配置DataNode和TaskTracker的角色，负责分布式数据存储以及任务的执行.

3.配置/etc/hosts

4 所需软件

1）JDK软件

    下载地址：http://www.oracle.com/technetwork/java/javase/index.html

2）Hadoop软件

下载地址：http://hadoop.apache.org/common/releases.html

5、SSH无密码验证配置

假设没有安装ssh和rsync，可以通过下面命令进行安装。

 

yum install ssh 安装SSH协议

yum install rsync （rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）

service sshd restart 启动服务

在Master节点上执行以下命令：

ssh-keygen -t rsa

cd ~/.ssh

 

接着在Master节点上做如下配置，把id_rsa.pub追加到授权的key里面去。

执行下面两句

ssh-copy-id -i ~/.ssh/id_rsa.pub root@s1

ssh-copy-id -i ~/.ssh/id_rsa.pub root@s2

然后

免密码成功

5、JDK安装

下载地址：http://www.oracle.com/technetwork/java/javase/index.html

 

首先用root身份登录"master "后在"/usr"下创建"java"文件夹，再把用FTP上传到"/home/hadoop/"下的"jdk-6u31-linux-i586.bin"复制到"/usr/java"文件夹中。

 

mkdir /usr/java

cp /home/hadoop/jdk-6u31-linux-i586.bin /usr/java

 

接着进入"/usr/java"目录下通过下面命令使其JDK获得可执行权限，并安装JDK。

 

chmod   +x     jdk-6u31-linux-i586.bin

./jdk-8u73-linux-i586.bin

按照上面几步进行操作，最后点击"Enter"键开始安装，安装完会提示你按"Enter"键退出，然后查看"/usr/java"下面会发现多了一个名为"1.8.0_73"文件夹，说明我们的JDK安装结束，删除" jdk-8u73-linux-i586.bin "文件，进入下一个"配置环境变量"环节。

 

6 配置环境变量

　　编辑"/etc/profile"文件，在后面添加Java的"JAVA_HOME"、"CLASSPATH"以及"PATH"内容。

1）编辑"/etc/profile"文件

 

vim    /etc/profile

 

 

2）添加Java环境变量

　　在"/etc/profile"文件的尾部添加以下内容：

 

# set java environment

exportJAVA_HOME=/usr/java/jdk1.8.0_73

PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HBASE_HOME/bin:

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

3）使配置生效

　　保存并退出，执行下面命令使其配置立即生效。

 

source /etc/profile

然后远程copy到其他机器上，配置环境变量

scp –r /usr/java root@s1:/usr

scp –r /usr/java root@s2:/usr

7、Hadoop集群安装

　　所有的机器上都要安装hadoop，现在就先在master服务器安装，然后其他服务器按照步骤重复进行即可。安装和配置hadoop需要以"root"的身份进行。

 

4.1 安装hadoop

首先用root用户登录"Master.Hadoop"机器，查看我们之前用FTP上传至"/home/Hadoop"上传的"hadoop-2.6.3.tar.gz"。

进入下载目录

解压缩文件

tar –zxvf  hadoop-2.6.3.tar.gz

移动到opt目录

mv  hadoop-2.6.3 /opt

Hadoop配置文件

进入/opt/hadoop-2.6.3/etc/hadoop目录

cd /opt/hadoop-2.6.3/etc/Hadoop

修改core-site.xml

添加内容:

 

<configuration>

       <property>

               <name>hadoop.tmp.dir</name>

               <value>/usr/hadoop/tmp</value>

               <description>Abase for other temporary directories.</description>

       </property>

       <property>

               <name>fs.defaultFS</name>

               <value>hdfs://master:9000</value>

       </property>

</configuration>

修改hdfs-site.xml

<configuration>

  <property>

                <name>dfs.namenode.name.dir</name>

               <value>file:///usr/hadoop/dfs/name</value>

        </property>

        <property>

               <name>dfs.datanode.data.dir</name>

               <value>file:///usr/hadoop/dfs/data</value>

        </property>

        <property>

               <name>dfs.replication</name>

                <value>2</value>

        </property>

 

    <property>

       <name>dfs.nameservices</name>

       <value>hadoop-cluster1</value>

    </property>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>master:50090</value>

    </property>

    <property>

       <name>dfs.webhdfs.enabled</name>

        <value>true</value>

    </property>

   <property>

      <name>dfs.permissions</name>

      <value>false</value>

   </property>

</configuration>

修改mapred-site.xml

 

<configuration>

        <property>

               <name>mapreduce.framework.name</name>

                <value>yarn</value>

                <final>true</final>

        </property>

 

    <property>

       <name>mapreduce.jobtracker.http.address</name>

        <value>master:50030</value>

    </property>

    <property>

       <name>mapreduce.jobhistory.address</name>

        <value>master:10020</value>

    </property>

    <property>

        <name>mapreduce.jobhistory.webapp.address</name>

        <value>master:19888</value>

    </property>

        <property>

               <name>mapred.job.tracker</name>

               <value>http://master:9001</value>

        </property>

</configuration>

修改masters,Slaves

然后远程复制到是s1,s2

scp -r hadoop-2.6.3 root@s1:/opt

scp -r hadoop-2.6.3 root@s2:/opt

 

配置环境变量

关闭防火墙(所有节点)

service iptables stop

 

namenode初始化

hadoop namenode –format

 

进入/opt/hadoop-2.6.3/sbin

cd /opt/hadoop-2.6.3/sbin

执行./start-all.sh

上面结果代表执行完成

创建目录，然后展示，显示完成

 

综合以上我们的hadoop就装完成了。