Hadoop2.6安装

1.准备工作

1.hadoop下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
2.jdk下载地址：https://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html
注：Hadoop的话需要jdk1.7的版本

2.Hadoop介绍

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。

3.添加hadoop用户

添加一个hadoop用户专门处理大数据相关的事宜
[root@hylct ~]# useradd hadoop

4.安装jdk1.7

解压jdk文件
[root@hylct ~]# cd /usr/java
[root@hylct java]# tar -zvxf jdk-7u80-linux-x64.tar.gz
注：上面的jdk的用户和用户组有问题，必须进行修改
[root@hylct java]# chown -R root:root jdk1.7.0_80

配置环境变量
[root@hylct java]# vi /etc/profile 将我们的java路径配置进去
在文件的末尾加上

export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$JAVA_HOME/bin:$PATH

保存退出，然后重新编译下配置文件
[root@hylct java]# source /etc/profile
[root@hylct java]# java -version 查看jdk的版本

5.下载安装hadoop

[root@hylct ~]# su - hadoop
[hadoop@hylct ~]# mkdir app 
[hadoop@hylct ~]# cd app
[hadoop@hylct app]# wget http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
				    wget命令用来从指定的URL下载文件。
[hadoop@hylct app]# tar -xzvf hadoop-2.6.0-cdh5.7.0.tar.gz
[hadoop@hylct app]# cd hadoop-2.6.0-cdh5.7.0
[hadoop@hylcth adoop-2.6.0-cdh5.7.0]# 

6.修改配置

 1. 为hadoop配置我们刚才的jdk路径

[hadoop@hylct hadoop-2.6.0-cdh5.7.0]# cd etc/hadoop
[hadoop@hylct hadoop]# vi hadoop-env.sh
	export JAVA_HOME=/usr/java/jdk1.7.0_80
	export HADOOP_PREFIX=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

 1. 修改配置文件	core-site.xml	指定namenode的地址
 [hadoop@hylct hadoop]# vi core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hylct:9000</value>
        <description>指定namenode的地址</description>
    </property>
</configuration>
 2. 修改配置文件 hdfs-site.xml   设置副本数
[hadoop@hylct hadoop]# vi hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
        <description>设置副本数</description>
    </property>
</configuration>
 4.设置个人环境变量  ~/.bash_profile
 [hadoop@hylct hadoop]# cd
 [hadoop@hylct ~]# vi .bash_profile 
export MVN_HOME=/home/hadoop/app/apache-maven-3.3.9
export PROTOC_HOME=/home/hadoop/app/protobuf
export FINDBUGS_HOME=/home/hadoop/app/findbugs-1.3.9
export JAVA_HOME=/usr/java/jdk1.7.0_80
export HADOOP_PREFIX=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
 5.配置slaves文件
一般在集群中你唯一地选择一台机器作为 NameNode ，一台机器作为 ResourceManager，这是master  (主)。
那么 ，集群中剩下的机器作为DataNode 和 NodeManager。这些是slaves  (从)。
在你的 hadoop目录/etc/hadoop/slaves 文件上列出全部slave机器名或IP地址，一个一行。
 [hadoop@hylct ~]# cd app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
 [hadoop@hylct hadoop]# vi slaves
  localhost
  hylct

7.配置无密码ssh

[hadoop@hylct hadoop]# cd
[hadoop@hylct  ~]# rm -rf .ssh
[hadoop@hylct ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
[hadoop@hylct ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
[hadoop@hylct ~]# cd .ssh
[hadoop@hylct  .ssh]# chmod 600 authorized_keys
[hadoop@hylct .ssh]# ssh hadoop002
[hadoop@hadoop002 ~]$ 

8.开启hadoop

 [hadoop@hylct hadoop]# cd ~/app/hadoop-2.6.0-cdh5.7.0
 [hadoop@hylct hadoop-2.6.0-cdh5.7.0]# bin/hdfs namenode -format  
[hadoop@hylct hadoop-2.6.0-cdh5.7.0]# sbin/start-dfs.sh
[hadoop@hylct hadoop-2.6.0-cdh5.7.0]# jps
5796 Jps
5100 NameNode
4259 DataNode
5337 SecondaryNameNode