Hadoop HDFS 安装

在主目录下创建app、software、data 三个目录

software 软件包目录

app 软件安装目录

data 数据目录

 

1.下载Hadoop

 

CDH相关的软件下载地址：http://archive.cloudera.com/cdh5/cdh/5/

生产或者测试环境选择对应CDH版本时，一定要采用尾号是一样的版本，我这里采用

cdh-5.7.0.tar.gz 结尾的软件，可以先把后续的Hive、Hbase、Spark先下载好。

Linux下载命令 wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

 

2. 安装jdk

下载jdk包

解压到app目录：tar -zxvf jdk-8811-linux-x64.tar.gz -C  ../app

验证安装是否成功：

cd ../app/jdk1.8.0_11/bin

./java  -version

环境变量配置

vi  ~/.bash_profile

在文件中加上如下配置

  export JAVA_HOME=/home/yliang/app/jdk1.8.0_11

export PATH=$JAVA_HOME/bin:$PATH

执行source  ~/.bash_profile命令，刷新配置

现在就可以通过命令 java -version查看配置是否成功。

 

3.机器参数配置

hostname :hadoop001

 

修改机器名：vi  /etc/sysconfig/network

在文件中加上如下信息

NETWORKING=yes

HOSTNAME=hadoop001

设置ip和hostname的映射关系: vi  /etc/hosts

192.168.232.128   hadoop001

127.0.0.1  localhost

 

ssh免密码登录（本步骤可以省略，但是后面重启hadoop进程时需手工输入密码）

ssh-keygen -t rsa

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

4. hadoop配置文件修改

解压安装包

cd  ../app/hadoop-2.6.0-cdh5.7.0/etc/hadoop

vi  hadoop-env.sh

export JAVA_HOME=/home/yliang/app/jdk1.7.0_51

 

vi  core-site.xml

<property>

         <name>fs.defaultFS</name>

         <value>hdfs://hadoop001:8020</value>

     </property>

 

     <property>

         <name>hadoop.tmp.dir</name>

         <value>/home/hadoop/app/tmp</value>

     </property>

 

   vi   hdfs-site.xml

     <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

<property>

                <name>dfs.namenode.http.address</name>

                <value>hadoop001:50070</value>

        </property>

 

5. 格式化HDFS

注意：这一步操作，只是在第一次操作时只需，每次如果都格式化的话，那么HDFS上的数据就会被清空

cd /home/yliang/app/hadoop-2.6.0-cdh5.7.0/bin/

./hdfs namenode -format

 

6. 关闭防火墙

查看防火墙命令：service iptables status

关闭防火墙命令：service iptables stop

 

7. 启动HDFS

cd /home/yliang/app/hadoop-2.6.0-cdh5.7.0/sbin/

./start-dfs.sh

 

验证是否启动成功:

jps

DataNode

SecondaryNameNode

NameNode

 

浏览器

http://hadoop001:50070/

 

8. 停止HDFS

cd /home/yliang/app/hadoop-2.6.0-cdh5.7.0/sbin/

./stop-dfs.sh