HDFS的安装及应用

1.解压文件:   tar -zxvf hadoop-2.7.5.tar.gz

2.修改 core-site.xml
    进入路径 /root/data/hadoop-2.7.5/etc/hadoop
    表示hdfs基本路径,默认端口9000

<configuration>
           <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>  #这里表示hdfs的主机地址
           </property>
        </configuration>
        2 修改 hdfs-site.xml
    dfs.replication：数据库备份数量,不能大于DataNode数量
    dfs.datanode.data.dir：datanode存储数据地方
    dfs.namenode.data.dir：namenode存储数据地方
         <configuration>
           <property>
               <name>dfs.replication</name>
               <value>1</value> #备份节点数
           </property>
           <property>
                <name>dfs.datanode.data.dir</name>
                <value>/root/data/hdfs/name</value>   # 主机进程的存放路径
           </property>
           <property>
                <name>dfs.namenode.data.dir</name>
                <value>/root/data/hdfs/data</value>   #节点进程存放路径
           </property>
        </configuration>

3 创建对应的存储目录
    创建datanode和namenode 对应的文件夹目录
      mkdir /root/data/hdfs/name
      mkdir /root/data/hdfs/data

4 修改 hadoop-env.sh   配置JDK目录
    export JAVA_HOME=/usr/local/jdk1.8.0_161

5 创建 slaves
    hdfs是一个分布式存储的,需要让master知道对应的slave
    在 /root/hdfsV2.0/hadoop-2.7.5/etc/hadoop 路径下新建slaves文件
    添加 node-1
         node-2

6 配置环境变量
    vi /etc/profile

export HADOOP_HOME=/hadoop/hadoop-2.10.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

更新节点
    source /etc/profile

    7.master节点配置好的hadoop分发到slave节点
    scp -r /root/data root@node-2:/root/
    
    
    8.运行hafs
    先对格式化: hdfs  namenode  -formats
    启动start-dfs.sh
    启动stop-dfs.sh
     
    输入HDFS默认监控地址：http://master:50070