简单的HDFS客户端的Shell操作

HDFS客户端的Shell操作

是我学习的过程小笔记
HDFS提供了类似于我们Linux的shell命令

    基础命令：hadoop fs  -xxx
    文件上传
        hadoop fs -put Demo1.java   / 
        
        hadoop fs -copyFromLocal  fun.sh  /
    
        #文件上传之后本地文件就不存在了
        hadoop fs -moveFromLocal forDemo.sh /

    查看文件
        hadoop fs -ls / 
        hadoop fs -cat /fun.sh
        hadoop fs -text /fun.sh
    
    下载：
    
        hadoop fs -put /fun.sh  ./
    
        hadoop fs -moveToLocal /forDemo.sh  ~/   （有待商榷）
    
        hadoop fs -copyToLocal  /forDemo.sh  ~/  
    删除
        hadoop fs -rm -r /hdfsapi

搭建Java操作HDFS客户端的环境

    1、配置本地的Hadoop环境，在本机上安装配置Hadoop的环境
    
    2、准备开发工具：eclipse
    
    3、项目构建工具：Maven
        
        1) 消除因为开发工具不同带来的目录结构差异
    
        2) 管理项目依赖

Maven安装和配置

​

    1、解压到指定的目录(不要包含中文和空格)
    
    2、配置我们Maven的环境变量：
        
        a)和Java、Hadoop的配置方式基本上一致
        
        b)验证：mvn -v

    3、配置Maven基本的使用信息
    
        配置文件所在的目录：$M2_HOME/conf/settings.xml
    
        修改配置：
           
            1)从远程下载下来之后的文件存储路径
    
                 <localRepository>D:/maven-repository</localRepository>
            
            2)配置国内镜像，提升我们jar文件的下载速度
                  <mirrors>