hadoop命令和windows下hadoop配置

hadoop基本命令
hadoop fs -ls /   查看根目录文件列表
hadoop fs -put (本地文件) (hdfs)  把文件上传到hdfs系统
hadoop fs -cat (hdfs上的文件)     查看hdfs上文件内容
hadoop fs -mv ()
hadoop fs -mkdir ()

以上命令与Linux命令相似

在windows 上通过Java代码操作hdfs系统

保持jdk与编译器一致减少出错

在windows下放置与Linux一样部署的hdfs安装包
**不能直接用与Linux一样的包，因为Java程序要调用含exe的文件来调用C程序调本地目录文件
放好包然后环境变量里添加hadoop路径
HADOOP_HOME=E:\hadoop-2.8.1

程序中调用hadoop相关包中的类和方法
拿到hdfs客户端对象对hdfs操作

/**
         * Configuration参数对象的机制：
         *    构造时，会加载jar包中的默认配置 xx-default.xml
         *    再加载 用户配置xx-site.xml  ，覆盖掉默认参数
         *    构造完成之后，还可以conf.set("p","v")，会再次覆盖用户配置文件中的参数值
         */
        //会从项目的classpath中加载core-default.xml hdfs-default.xml core-site.xml hdfs-site.xml
        Configuration conf = new Configuration();
        //指定上传副本为2
        conf.set("dfs.replication", "2");
        //指定切块大小
        conf.set("dfs.blocksize", "64m");
        
        //构造访问hsfs系统的客户端对象
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop1:9000/"), conf, "root");