hdfs搭建IDE

hdfs API
--------------------
    1.HDFS:hadoop分布式文件系统-->
        两种表现形式:1.hadoop fs shell命令:【hadoop fs -commond】
                  2.java API方式访问:    【DistributedFileSystem】对应的HDFS
    2.搭建IDE
       a. 查找hadoop的依赖jar包
           在{hadoop_home/share}目录下查找<.jar>文件,复制后拷贝至{hadoop_home}/_jar/
       在{hadoop_home}/_jar/目录下查找<sources>文件,剪切后拷贝至{hadoop_home}/_sources/
       在{hadoop_home}/_sources/目录下查找<test>文件,剪切后拷贝至{hadoop_home}/_test/
        
       {hadoop_home}/_jar/目录:hadoop java开发程序所依赖的jar包
       {hadoop_home}/_sources/目录:hadoop java开发程序所依赖的源码包
       {hadoop_home}/_test/目录:hadoop java开发程序所依赖的测试包
       b.集成eclipse环境
           1.将hadoop-eclipse-plugin-2.6.0.jar复制到{eclipse_home}/plugins下;
       2.重启eclise;
       3.校验安装是否成功:查看windows-->perferences-->hadoop Mapreduce
       4.在【hadoop Mapreduce】视图下,添加hadoop的安装路径:D:\hadoop-2.7.3
       5.创建hadoop的链接:
           a>.打开【MapReduce Locations】视图-->右键【新建hadoop Location...】-->弹出编辑窗口
           b>.dfs RPC 协议端口号为:9000       【注:默认为8020】
              mapreduce RPC协议端口号为:9001 【注:默认为8021】
          user name:hyxy     【注:集群名字】
          host     :master1  【注:master1在windows上映射对应的ip为192.168.14.139】
       c.配置windows Hadoop工具包
           1.拷贝hadoop.dll和winutils.exe至{hadoop_home}\bin;
       2.配置环境变量:HADOOP_HOME=D:\hadoop-2.7.3   ;
                       PATH = %HADOOP_HOME%\bin;
       d.创建工程,编写API

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值