hdfs API(Advanced Programmers Interface,高级程序员接口)windows下安装hadoop准备

1.HDFS:hadoop分布式文件系统–>
两种表现形式:1.hadoop fs shell命令:【hadoop fs -commond】
2.java API方式访问: 【DistributedFileSystem】对应的HDFS
2.搭建IDE(eclise)
1)hadoop-2.7.3.tar.gz解压缩放在D:某个位置不允许有中文或空格的文件夹,最好放根路径
配置环境变量:HADOOP_HOME=D:\hadoop-2.7.3;
PATH = %HADOOP_HOME%\bin;

   2)解压缩后的hadoop-2.7.3准备jar包
   a. 查找hadoop的依赖jar包
   在{hadoop_home/share}目录下查找<.jar>文件,复制后拷贝至{hadoop_home}/_jar/    207
   在{hadoop_home}/_jar/目录下查找<sources>文件,[剪切]后拷贝至{hadoop_home}/_sources/
   在{hadoop_home}/_sources/目录下查找<test>文件,[剪切]后拷贝至{hadoop_home}/_test/
   在{hadoop_home/_jar}目录下查找<test>文件,[剪切]后拷贝至{hadoop_home}/_test/   
    
   {hadoop_home}/_jar/目录:hadoop java开发程序所依赖的jar包        143
   {hadoop_home}/_sources/目录:hadoop java开发程序所依赖的源码包   28
   {hadoop_home}/_test/目录:hadoop java开发程序所依赖的测试包      36
   
   b.集成eclipse环境(参照1配置,如不好使,拷贝现成eclipse使用)
      1.
		 1)将hadoop-eclipse-plugin-2.7.3.jar复制到{eclipse_home}/plugins下;
		 2)配置windows Hadoop工具包
            这两个文件是编译底层源代码,例如linux是左斜杠, 
             windows里是右斜线,如果把这两个拷贝过去就解决了上面的问题
            拷贝hadoop.dll和winutils.exe至{hadoop_home}\bin(参照2 1)位置);

         3) 新建工作空间hadoop(如果改不了工作空间,在开一个eclipse把钩选去掉)
       2.重启eclise;
         Eclipse中配置JDK, 一般情况我们不使用eclipse自带的jdk,需要用我们自己的jdk
         1)windows-->prefeneces-->Java-->Installed JREs-->Add(找到自己安装JDK路径)
           -->选中JDK,将jre勾选去掉
         2) Java --> Compiler 选中1.8
         3)windows-->show View --> Java -->(javadoc,jUnit)
         4)在linux下开启集群服务 start-all.sh
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值