hadoop离线阶段(第八节—1)通过JavaAPI操作hdfs

JavaAPI操作hdfs的maven项目创建对于hadoop的maven依赖坐标,最好到CDH5.14.X maven坐标库找,这是cloudera整理出来的坐标库,是针对CDH版本的hadoop的,而https://mvnrepository.com/的上的Hadoop的maven坐标是针对apache版本。以下是本实验创建maven的pom.xml:<!-- 指定远程仓库,保证依赖都来自cloudera --><repositories> <reposit
摘要由CSDN通过智能技术生成

JavaAPI操作hdfs的maven项目创建

对于hadoop的maven依赖坐标,最好到CDH5.14.X maven坐标库找,这是cloudera整理出来的坐标库,是针对CDH版本的hadoop的,而https://mvnrepository.com/的上的Hadoop的maven坐标是针对apache版本。
以下是本实验创建maven的pom.xml:

<!-- 指定远程仓库,保证依赖都来自cloudera -->
<repositories>
    <repository>
        <id>cloudera</id>
        <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
</repositories>

<!-- 添加依赖 -->
<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.6.0-mr1-cdh5.14.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.6.0-cdh5.14.0</version>
    </dependency>
   
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.6.0-cdh5.14.0</version>
    </dependency>


    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.6.0-cdh5.14.0</version>
    </dependency>

    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.11</version>
        <scope>test</scope>
    </dependency>

    <dependency>
        <groupId>org.testng</groupId>
        <artifactId>testng</artifactId>
        <version>6.14.3</version>
        <scope>test</scope>
    </dependency>
</dependencies>

<!-- 添加插件 -->
<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值