windows下maven环境开发hadoop mapreduce程序报Cannot initialize Cluster

环境:windows 、idea 、maven、hadoop2.8.0

今天开发hadoop mapreduce程序时,想直接用main方法运行,报如下错误:


Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
	at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:143)
	at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:108)
	at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:101)
	at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1311)
	at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1307)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:415)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1807)
	at org.apache.hadoop.mapreduce.Job.connect(Job.java:1307)
	at org.apache.hadoop.mapreduce.Job.submit(Job.java:1335)
	at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1359)
	at com.cn.test.mapreduce.WordCountDebugRunner.main(WordCountDebugRunner.java:48)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:601)
	at com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)

网上看了一些博客,都是说加

<dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-common</artifactId>
            <version>2.8.1</version>
</dependency>

结果加了还是报错,然后看了一些写如何写mapreduce程序的博客,发现要引入

<dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
            <version>2.8.1</version>
</dependency>


然后就可以了

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
1. 配置mapreduce程序可访问操作hbase的hadoop环境: 要配置mapreduce程序以访问操作HBase的Hadoop环境,需要执行以下步骤: 1)安装和配置Hadoop和HBase:首先,需要正确安装和配置Hadoop和HBase,以确保它们正常启动并可以相互通信。 2)引入Hadoop和HBase依赖项:在mapreduce程序的pom.xml(如果使用Maven构建)或build.gradle文件中,需要将Hadoop和HBase的依赖项添加为项目的依赖项。 3)编写mapreduce程序:在mapreduce程序中,需要使用HBase提供的Java API来读取和写入HBase表。 4)设置Hadoop和HBase的配置:在程序中,需要使用Hadoop的Configuration类和HBase的HbaseConfiguration类来设置Hadoop和HBase的配置信息,如HBase的ZooKeeper地址、Hadoop的文件系统等。 5)编写mapreduce程序的输入和输出格式:在mapreduce程序中,需要指定输入数据的格式(如TextInputFormat)和输出数据的格式(如TableOutputFormat)。 6)配置HBase的输入和输出表:在程序中,需要使用HBase的TableMapReduceUtil类来设置输入和输出表的信息,包括表的名称、列族等。 7)运行mapreduce程序:将编译后的mapreduce程序提交到Hadoop集群上以运行,程序将访问和操作HBase的数据。 2. HBase mapreduce程序设计: 设计HBase mapreduce程序需要考虑以下几个方面: 1)Mapper类的实现:需要自定义Mapper类,继承自Hadoop的Mapper类,并重写map方法。在map方法中,可以根据需求读取HBase表中的数据,并将结果输出为键值对形式。 2)Reducer类的实现:需要自定义Reducer类,继承自Hadoop的Reducer类,并重写reduce方法。在reduce方法中,可以对Mapper输出的键值对进行处理,并将结果写入HBase表中。 3)输入和输出格式的设置:可以使用Hadoop提供的TextInputFormat等格式类来设置程序的输入数据格式。对于输出,可以使用HBase提供的TableOutputFormat类将结果写入HBase表中。 4)配置程序的输入和输出表:可以使用HBase的TableMapReduceUtil类来设置程序的输入表和输出表的信息,包括表的名称、列族等。 5)程序的参数设置:可以使用Hadoop的Configuration类来设置程序的参数,如HBase的ZooKeeper地址、Hadoop的文件系统等。 6)运行程序:将编译后的mapreduce程序提交到Hadoop集群上以运行,程序将按照设定的逻辑读取HBase表中的数据并进行处理,并将结果写入HBase表中。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值