HBase整合MR本地IDEA运行
HBase整合MR本地IDEA运行
需求
MR程序调用HBase里的数据,不想打jar包放上集群跑,想在本地IDEA运行
笔者配置
Hadoop3.1.3+HBase2.2.2
##解决
找了很多博客都没找到解决办法,最后在一个视频里学到了,就记录下来。
步骤一
在resources资源目录下添加hbase-site.xml,这个是你自己集群里的HBase的配置文件\
步骤二
Maven导入依赖, 下载失败的可以尝试用阿里镜像
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-auth</artifactId>
<version>3.1.3</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>2.2.2</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-server</artifactId>
<version>2.2.2</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-mapreduce</artifactId>
<version>2.2.2</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.30</version>
</dependency>
</dependencies>