基于Hortonworks shc使用spark2.2.1操作hbase 2.0.0(编译)

基于Hortonworks shc使用spark2.2.1操作hbase 2.0.0(编译)

网上看了很多对于shc的编译文章，但是始终没法编译成功，自己测试了很多次，最终搞定了，这也是我眼拙的原因，其实人家都把执行的命令写的清清楚楚的

• 源码下载
  记得需要选择对应的版本，v1.1.2 版本是基于hbase1.1.2开发的，如果自己的系统版本是hbase2.x的请选择v1.1.3

编译源码包

1. 解压
2. 修改pom文件，修改自己对应的版本
   
   

编译源码

在这里要说明一下，其实人家在pom里面说明需要执行的命令，但是之前看github上说的说明和一些blog的都是使用的mvn install -DskipTests，但是这种方式的执行一直是失败的在这里我是根据自己Hadoop版本去做的编译
mvn -e -T1C -Phbase,hadoop-2.7 -Dhadoop.version=2.7.3 -DskipTests clean package install
需要注意的一点是，因为这个hortonworks开源的工具，官方建议使用http://repo.hortonworks.com/content/groups/public/这个仓库来构建，但是经过测试，其实这里使用国内的镜像也是完全可以的，我编译的时候使用的是aliyun镜像
编译成功后，会将编译好的jar包安装在本地的maven仓库，如下
在编译的过程中失败了几次，出现了Caused by: java.lang.OutOfMemoryError: PermGen space这样的错误
设置了如下参数，但是依旧未能成功
export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"
然后检查了自己的jdk版本，发现我的jdk版本是1.7.x的，所以尝试这升级了jdk版本到1.8.0_182，编译成功
注：
1.关于shc的一些使用，我直接整理了几个小demo，放在gitee上面了，有兴趣的可以直接查看
2.自己编译好的jar包可上传到自己的nexus，方便后续的使用
``