hbase 1.3.2 源码 IDEA编译执行

最新推荐文章于 2020-03-17 09:19:37 发布

laughing1997

最新推荐文章于 2020-03-17 09:19:37 发布

阅读量2.2k

点赞数 5

分类专栏：大数据文章标签： hbase

本文链接：https://blog.csdn.net/laughing1997/article/details/104889569

版权

大数据专栏收录该内容

8 篇文章 0 订阅

订阅专栏

博客整体目录：

一、版本信息及环境准备

二、编译步骤

三、源码阅读，基本条件配备

四、遇到的一些问题记录

博客相对涉及的插件，下载的github地址（本人github）

https://github.com/tianhuage1997/HBase-source

本人自己编译好后，编译的hbase1.3.2的源码，能跑起来，不过xml文件配置，可以看我博文，哪里要修改

https://github.com/tianhuage1997/hbase-1.3.2

前言：

最近一直在研究hbase源码，一直心心念念要把hbase源码在idea上面跑起来。方便自己调试查看，而且好好研究里面的测试用例，因为一直只是看hbasefsck这块源码，以及创建表等等。想再具体执行。
期间编译源码，遇到不少坑。时间关系，不能一一阐述。
总结性说几句：

大数据的组件源码，maven或者构建项目的骨架软件版本非常重要。尽量选择版本旧，稳定版的。别用最新。本人亲测，从maven 3.0.5-3.6.4，一些版本出来的错误，简直烦恼死人。
编译如果需要linux环境，尽量选择原生的linux环境，cgywin等等这些。还是不如原生linux好。相对坑比较少。
编译执行的时候，要注意一些配置文件。适当修改项目，保证读取到，能正常执行。

----------------------------一、版本信息及环境准备 --分割线开始---------------------------------------------------

编译版本：apache-hbase-1.3.2。

编译版本及软件环境(apache-hbase-1.3.2)：

本身自己工作看得是1.3.1.奈何有一个问题。详情查看如下链接

https://issues.apache.org/jira/browse/HBASE-19188

大意就是maven3.5.2以上会有问题。其实我试了3.0.5.也不能一次成功，也搞了2次。
hbase 1.3.2的下载地址

https://archive.apache.org/dist/hbase/1.3.2/

1、maven 3.3.9
2、centos 6.5 64位
在这里插入图片描述
3、IDEA 2018.2版本
4、jdk1.8版本
5、apache-hbase-1.3.2

环境准备步骤：

1、在linux部署好maven环境变量。

mvn -version

在这里插入图片描述

2、配置好maven镜像。这里首推maven的mvn网站

https://mvnrepository.com/
基本都有。最好挂vpn代理。我是挂载香港代理。
一些实在没有的jar。找到了jar。可以手动添加进去仓库。命令如下：
下面以手动添加oracle的jar为例子，因为版权问题，很多仓库没有

mvn install:install-file -Dfile=ojdbc8.jar -DgroupId=com.oracle -DartifactId=ojdbc8 -Dversion=12.2.0.1 -Dpackaging=jar

在这里插入图片描述

3、IDEA设置好构建的选项，

因为很多官方源码，在pom做了maven仓库指定。就算配置maven，在编译下载jar的时候，会冲掉你maven的配置。如下图，注意红色位置
在这里插入图片描述

4、maven的设置

maven我的仓库设置，是阿里云作为主仓库，第二仓库选择apache的官方仓库。方便下载，下面把我maven的setting配置贴出来。

<?xml version="1.0" encoding="UTF-8"?>
<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">

    <!-- Maven配置profiles同时使用多个镜像仓库-鹞之神乐 https://www.kagura.me/dev/20181005145043.html -->

    <!--注意：mirrorOf千万别为*，建议为profile的id-->
    <mirrors>
        <mirror>
            <id>aliyun-nexus</id>
            <name>aliyun-nexus</name>
            <mirrorOf>aliyun</mirrorOf>
            <url>http://maven.aliyun.com/nexus/content/groups/public</url>
        </mirror>
        <mirror>
            <id>cloudera-repo</id>
            <name>cloudera-repo</name>
            <mirrorOf>cloudera</mirrorOf>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </mirror>
        <mirror>
            <id>repo1-maven2</id>
            <name>repo1-maven2</name>
            <mirrorOf>repo1</mirrorOf>
            <url>https://repo1.maven.org/maven2/</url>
        </mirror>
    </mirrors>

    <profiles>

        <profile>
            <id>aliyun</id>
            <repositories>
                <repository>
                    <id>aliyun-nexus</id>
                    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </repository>
            </repositories>
            <pluginRepositories>
                <pluginRepository>
                    <id>aliyun-nexus</id>
                    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </pluginRepository>
            </pluginRepositories>
        </profile>

        <profile>
            <id>cloudera</id>
            <repositories>
                <repository>
                    <id>cloudera-repo</id>
                    <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </repository>
            </repositories>
            <pluginRepositories>
                <pluginRepository>
                    <id>cloudera-repo</id>
                    <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </pluginRepository>
            </pluginRepositories>
        </profile>

        <profile>
            <id>repo1</id>
            <repositories>
                <repository>
                    <id>repo1-maven2</id>
                    <url>https://repo1.maven.org/maven2/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </repository>
            </repositories>
            <pluginRepositories>
                <pluginRepository>
                    <id>repo1-maven2</id>
                    <url>https://repo1.maven.org/maven2/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </pluginRepository>
            </pluginRepositories>
        </profile>

        <profile>
            <id>jdk1.8</id>
            <activation>
                <activeByDefault>true</activeByDefault>
                <jdk>1.8</jdk>
            </activation>
            <properties>
                <maven.compiler.source>1.8</maven.compiler.source>
                <maven.compiler.target>1.8</maven.compiler.target>
                <maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>
            </properties>
        </profile>
    </profiles>

    <!--设置默认配置文件-->
    <activeProfiles>
        <activeProfile>aliyun</activeProfile>
    </activeProfiles>

</settings>

-----------------------------一、版本信息及环境准备–分割线结束---------------------------------------------------

二、编译步骤：

1、在linux下，解压源码，解压和编译命令如下，编译命令是遵照官方文档的指示来做

tar -zxvf hbase-1.3.2-src.tar.gz
mvn clean compile  package -DskipTests

最好挂载代理，阿里云很多jar没有。警告可以忽略，只要不是error级别。如果失败，注意一下maven仓库，是不是一些jar下载出错。

在这里插入图片描述

2、从linux拷贝编译后的源码，导入进去IDEA

其中有个jar问题。如下图

在这里插入图片描述
出错，这个不影响后期hbase的源码执行。它是测试类。后期我文章完成这个测试类问题，再更新。
就可以执行，但是没有日志问题。
根据截图，去hbase 1.3.2的conf目录拷贝log4j配置文件，拷贝到habse-server的resources。
需要注意把 hbase-server 这个模块增加一个resources 的文件夹再增加一个log4j.properties 并把 resources 文件夹设置为资源
在这里插入图片描述

3、修改hbase-default.xml文件。在hbase-common项目的resources里面

在这里插入图片描述修改如下参数，设置为自己windows下面的路径，比如D：//resouce/hbase-1.3.2/data,具体命名，自己随意。

  <property >
    <name>hbase.rootdir</name>
    <value>${hbase.tmp.dir}/hbase（自己电脑文件夹）</value>
  </property>
   <property >
    <name>hbase.tmp.dir</name>
    <value>${java.io.tmpdir}/hbase-${user.name}（自己电脑文件夹）</value>
  </property>
   <property >
    <name>hbase.zookeeper.quorum</name>
    <value>localhost或者127.0.0.1</value>
    </property>
     <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>D:\resource\hbase\zookeeper（自己电脑文件夹）</value>
  </property>
  <property >
    <name>hbase.cluster.distributed</name>
    <value>false</value>
  </property>

当然，还有一些参数。不过这几个比较关键。其他你们自行摸索。

4、最后，执行Hmaster方法。 hbase源码执行成功。

窗口输入
localhost:16010就可以。
在这里插入图片描述
最后，这个只是跑起来。可是源码里面还有一些测试类，无法完全跑起来。请看第四点，如何构造完整的源码阅读环境

三、源码阅读，基本条件的配备

此次是源码阅读的进阶

为什么源码跑起来还需要配置hadoop环境。这里涉及到hbase源码，有一个非常有意思的类
HBaseTestingUtility
这里重要事情说三次。注意注意注意
因为，测试hbase的功能,不一定非要启动hbase集群,可以用HBaseTestingUtility在本地进行hbase的部分功能调试。里面封装了小型的zk集群，还有hadoop的组件调用。

为了表达一下为什么测试类在源码里面如此重要。下面我举一下例子：
1、hbase的不同场景问题，故障模拟以及重现
以下是hbase-server项目下的test类
里面就模拟了hbase的meta表，如果被删除，出现了zk，hbase的meta，hdfs不匹配的一致性问题，如何去修复。里面就是会用到HBaseTestingUtility测试类。
在这里插入图片描述

基于hbase依赖的hadoop，编译对应的windows 32/64位插件

其中，这里引用一个博主的hadoop编译教程，这个博主条理清晰，可以基于这里去做编译

Windows 源码编译Hadoop 2.7.4生成X64
https://blog.csdn.net/weixin_39158271/article/details/78722648

官方下载此次对应的hadoop2.5.1版本hadoop包。

由于我发现hadoop2.7.1也可以适用hbase1.3.2的源码执行，所以，我下面采用hadoop 2. 7.1的windows 64。具体文件在github上
https://github.com/tianhuage1997/HBase-source
1、解压对应的hadoop安装包在电脑对应目录
在这里插入图片描述
2、将得到的winutils.exe文件，放在对应的bin目录下
3、对windows的环境变量进行设置
分别新建HADOOP_HOME目录，以及新增PATH里面的信息，详情看截图

然后重启电脑，环境变量生效。（有些电脑不需要）
配置完成后，cmd窗口，输入如下命令检查环境

hadoop version

在这里插入图片描述

最后，可以随便找个基于hbase的功能性测试，集群测试的类看看是否生效
我这里找对应的类例子

D:\resource\hbase-1.3.2\hbase-server\src\test\
java\org\apache\hadoop\hbase\util\hbck\TestOfflineMetaRebuildBase.java

执行完成
在这里插入图片描述

四、遇到的一些问题记录

1、在IDEA，如下类异常。因为IDEA默认不支持单个文件2.5M的java文件

读者反映在hbase-1.3.2\hbase-client\src\test\java\org\apache\hadoop\hbase\client\TestSnapshotFromAdmin.java里面，代码虽然能执行，但是IDEA显示红色问题
在这里插入图片描述这个问题是因为IDEA不支持2.5MB以上的单个java。因为IDEA会默认认为超过单文件容量2.5MB的文件不是java文件，会不检查
解决办法如下：
打开idea的help->edit custom properties
创建一个idea.properties,追加：idea.max.intellisense.filesize=9999
在这里插入图片描述
然后重启idea即可，如下，问题解决。

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (generate) on project hbase-common: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program "bash" (in directory "D:\idea_workspace\hbase-1.3.6\hbase-common"): CreateProcess error=2, 系统找不到指定的文件。 -> [Help 1]
[ERROR]

[ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (run-createArchetypes-script) on project hbase-archetype-builder: Command execution failed. Process exited with an error: 1 (Exit value: 1) -> [Help 1]

下次更新hbase-shell窗口的执行。文章还是很多没涉及，时间问题。有空再写。但是hmaster已经可以。先用api执行对应功能，跑用例。源码阅读环境已经具备。等完整的全部解决，我博客再更新。后期会写一些hbase的源码文章

最后，附上之前踩坑遇到一些问题代码。基本都是兼容性问题，环境问题太多了。所以文章的很多篇幅在说环境等等。

laughing1997

关注

5
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
hbase 1.3.2 源码 IDEA编译执行

最近一直在研究hbase源码，一直心心念念要把hbase源码在idea上面跑起来。方便自己调试查看，而且好好研究里面的测试用例，因为一直只是看hbasefsck这块源码，以及创建表等等。想再具体执行。期间编译源码，遇到不少坑。时间关系，不能一一阐述。总结性说几句：1、大数据的组件源码，maven或者构建项目的骨架软件版本非常重要。尽量选择版本旧，稳定版的。别用最新。本人亲测，从maven 3...
复制链接

扫一扫