Windows+IDEA本地调试Apache Kylin3.1.0源码调试-Coordinator(简单易操作版)

最新推荐文章于 2022-07-07 11:28:24 发布

置顶 shtdayu

最新推荐文章于 2022-07-07 11:28:24 发布

阅读量720

点赞数

分类专栏： kylin 文章标签： kylin

本文链接：https://blog.csdn.net/shtdayu/article/details/107670480

版权

kylin 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

Windows+IDEA 本地调试Kylin3.1.0源码-Coordinator

写在前面:依赖环境

Windows7 旗舰版

IntelliJ IDEA 2018.3.6 x64

Java version "1.8.0_71"

Scala version 2.11.12

Hadoop version hadoop-3.0.2

Spark version 2.4.5

CHD 6.0.1

Kylin src 3.1.0

Maven 3.3.9

Git version 2.14.1.windows.1

Nodejs version 6.9.0

Bower version 1.8.8

结果呈现:在IDEA中启动了Kylin3.1.0 coordinator+ Streaming Receiver

step1下载源码,下载JS

1.下载源码到本地并解压到指定目录

https://github.com/apache/kylin/archive/kylin-3.1.0.zip

https://github.com/apache/kylin/archive/kylin-3.1.0.zip(cdh57)

https://github.com/apache/kylin/archive/kylin-master-hadoop3(cdh60)

kylin 源码导入 master-hadoop3(chd6)

需要注意修改:kylin_home/pom.xml

## 把tomcat 改成7.0.100(tomcat7),tomcat8报jar包找不到异常

<tomcat.version>7.0.100</tomcat.version>

## 将opensaml 2.6.6 改成2.6.4

<opensaml.version>2.6.4</opensaml.version>

## DebugTomcat 中的

kylin-master-hadoop3\server\src\main\java\org\apache\kylin\rest\DebugTomcat.jar

入:D:\SowftwareSetup\IT\devtools\src\kylin-kylin-3.1.0

2.Kylin-3.1.0/kylin-master-hadoop3编译(下面流程注意Kylin-3.1.0/kylin-master-hadoop3)

注意:源码的版本

mvn clean install -DskipTests

3.拷贝文件夹

拷贝 kylin-kylin-3.1.0/server/src/main/webapp/WEB-INF 到

kylin-kylin-3.1.0/webapp/app/WEB-INF

4.进入kylin-kylin-3.1.0/webapp/,为 Kylin web GUI 下载 JS

**1 安装bower

npm install -g bower

(bower默认路径为C:\Users\Administrator\AppData\Roaming\npm\bower)

**2 下载JS

bower --allow-root install(windows 改命名如果不能直接使用)

则使用bower根路径:

C:\Users\Administrator\AppData\Roaming\npm\bower --allow-root install

**3 如果下载过程提示以下异常:

bower angular#1.2.18 Failed to execute "git ls-remote --tags --heads https://github.com/angular/bower-angular.git", exit code of #128 fatal: unable to access 'https

://github.com/angular/bower-angular.git/': Send failure: Connection was reset

解决:

git config --global url."git://".insteadOf https://

**4 重新执行 2 下载即可

step2 将源码导入IDEA

写在前面:有些jar包下载不了

需要在Maven中配置kylingence Repostries

https://repository.kyligence.io/repository/maven-public/

**1 File->New->Project from Existing Sources

**2 选择项目后选择Maven 导入

Maven导入前要选择cdh60 或者其它集群版本信息

**3 IDEA版本及注意事项

在 IDE，运行 org.apache.kylin.rest.DebugTomcat。将工作目录设置为 /server 文件夹，使用 “kylin-server” 的 classpath。在运行之前，请在IDE安装Scala插件，以保证能够编译spark代码。对于 IntelliJ IDEA 2017 或之前的用户，需要修改 “server/kylin-server.iml” 文件，将所有的 “PROVIDED” 替换为 “COMPILE”；对于 IntelliJ IDEA 2018 用户，请勾选 “Include dependencies with ‘Provided’ scope”，否则可能会抛出 “java.lang.NoClassDefFoundError: org/apache/catalina/LifecycleListener” 错误。

** 4 修改 kylin-kylin-3.1.0\exampleskylin.properties

D:\SowftwareSetup\IT\devtools\src\kylin-kylin-3.1.0\examples\test_case_data\sandbox\kylin.properties

kylin.env.zookeeper-connect-string=bd135:2181,bd136:2181,bd137:2181,bd138:2181,bd139:2181

***5 替换hive,hdfs,yarn,hbase 等xml文件

将sandbox 的配置文件替换

D:\SowftwareSetup\IT\devtools\src\kylin-kylin-3.1.0\examples\test_case_data\sandbox

** 6配置运行主类

Edit Configurations 配置运行主类

D:\SowftwareSetup\IT\devtools\src\kylin-kylin-3.1.0\server\src\main\java\org\apache\kylin\rest\DebugTomcat.jar

**7 配置IDEA VM 和 working directory

***VM

-Dhdp.version=2.4.0.0-169 -DSPARK_HOME=D:\SowftwareSetup\IT\plugins\spark-2.4.5-bin-hadoop2.7 -Dkylin.hadoop.conf.dir=D:\SowftwareSetup\IT\devtools\src\kylin-kylin-3.1.0\examples\test_case_data\sandbox -DKYLIN_CONF=D:\SowftwareSetup\IT\devtools\src\kylin-kylin-3.1.0\examples\test_case_data\sandbox -Xms800m -Xmx800m -XX:PermSize=64M -XX:MaxNewSize=256m

***working directory

D:\SowftwareSetup\IT\devtools\src\kylin-kylin-3.1.0\server

***勾选include dependencies