手动编译完Exchangeis 的exchangis-service服务无法启动

系统环境

  • OS version:CentOS Linux release 7.7.1908
  • JDK version:1.8.0_181
  • 已经编译好的wedatasphere-exchangis-0.5.0.RELEASE

故障现象

现象1:

[root@master02 bin]# sh exchangis-service.sh start
2021-02-08 14:56:56.336 [INFO] (52057) load environment variables
2021-02-08 14:56:56.701 [INFO] (52057) /usr/java/jdk1.8.0_181-cloudera/bin/java
2021-02-08 14:56:56.704 [INFO] (52057) Waiting EXCHANGIS-SERVICE to start complete ...
2021-02-08 14:56:56.964 [INFO] (52057) EXCHANGIS-SERVICE start success
[root@master02 bin]# jps|grep -i ServiceApplication
[root@master02 bin]#

使用启动脚本启动,显示启动成功,但很快进程就退出,无任何错误显示,各种调整配置均不能成功启动。

研究启动脚本exchangis-service.sh后,摘取启动的java命令,触发现象2

现象2:
执行如下命令:

java -Xms2g -Xmx2g -XX:+HeapDumpOnOutOfMemoryError -Dfile.encoding=UTF-8  -Dserver.port=9504 -Ddata.path=/data2/app/wedatasphere-exchangis-0.5.0.RELEASE/modules/exchangis-service/data -XX:HeapDumpPath=/data2/app/wedatasphere-exchangis-0.5.0.RELEASE/modules/exchangis-service/logs -Dlog.path=/data2/app/wedatasphere-exchangis-0.5.0.RELEASE/modules/exchangis-service/logs -Dlogging.config=/data2/app/wedatasphere-exchangis-0.5.0.RELEASE/modules/exchangis-service/conf/logback.xml -classpath /data2/app/wedatasphere-exchangis-0.5.0.RELEASE/modules/exchangis-service/lib/*:/data2/app/wedatasphere-exchangis-0.5.0.RELEASE/modules/exchangis-service/conf:. com.webank.wedatasphere.exchangis.ServiceApplication
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/data2/app/wedatasphere-exchangis-0.5.0.RELEASE/modules/exchangis-service/lib/log4j-slf4j-impl
-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/data2/app/wedatasphere-exchangis-0.5.0.RELEASE/modules/exchangis-service/lib/logback-classic-
1.2.3.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
**Exception in thread "main" java.lang.StackOverflowError**
	at java.util.concurrent.ConcurrentHashMap.get(ConcurrentHashMap.java:936)
	at org.apache.logging.log4j.spi.LoggerRegistry.getOrCreateInnerMap(LoggerRegistry.java:140)
	at org.apache.logging.log4j.spi.LoggerRegistry.hasLogger(LoggerRegistry.java:154)
	at org.apache.logging.slf4j.SLF4JLoggerContext.getLogger(SLF4JLoggerContext.java:38)
	at org.apache.logging.slf4j.Log4jLoggerFactory.newLogger(Log4jLoggerFactory.java:37)
	at org.apache.logging.slf4j.Log4jLoggerFactory.newLogger(Log4jLoggerFactory.java:29)
	at org.apache.logging.log4j.spi.AbstractLoggerAdapter.getLogger(AbstractLoggerAdapter.java:52)
	at org.apache.logging.slf4j.Log4jLoggerFactory.getLogger(Log4jLoggerFactory.java:29)
	at org.slf4j.LoggerFactory.getLogger(LoggerFactory.java:281)
	at org.apache.logging.slf4j.SLF4JLoggerContext.getLogger(SLF4JLoggerContext.java:39)
	at org.apache.logging.slf4j.Log4jLoggerFactory.newLogger(Log4jLoggerFactory.java:37)
	at org.apache.logging.slf4j.Log4jLoggerFactory.newLogger(Log4jLoggerFactory.java:29)
	at org.apache.logging.log4j.spi.AbstractLoggerAdapter.getLogger(AbstractLoggerAdapter.java:52)
	at org.apache.logging.slf4j.Log4jLoggerFactory.getLogger(Log4jLoggerFactory.java:29)
	at org.slf4j.LoggerFactory.getLogger(LoggerFactory.java:281)
	at org.apache.logging.slf4j.SLF4JLoggerContext.getLogger(SLF4JLoggerContext.java:39)
	at org.apache.logging.slf4j.Log4jLoggerFactory.newLogger(Log4jLoggerFactory.java:37)
	at org.apache.logging.slf4j.Log4jLoggerFactory.newLogger(Log4jLoggerFactory.java:29)
	at org.apache.logging.log4j.spi.AbstractLoggerAdapter.getLogger(AbstractLoggerAdapter.java:52)
	at org.apache.logging.slf4j.Log4jLoggerFactory.getLogger(Log4jLoggerFactory.java:29)

综合以上现象,初步怀疑是log4j和logback有冲突导致的循环依赖

解决方案

step1 :mv exchangis-service/lib下的log4j包至上一层级目录

mv log4j*.jar ../

step2: 重新执行启动脚本

[root@master02 bin]# ./exchangis-service.sh start
2021-02-08 15:27:59.776 [INFO] (62814) load environment variables
2021-02-08 15:28:00.137 [INFO] (62814) /usr/java/jdk1.8.0_181-cloudera/bin/java
2021-02-08 15:28:00.140 [INFO] (62814) Waiting EXCHANGIS-SERVICE to start complete ...
2021-02-08 15:28:00.395 [INFO] (62814) EXCHANGIS-SERVICE start success
[root@master02 bin]# jps|grep -i ServiceApplication
62988 ServiceApplication

总结

log4j相关包导致了循环依赖问题,最终触发StackOverflowError

Exchangis是微众银行开源的轻量级数据交换平台,用于数据在不同存储介质中快速传递,并解决数据交换过程中面临的复杂性、兼容性等问题。设计上采取微服务架构形态,上下层服务松耦合,易于进行个性化的,高拓展性的迭代开发。 Exchangis支持对结构化及无结构化的异构数据源之间的数据传输,在应用层上具有数据权限管控、节点服务高可用和多租户资源隔离等业务特性,而在数据层上又具有传输架构多样化、模块插件化和组件低耦合等架构特点。 Exchangis的传输交换能力依赖于其底层聚合的传输引擎,其顶层对各类数据源定义统一的参数模型,每种传输引擎对参数模型进行映射配置,转化为引擎的输入模型。每聚合一种引擎,都将增加Exchangis一类特性,对某类引擎的特性强化,都是对Exchangis特性的善。默认聚合以及强化Alibaba的DataX传输引擎。Exchangis特点: 1、数据源管理 以绑定项目的方式共享自己的数据源; 设置数据源对外权限,控制数据的流入和流出。 2、多传输引擎支持 传输引擎可横向扩展; 当前版本整聚合了离线批量引擎DataX、部分聚合了大数据批量导数引擎SQOOP 3、近实时任务管控 快速抓取传输任务日志以及传输速率等信息,实时关闭任务; 可根据带宽状况对任务进行动态限流 4、支持无结构化传输 DataX框架改造,单独构建二进制流快速通道,适用于无数据转换的纯数据同步场景。 5、任务状态自检 监控长时间运行的任务和状态异常任务,及时释放占用的资源并发出告警。
Exchangis是微众银行开源的轻量级数据交换平台,用于数据在不同存储介质中快速传递,并解决数据交换过程中面临的复杂性、兼容性等问题。设计上采取微服务架构形态,上下层服务松耦合,易于进行个性化的,高拓展性的迭代开发。 Exchangis支持对结构化及无结构化的异构数据源之间的数据传输,在应用层上具有数据权限管控、节点服务高可用和多租户资源隔离等业务特性,而在数据层上又具有传输架构多样化、模块插件化和组件低耦合等架构特点。 Exchangis的传输交换能力依赖于其底层聚合的传输引擎,其顶层对各类数据源定义统一的参数模型,每种传输引擎对参数模型进行映射配置,转化为引擎的输入模型。每聚合一种引擎,都将增加Exchangis一类特性,对某类引擎的特性强化,都是对Exchangis特性的善。默认聚合以及强化Alibaba的DataX传输引擎。 Exchangis特点: 1、数据源管理 以绑定项目的方式共享自己的数据源; 设置数据源对外权限,控制数据的流入和流出。 2、多传输引擎支持 传输引擎可横向扩展; 当前版本整聚合了离线批量引擎DataX、部分聚合了大数据批量导数引擎SQOOP 3、近实时任务管控 快速抓取传输任务日志以及传输速率等信息,实时关闭任务; 可根据带宽状况对任务进行动态限流 4、支持无结构化传输 DataX框架改造,单独构建二进制流快速通道,适用于无数据转换的纯数据同步场景。 5、任务状态自检 监控长时间运行的任务和状态异常任务,及时释放占用的资源并发出告警。
评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值