spark
SmallSunL
荷锄头而出,日落而夕,闲时码字,有友时饮酒谈天,不知老之将至!
展开
-
如何解决springboot整合spark日志打印级别问题?
一、由于项目中使用到了springboot框架,会导致springboot中的slf4j和spark中的log4j日志组件冲突,springboot推荐使用slf4j+logback的模式来记录日志,logback比log4j更快的实现、更完善的配置,因此: 1、pom文件中去除依赖了log4j的jar包。这一步不做也可以但是会导致,slf4j同时logback和log4j,产生冲突。 <...原创 2019-04-19 09:34:17 · 681 阅读 · 0 评论 -
Spark——Java代码同python代码交互(Java端代码)
一、同Python整体交互逻辑 如下图所示, 1、Java执行器节点获取数据后,保存至HDFS系统中,并通过kafka发送消息到python端,告知其HDFS地址及相关参数信息。 2、Python端在获取消息后,执行算法,将算法结果保存至新的HDFS地址下,并返回成功标识、报错信息与相关参数信息。 二、Java端源码解析 ...原创 2019-04-19 10:02:36 · 1250 阅读 · 0 评论