- 博客(2)
- 收藏
- 关注
RSS订阅原创 Spark——Java代码同python代码交互（Java端代码）
一、同Python整体交互逻辑 如下图所示， 1、Java执行器节点获取数据后，保存至HDFS系统中，并通过kafka发送消息到python端，告知其HDFS地址及相关参数信息。 2、Python端在获取消息后，执行算法，将算法结果保存至新的HDFS地址下，并返回成功标识、报错信息与相关参数信息。 二、Java端源码解析 ...
2019-04-19 10:02:36
1250
原创 如何解决springboot整合spark日志打印级别问题？
一、由于项目中使用到了springboot框架，会导致springboot中的slf4j和spark中的log4j日志组件冲突，springboot推荐使用slf4j+logback的模式来记录日志，logback比log4j更快的实现、更完善的配置，因此： 1、pom文件中去除依赖了log4j的jar包。这一步不做也可以但是会导致，slf4j同时logback和log4j，产生冲突。 <...
2019-04-19 09:34:17
681
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人