- 博客(2)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 解决spark streaming重复提交第三方jar包问题
背景：由于spark streaming每次提交都需要上传大量jar包到hdfs，为节约HDFS资源，现只存一份来解决这个问题组件：CDH 5.13 spark2.2.x针对cluster模式对于spark streaming而言，第三方jar包是一个值得探讨的问题，相信大部分都是打的源码包，然后提交jar，想通过–jars $(echo sparklib0.10/*.jar | t...
2018-09-29 20:17:13
912
原创 解决spark streaming长时间运行日志不断增长问题
解决spark streaming长时间运行日志不断增长问题一、spark streaming log 日志二、spark streaming event log组件：基于CDH5.13、spark2.2.X背景：由于spark streaming是7*24小时不间断运行的，日志必然会越来越多到最后大的惊人，在此小二记录一下解决日志越来越大的过程，以便需要之人。一、spark strea...
2018-09-29 19:53:25
5314
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人