![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
妖果yaoyao
努力让今天美好
展开
-
spark向es写入时间类型的数据报错is too short
问题如题,且es存储的时间字段的类型为DATETIME类型解决办法sparksql或者其他办法格式化一下时间为”.0“的就行date_format(s_last_updatetime,'yyyy-MM-dd HH:mm:ss.0') as s_last_updatetime原创 2021-11-11 09:36:42 · 1510 阅读 · 0 评论 -
记一次springboot调用sparkLauncher连接不上yarn ResourceManager的问题
web任务启动后,代码开始调用sparkLauncher启动事先编译好的jar,但是会发现作业一直不启动,一直在retry ResourceManager13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:803213/12/14 20:12:07 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Alread.原创 2021-04-29 10:24:49 · 2815 阅读 · 0 评论 -
spark,以yarn-cluster模式提交作业,作业总是执行两次。
原因在于System.exit(0)的不正常应用,导致在以yarn-cluster模式提交时。cluster模式不支持shell,所以当执行到System.exit(0),程序开始报错,然后集群会按照yarn设定好的AM重启次数(在CDH的yarn配置板块中搜索application即可看到次数设置),重新运行,而且如果程序没有错的话,结果就没有错,这样就很难发现错误了。object App...原创 2019-08-05 22:53:52 · 1015 阅读 · 3 评论 -
yarn-client与yarn-cluster模式的区别
转载 2019-08-05 22:56:32 · 202 阅读 · 0 评论 -
Scala版3des加密算法,用来实现对数据库配置文件的用户名密码加密。
Scala版3des加密算法,用来实现对数据库配置文件的用户名密码加密。资源链接后续释放原创 2019-08-20 17:21:02 · 392 阅读 · 0 评论