Spark
大数据小蜗牛
大家好,我是大数据小蜗牛,博主会不定期在博客上更新在大数据开发的过程中遇到的问题以及解决方案,大家喜欢的话点击关注哦!!!
展开
-
关于Spark的问题
后续会持续补充1、spark2.0以后,spark的yarn-cluster的提交方式被遗弃原创 2018-12-29 10:00:36 · 97 阅读 · 0 评论 -
cdh5.x版本将spark1.6升级为spark2之后,hue执行spark2报错问题
Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, Library directory '/*/hue/appcache/application_1547098367136_0236/container_e32_1547098367136_02...原创 2019-01-10 16:36:57 · 647 阅读 · 0 评论 -
关于spark跟es的版本兼容问题
刚开始用spark1.6跟es6.5.4结合,发现版本不兼容,经本人测试以及查询资料,es5之前支持spark1.x,es5之后支持spark2.x原创 2019-01-10 18:23:46 · 1721 阅读 · 0 评论 -
关于 structuredstreaming消费kafka中的异常汇总
本人的spark是2.2.4的,kafka是0.10的,遇到了以下问题,后续会持续更新1、Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, Failed to find data source: kafka. Please find pac...原创 2019-01-11 18:18:12 · 1613 阅读 · 6 评论 -
关于structured streaming和flink中的watermark理解
structured streaming和flink中的watermark指的是一个意思,顾名思义,就是提高数据的水位线,下面以structured streaming为例,说说小编对watermark的理解1、如图所示,代表着每隔五分钟处理过去十分钟的数据,即窗口长度是十分钟,滑动间隔是五分钟,watermark的值是十分钟2、如图中,12:15~12:20这个batch获取的数据共...原创 2019-01-16 11:49:21 · 794 阅读 · 0 评论 -
spark2.2 批量往es7.1.1中插入数据的时候问题
报的错为:Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, org.elasticsearch.spark.deploy.yarn.security.EsServiceCredentialProvider.credentialsRequir...原创 2019-09-05 18:22:02 · 1318 阅读 · 0 评论