spark
文章平均质量分 81
*星星之火*
从菜鸟到专家,陪同大家一起成长
展开
-
实践数据湖iceberg 第二十一课 flink1.13.5 + iceberg0.131 CDC(测试成功INSERT,变更操作失败)
实践数据湖icerberg专栏本专栏记录iceberg菜鸟到专家的过程,记录踩坑,填坑,iceberg特征的了解与原理的认知原创 2022-02-22 19:30:46 · 2589 阅读 · 0 评论 -
实践数据湖iceberg 第二十课 flink + iceberg CDC场景(版本问题,测试失败)
实践数据湖icerberg专栏本专栏记录iceberg菜鸟到专家的过程,记录踩坑,填坑,iceberg特征的了解与原理的认知原创 2022-02-18 16:22:14 · 3366 阅读 · 0 评论 -
实践数据湖iceberg 第十七课 hadoop2.7,spark3 on yarn运行iceberg配置
系列文章目录实践数据湖iceberg 第一课 入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课 在sqlclient中,以sql方式从kafka读数据到iceberg实践数据湖iceberg 第四课 在sqlclient中,以sql方式从kafka读数据到iceberg(升级版本到flink1.12.7)实践数据湖iceberg 第五课 hive catalog特点实践数据湖iceberg 第六课 从kafka写入到iceber原创 2022-02-15 16:46:23 · 1397 阅读 · 0 评论 -
实践数据湖iceberg 第十六课 通过spark3打开iceberg的认知之门
实践数据湖icerberg专栏本专栏记录iceberg菜鸟到专家的过程,记录踩坑,填坑,iceberg特征的了解与原理的认知原创 2022-02-14 14:56:52 · 2009 阅读 · 0 评论 -
spark core dump问题分析
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档spark core dump问题分析spark 程序 出现吐核 core dump报错一、报错信息二、分析思路1.想确定什么是core dump,什么是吐核2.问题分析思路总结spark 程序 出现吐核 core dump报错一、报错信息driver日志: 报错吐核挂掉的executor日志nodeManager日志:(报错,吐核)![请添加图片描述](https://img-blog.csdnimg.cn/8e82450d原创 2021-09-27 19:49:15 · 938 阅读 · 0 评论 -
spark源码bug fix: Block broadcast_465 not found
spark源码bug fix: Block broadcast_465 not found前言一、spark源码bug fix: Block broadcast_465 not found二、问题描述2.问题分析总结前言使用spark一、spark源码bug fix: Block broadcast_465 not found示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。二、问题描述21/08/25 20:26:18 ERROR spark.TaskCo原创 2021-08-26 13:50:47 · 856 阅读 · 2 评论 -
spark任务一直卡住,问题分析、解决
项目场景:spark运行中,job一直在执行中,运行过程中会有hdfs, db的交互问题描述:有个同学跟我反映问题,spark运行中,job一直在执行中,executor,driver都在跑,没有任何异常, 正常是很快跑完,但跑10min都动不动,很奇怪,让我帮忙看看原因分析:碰到问题,处理问题思路:1.先确定driver,executor是否正常,从页面看,是正常2.看看任务在做什么,看看executor的task在干忙什么,通过executor tab把正常运行任务的task对应e原创 2021-04-08 20:17:51 · 8198 阅读 · 2 评论 -
spark ui job和stage的dag图查看过去运行的任务,查不到,分析源码解决问题
项目场景:使用用2.x跑任务,产看耗时的spark job, stage,发现job和stage的dag信息缺失问题描述:sparkUI 显示dag信息缺失问题: 使用用2.x跑任务,查看spark 性能问题,从spark ui选择出最耗时的任务,进去查看,有一个任务有100多个job, 有几百个stage,程序跑完看前面 job和stage的dag图,提示没有了按照UI提示,提高这两个值,发现一点用都没有,而且这两个值也没有超过spark的默认值1000,奇怪,怀疑是否spark ui提示错误信息原创 2021-04-05 15:05:07 · 1357 阅读 · 0 评论