大数据
文章平均质量分 67
小支吾
这个作者很懒,什么都没留下…
展开
-
【数据采集】Canal_Admin 部署安装
部署安装 1.上传 cd /opt/resource rz 2.创建文件夹 mkdir /opt/software/canal_admin 3.解压 tar -zxvf /opt/resource/canal.admin-1.1.5.tar.gz -C /opt/software/canal_admin/ 4.配置 4.1.配置 canal_admin server: port: 8089 spring: jackson: date-format: yyyy-MM-dd HH:mm:s原创 2021-12-24 15:17:34 · 1184 阅读 · 0 评论 -
学习 : Spark数据倾斜
【大厂面试】大数据面试必问,Spark 数据倾斜 相关面试题 : 1.【京东】是否遇到过数据倾斜的问题,是如何解决的? 2.【淘宝】在Spark开发中做过哪些优化? 3.【美团】谈谈对广播变量的理解,如何使用,解决了什么问题? 数据倾斜 1.定义 : 数据倾斜指的是,并行处理海量数据过程中,某个或者某些分区的数据显著多余其他分区,从而使得该部分的处理速度成为整个数据集处理的瓶颈。 2.危害 2.1. 2.2. 2.3. 3.大数据处理步骤 4.为什么发生数据倾斜?/ 发生数据倾斜的原创 2021-06-29 17:12:30 · 135 阅读 · 0 评论