- 博客(2)
- 收藏
- 关注
RSS订阅原创 【数据采集】Canal_Admin 部署安装
部署安装 1.上传 cd /opt/resource rz 2.创建文件夹 mkdir /opt/software/canal_admin 3.解压 tar -zxvf /opt/resource/canal.admin-1.1.5.tar.gz -C /opt/software/canal_admin/ 4.配置 4.1.配置 canal_admin server: port: 8089 spring: jackson: date-format: yyyy-MM-dd HH:mm:s
2021-12-24 15:17:34
1155
原创 学习 : Spark数据倾斜
【大厂面试】大数据面试必问，Spark 数据倾斜 相关面试题 : 1.【京东】是否遇到过数据倾斜的问题，是如何解决的？ 2.【淘宝】在Spark开发中做过哪些优化？ 3.【美团】谈谈对广播变量的理解，如何使用，解决了什么问题？ 数据倾斜 1.定义 : 数据倾斜指的是，并行处理海量数据过程中，某个或者某些分区的数据显著多余其他分区，从而使得该部分的处理速度成为整个数据集处理的瓶颈。 2.危害 2.1. 2.2. 2.3. 3.大数据处理步骤 4.为什么发生数据倾斜？/ 发生数据倾斜的
2021-06-29 17:12:30
116
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人