- 博客(11)
- 收藏
- 关注
RSS订阅原创 生成式AI搭台，Data+Analytics唱戏 - Snowflake、Databricks2023年度大会前瞻
每年仲夏之际，全球两大数据平台巨头Snowflake、Databricks均会召开各自的年度大会，成为数据圈的“超级碗”。随着竞争的加剧，Snowflake、Databricks把2023年度重磅市场大会放在相同日期（6.26-6.29），充满着火药味。
2023-06-26 17:05:36
295
1
转载 数据平台作业调度系统详解－理论篇
多数静态执行列表流派的系统，比如oozie，azkaban以及各种公有云的workflow服务，都会包含创建工作流Flow这样一个过程，用户需要定义一个具体的作业流程里面都包含哪些作业，他们的先后依赖关系如何。所不同的是，用户通过什么手段来定义和描述这个工作流：比如oozie要求用户提供XML文件（也可以通过API提交），按照规定的格式描述各个工作流的拓扑逻辑和Job的依赖关系，各种任务类型的细节配置等等。
2023-04-04 16:36:15
261
转载 如何写好项目规划和方案设计文档
所以，无论你的方案文档写的多么翔实，如果只是相关内容细节的罗列，只议不论，缺乏抽象总结，还需要阅读文档的同学再去揣摩项目意图，或者看完以后对项目所要做的工作为什么要做，重不重要，要做成什么样都不明确的话。为后续具体的实现方案，准备必要的输入信息，确定工作的优先级，重要性，项目迭代的步骤等等。再强调一下，做什么和怎么做就是手段，既然是手段，就要写得足够具体，具体到有明确的可落地实施的事情，有明确可以衡量的标准，或者针对当前存在的一个具体问题，不要在这个地方又写得像目标，没有明确的可执行的点。
2023-04-04 11:37:26
237
转载 关于服务，产品，项目开发的碎碎念
前排提示一下：下面的内容，是一篇鸡汤文章，鸡汤这玩意，知易行难，先贤们都总结了五千年了，道理说多了，难免让人觉得一切都是陈词滥调。所以时下毒鸡汤反倒成了一股“清流”。所以，为什么还要写鸡汤？大概还是因为自己的切身体会吧。
2023-04-04 11:04:13
56
转载 跪直了，别趴下！如何面对服务化过程中遇到的那些问题
只谈问题，不谈方案，都是耍流氓！在上一篇《》一文中，我耍流氓了，无耻的留下了一堆让致力于为人民服务的有志青年痛苦难熬的现实问题。（其实是文章篇幅太长，怕大家没耐心看，拆开两篇发）虽然如文中最后所说，真的勇士，抱着“世界辣么残酷，我要血债血还”的梦想，或许可以笑对惨淡的人生。然而，毕竟，追求快乐和幸福才是这个时代的主旋律～所以，这篇，我准备来谈谈如何在服务的过程中，尽可能过得不要那么惨。
2023-03-30 14:55:34
75
转载 论“跪舔式”构建“服务化”数据平台的崇高理想
在构建数据平台的过程中，我们要坚持四个现代化，其中平台服务化是关键指导思想之一，而用户满意是衡量服务水平的唯一标准。那么这篇，让我来具体谈谈如何为人民服务。
2023-03-30 14:50:17
118
1
转载 为建设四个现代化的大数据平台奋斗终身
不太谦虚的说，我们数据平台的技术水平在类似规模的公司中，还算过的去，从我们团队出去的同学多数也都能在新的环境里承担重任。但是在领导眼中，我们团队的产出价值，未必是令人满意的。不过，所谓知易行难。每隔一段时间，回头再看，都会发现自己之前所做的工作，还是和这个目标有不小差距。
2023-03-24 15:08:56
138
1
原创 企业案例 | 以阿里巴巴为例，解析大数据采集中的日志采集
数据采集是大数据系统体系的第一环，如何全面、高效、规范地完成海量数据的采集 ，并将其传输到大数据平台，建立一套标准的数据采集体系方案尤为重要。
2023-03-21 16:38:39
781
1
原创 数据湖的企业价值详解
起初，业内将数据湖定义为一个储存原始格式数据的系统，可以容纳结构化、半结构化、非结构，以及二进制的数据。可以把数据湖想象成一个大湖泊，方便集中存储各种异构数据的架构。随着大数据技术的融合发展，数据湖的边界不断扩展，相应地有内涵的变化。数据湖开始汇集各方面的技术，演进为多源异构数据统一存储、多范式计算分析及统一管理调用的大数据综合解决方案。
2023-03-21 11:15:33
132
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人