我也要用
RSS订阅
原创 Spark 资源自动清理
Spark运行一次SQL，根据SQL的具体执行情况，可能会产生很多垃圾。譬如你可以很容易观察到的就是在Spark UI上跑完SQL后会有Storage Memory的占用：这个应该是SQ...
2020-05-15 16:41:22
127
0
原创 Java G1垃圾回收导读
因为已经有非常好的文章介绍G1了，所以这篇文章只会提供一些我觉得特别好的文章信息，帮助大家从 茫茫的信息海洋里节省时间。祝威廉如何看懂G1的GC日志非常重要，因为我们需要通过日志进一步了...
2020-05-14 17:56:23
61
1
原创 Spark GC 调优文章推荐
为什么我们需要调GC如果是在以前，ETL为王的年代，我们其实大可不必去调试，使用默认的 Parallel GC就可以了。但是随着发展，实时流计算以及AdHoc查询，对JVM的要求：高吞吐...
2020-05-12 14:32:48
55
0
原创 Spark 大/小文件读取优化
问题描述使用Spark写复杂SQL时，我们经常会遇到两个尴尬的情况：表里的单个文件都很大，而且因为record比较小，所以单个文件的record数量巨大。表里每个分区都有成百上千个小文件...
2020-05-08 12:56:31
90
0
原创 认识 Delta Lake
百花齐放的大数据生态17，18是计算引擎火热的两年，19年已然是红海了。计算引擎中的王者是Spark，综合指标最好，生态也好，当其他引擎还在ETL,交互查询，流上厮杀时，Spark已经在...
2020-05-06 13:32:55
129
0
原创 给大家引荐下我的开源项目【们】
前言从开始工作，我一直会问自己这么两个问题：1. 我有足够多的工具提升自己效率么？2. 我有足够好的平台去提升团队效率么？效率在我看来是至关重要的。关于我对效率的理解，还可以看看我这篇文...
2020-05-06 13:32:55
106
0
转载 数据团队规划布局感悟（三）
0x00 前言自己也没想到马上会有第三篇了。今天重点讲讲我对感悟（一）中提及的“解决方案设计团队”的看法。其实这个名字是我瞎起的，对应的是大家熟知的“算法团队”或者“机器学习团队”。0x...
2020-05-05 12:17:04
112
0
转载 可以【移动数据】而不是【移动计算】了
0x00 前言在进入本文的主题之前，先讲两件事。第一件事，是Spark 3.0 开始重构shuffle部分，用以支持remote shuffle。这意味着我们终于可以为shuffle专门...
2020-05-02 18:20:29
139
0
原创 SQL思维 VS 编程思维(重制版)
昨天看了一篇文章，里面有段话讲的比较务实：开发效率，从平台发展的各阶段实践中，我们发现，对于一个统计任务/算法任务/风控任务，如果采用传统的编程思维方式去实现，那么只能通过堆开发人员，去...
2020-04-28 13:24:15
262
0
原创 【抖音短文】痛点不能驱动一切，效率驱动才是
什么都等到痛了才去做，要你何用。在我们的内心世界，我们认为痛点驱动是一个理所当然的事情。只有有了痛，我们才有动力去解决它。奈何能感受到痛点的是人，而人基因里就包含了一件事，就是会忍受，...
2020-04-25 10:35:19
123
0
原创 【一站地铁短文】该不该追新的技术名词（概念）
先抛出结论（毕竟我们号称一站地铁短文）：无论什么新技术名词（概念），不要去抵触，试着去了解，最好是能从其中学习到一些好的东西。名词（概念）本身并没有那么重要。和具体技术不一样，技术名词（...
2020-04-24 09:00:30
91
0
原创 【短文】为什么要关注技术趋势
很多对技术持有保守心态的人，总是希望某项技术烂大街以后再买入，但是技术本身并不是凭空而来的，而是实际的需求驱动的。这意味着，当它烂大街的时候，其实可能已经不能支撑现阶段公司业务的诉求了。...
2020-04-23 12:53:41
172
0
原创 【短文】技术调研尽可能不要交给新手
技术调研是个技术上很有【挑战】，同时也是一个比较【艰苦】，也考验一个人的技术【品味】的任务。所以让一个新手去调研，这明显属于为难新手，并且大概率会得到一个不甚“真实”的调研结果。当然了，...
2020-04-23 12:53:41
84
0
原创 2019年技术思维套路总结
前言19年，在一些技术思维上形成了几点套路，不过目前还没有成体系，所以想到啥就写啥了，算是一个记录，避免自己以后忘了。技术调研不要交给新手技术调研是个技术上很有【挑战】，同时也是一个比较...
2019-12-31 12:56:31
123
0
转载 数据湖Delta Lake 深入解析&专栏介绍
最近在知乎新开了一个专栏，<数据湖Delta Lake 深入解析>，具体链接请大家查看原文链接啦。这个系列不讲API用法（毕竟官网的Docs已经足够），不讲源码（枯燥并且影响...
2019-10-23 10:15:01
288
0
原创 Spark的常见困惑（1）
前言已经很少写Spark的文章了，但是因为以前写的挺多的，所以还是有很多人会和我交流Spark相关的内容。这篇文章我会把我经常被问到的几个问题整理下，也可以避免以后反复讲，因为可以直接把...
2019-10-12 11:53:57
75
0
原创 大数据计算引擎们是该有个统一的标准了，闲聊Linkis
大数据中台建设其实已经如火如荼了。我们在这里也不去纠结是中台还是平台，总之形态就是登录web后就可以使用各种大数据引擎进行数据探索，分析，机器学习等工作，大家可以在上面写SQL,Pyth...
2019-10-12 11:53:57
144
0
原创 超小企业的大数据与AI之路该怎么走
2019-05-07 15:12:00
1405
4
原创 Delta的真正用处和价值，你可知道
2019-04-30 12:37:00
257
0
原创 台北行二三事：不要让疲劳被掩埋
今天是到台北第三天，也是第二次来台北了。台北是个很舒适，很适合生活的城市。这两天来基本就是以酒店为中心，方圆一公里活动，主要有三个活动内容：睡觉找食写代码，写文章台北美食里，家庭作坊式的...
2019-04-29 13:16:28
63
0
原创 MLSQL Stack 应用场景示例
2019-04-27 15:37:11
1024
0
原创 MLSQL 1.3.0开发版中最新三个MPIPs--调度，资源，缓存
2019-04-27 15:21:21
595
0
原创 MLSQL 1.3.0开发版中最新三个MPIPs--调度，资源，缓存
2019-04-27 15:20:00
93
0
原创 Rust FFI 实践
2019-04-21 16:52:00
1292
0
原创 MLSQL Stack v1.2.0正式版发布
2019-04-14 22:07:00
96
0
原创 MLSQL 语法扩展设计
2019-04-11 21:33:00
151
1
原创 FUSE(FileSystem in User Space) 对算法的价值
2019-04-08 15:17:00
116
0
原创 用MLSQL完成简书图片备份
2019-03-28 17:50:00
165
0
原创 MLSQL Cluster 多Engine管理设计
2019-03-27 10:25:00
97
0
原创 对技术负债，技术和业务权衡和重构，重写，升级的一些看法
2019-03-26 17:27:31
284
0
原创 MLSQL如何帮助分析师更高效
2019-03-25 10:41:00
94
0
原创 MLSQL数据源开发指南
2019-03-21 18:16:00
287
1
原创 MLSQL 编译时权限控制
2019-03-21 16:00:00
100
0
原创 MLSQL Cluster 路由策略
2019-03-20 10:25:00
110
0
原创 再谈数据中台是什么以及MLSQL为什么可以作为数据中台
2019-03-19 11:06:00
823
1
原创 手动安装和启动MLSQL三套件
2019-03-18 17:14:00
206
0
原创 MLSQL初学者常见问题QA（持续更新）
2019-03-16 22:36:00
254
0
原创 数据部门起步阶段需要建立数仓么？
2019-03-15 14:48:00
284
0