一群专业码农的笔记本

sparksql 数据倾斜

电商财务结算系统重构实践1.背景 1.1 业务背景 唯品会是全国第三大电商平台，连接全球几万家供应商，7x24为亿万会员提供优质的服务。唯品会的自营电商业务形态决定一方面要为广大的会员提供优质的产品服务，另外一方面又要为供应商提供优质，快捷，准确的仓储物流服务和财务服务。财务结算系统是电商后端业务中的核心功能，由它核算出在每一个结算周期内个供应商应该跟平台结算多少款项, 面对复杂的结算类型...

前言之前一篇文章《spark sql 在mysql的应用实践》 已经简单描述了spark sql 在我们的业务场景的实践、开发遇到的问题和集群的队列分配问题。这篇主要介绍spark dataset 的cache，了解其参数，基本原理和简单的源码分析。cache实际开发过程中，有时候很多地方都会用到同一个dataset, 那么每个地方遇到Action操作的时候都会对同一个算子计算多次...

前言本文主要是通过轻松漫画方式将 复杂的spark sql转为RDD原理 呈现给大家.版本spark 2.3.2准备mysql表CREATE TABLE employee(id BIGINT UNSIGNED NOT NULL PRIMARY KEY AUTO_INCREMENT,name VARCHAR(15) NOT NULL,age INT NOT NULL) ;...

本位分析了线上Spark SQL任务执行慢的原因，并介绍了Distribute By、Cluster By、Broadcast等优化方法的原理与使用方式。