离线数仓
走过冬季
日常分享大数据行业实践案例、企业面试真题
展开
-
大数据面试题
链接:大数据笔记 · 语雀原创 2021-09-27 17:46:04 · 256 阅读 · 1 评论 -
数据回流表情符问题处理
问题:sqoop导入数据到mysql时,emoji表情符无法导入mysql问题。异常:Caused by: java.io.IOException: java.sql.SQLException: Incorrect string value: '\xF0\x9F\x86\x95' for column 'address' at row 61 表情符回流条件表情符回流需满足以下条件:...原创 2020-04-15 20:46:31 · 527 阅读 · 2 评论 -
数据回流upsert模式
背景现有的数据回流方案中,为避免数据重复,有一些前置操作(delete/truncate)。在回流之前执行这些操作会对查询造成一些瞬时影响。针对这种场景我们需要做一些优化(update or insert)。适用场景准实时项目回流(数据回流频繁) 数据累加型计算 无需删除之前计算结果要求数据加工表中包含唯一业务字段。实现方式原回流方式#删除目标表当天数据,避...原创 2019-10-11 18:03:01 · 3348 阅读 · 0 评论