自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 基于hive引擎的计算优化

关于hive底层与相关调优

2022-08-25 15:01:53 822

原创 数据中台-(写在结尾)

金融行业数据中台其一#感恩其实本系列开头就已说明,感恩一路上走来的人,他们帮助我成长,也见证我成长;再次感谢一个战壕中的数禾同事、一路走来的朋友和默默付出的家人,是你们让我不断进步成长,博主也会继续努力下去其三#关于后续其实本系列中还是有很多点没有深究下去,如整体的技术架构、数据域的划分、业务过程的粒度等等,这些东西都是在整个项目中深深折磨着我们的东西;甚至包括dataphin这个产品本身是不是好用、如何操作等都没有详细说明,因为本篇文章着重也是记录项目的整套流程和一些常见的问题,如果各位看官有兴趣

2022-03-11 16:56:23 110 1

原创 数据中台-数据建模

这里是目录一、数据建模1.何为onedata建模2.如何进行onedata建模3.建模中涉及到的如何进行统一指标拆解二、建模的两点思考一、数据建模提在开头:数据建模是整个数据中台的核心,涉及到很多行业最佳实践研究和落地,也涉及到很多方法论的落地,建模的好坏直接影响最终中台的数据质量和效率,也许我不是这一块的专家,但我会尽量将我的个人经验和想法一一写出供大家讨论1.何为onedata建模阿里云 OneData 数据中台解决方案基于大数据存储和计算平台为载体,以 OneModel 统一数据构建及管理方

2022-03-11 16:55:44 3883

原创 数据中台-业务调研

这里是目录一、业务调研1.调研的方向(1)公司组织架构梳理(2)公司业务梳理1)会议邀约相关业务负责人2)从会议的内容中总结得到业务流程图和总线矩阵3)不断总结归纳打磨2)中产出物(3)公司业务系统梳理1)定位出总线矩阵中业务对应的业务系统与对应开发2)调研技术开发对应业务在系统中如何流转,并且落下什么数据,以及数据库与对应表3)完成后得出的产物就是总线矩阵中各业务过程对应开发owner与数据系统表2.调研的产出(1)组织架构图(2)数据资产盘点(3)业务大图(4)总线矩阵(5) 主题域划分或者数据域划分与

2022-03-11 16:55:24 1894

原创 数据中台-(写在开头)

金融行业数据中台其一#关于自己其实从老东家已经离开了大半年了(藏着一只不敢发布出来,鼓起勇气还是发表出来,这样才能收获大家意见),距离我离开这个项目也已经好久了,从开始有想法到真正开始准备执笔记录下这个重要项目到真正开始静下心来写,真的也是不容易。整个项目横跨应该一年多的时间了,包括现在和曾经的领导聊天中也能得知这个项目还是在如火如荼的进行中。其二#关于曾经同事也许真的是一个战壕躺过的,自从业以来(虽然不久),这家公司也确实是个人觉得氛围最好、领导最open nice的一家公司。总之,还是感恩,感恩

2022-03-11 16:54:55 111

原创 关于金融风险数据的ETL到分析(下)

距离上一份文章过去了快大半个月了,刚好碰到婚期和春节,在这里祝大家新年快乐,疫情也快点好转起来,大家也都要能在恐慌中稳定心态,快点恢复过来,虽然在疫情的影响下取消了婚礼,但还是挺庆幸能在疫情爆发前取消了计划。借着这样的机会,完成上次欠各位的几项指标介绍这里接着上次的文章继续写,如有新的读者想了解,可见上一篇文章《关于金融风险数据的ETL到分析(上)》二、指标之催回率1.催回率是什么?在金融...

2020-04-17 17:36:13 1753

原创 关于金融风险数据的ETL到分析

关于金融风险数据的ETL到分析入职新公司一年有余,这一年,与其说是在做技术(数仓ETL),不如说是在和各种口径的风险数据在斗智斗勇,本篇文章主要讲述风险数据的获取、处理、可视化以及最后的分析,本文主要围绕风险指标包括:风险vintage、首逾率、催回率、滚动率、迁徙率、用户画像、截面逾期率等。数据提取背景与工具1.数据来源主要包含:业务数据,埋点数据,爬虫数据等;2.数据抽取:apache...

2020-01-15 16:23:57 5771 4

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除