- 博客(8)
- 收藏
- 关注
RSS订阅
原创 企业级数据治理实践(一)
1.概况在互联网经历前半场快速发展的背景下，数据部门为了快速迭代实现需求，往往不在意成本和模型的规范化，再加上维度建模自下而上的建模思想本身就很容易产生大量的烟囱式开发，这就导致出现很多的模型不合理、存储计算成本过高的情况。来到互联网下半场，精细化数据管理成为了行业现状，大多企业在没有增量资源增加的背景下，还需要保留原有的数据能力，这时候数据治理就迫在眉睫。2.为什么要做数据治理数据开发过程很长，从数据源、数据采集、数据计算、数据存储、数据应用全都是依靠数据开发的个人能力来决定是否合理，这.
2022-01-09 00:15:15
724
原创 一次有关资源的问题导致spark core报错问题解决
最近有个朋友搭建了一套cdh集群并且运行spark任务，发现数据量不大（低于10G）的时候没问题，数据量太大就报错了，希望我能帮助他解决问题。看到这个现象我第一反应要么是资源不够要么是新的数据有异常导致的，定位问题就必须跟踪日志，所以任务重新启动，开始跟踪日志，发现第一个错误：RECEIVED SIGNAL TERM看到这个错误我也没什么感觉，但是我看到这个error的上面一直在跟yarn...
2020-03-04 14:34:34
1132
原创 hadoop构建数据仓库
目录一、数据仓库概况二、数据仓库 VS olap VS oltp三、greenplum VS Hadoop四、ETL五、Kimball VS Inmon六、星型模型VS雪花模型七、数据仓库主题八、数据质量九、元数据管理十、离线数据仓库十一、实时数据仓库一、数据仓库概况借用百度的定义：数据仓库，英文名称为Data Warehouse，可简写为...
2019-04-11 09:41:54
1154
原创 下载B站视频的一次经验
今天需要把B站上面的一些视频下载下来，发现还是比较麻烦的。首先B站的视频用硕鼠下载，最好是下载个硕鼠的本地版本，在线也可以下载但是太慢了：下载地址是：http://download.flvcd.com/下载安装之后把B站视频的网址直接粘到硕鼠里就行下载下来的视频格式是flv，我是需要把他转成mp4格式，所以又下载了一个格式转换工具Prof. Media下载地址是：http://...
2019-04-08 17:45:05
4857
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人