- 博客(6)
- 收藏
- 关注
RSS订阅原创 【数据中台】学习摘录-关键支撑技术
文章目录1. 元数据管理1.1 数据地图1.2 指标管理1.2.1 现状：指标混乱1.2.2 规范化定义指标1.2.3 构建全局的指标字典2. 数据模型设计3. 数据质量3.1 提高数据质量方法4. 成本优化5. 数据安全6. 数据研发流程管理1. 元数据管理数据中台的支撑技术大致可以分为元数据管理，指标管理，模型设计，数据质量等。首先先说说在数据中台占首要位置的元数据管理。在提到数据中台的构建，必然提到元数据，那元数据都涉及什么呢？比如，为了确保全局指标的业务口径一致，要把原先口径不一致的、重复的指
2020-06-22 15:17:36
3598
原创 【数据中台】学习摘录-数据中台建设
文章目录1 数据中台建设1.1 数据只处理一次1.2 数据即服务1.3 数据中台方法论总结1 数据中台建设1.1 数据只处理一次在未做数据中台之前，每个部门都会有一些小的数仓去完成本部的数据分析任务。而数据中台就是要在整个业务形成一个公共数据层，消灭这些跨部门的小数仓，实现数据复用，强调的是数据只加工一次。那么要实现数据只加工一次，需要做五个方面的工作：分主题域管理命名规范定义指标一致数据模型复用数据完善1.2 数据即服务数据中台的数据用该是通过API接口的方式被访问。这么做有什
2020-06-19 16:17:41
491
原创 【运维部署】anaconda上GUI启动zsh环境终端错误
很久没有在mac上折腾tensorflow了，用anaconda的GUI来登终端，出现了问题。之前其实遇到过，但是忘了怎么处理了。具体处理方法参考：https://iaside.com/archives/455第一步，打开iterm2，切换bash环境。bash第二步，手动启动环境。source activate tensorflow37（虚拟环境名）搞定！...
2020-06-16 16:56:55
342
原创 【数据中台】学习摘录-数据采集
文章目录1. 数据采集1.1 日志采集1.2 数据同步1.2.1 批量数据同步1.2.2 实时数据同步1.3 数据同步遇到的问题与解决方案1. 数据采集1.1 日志采集数据采集为大数据系统体系的第一环，建立一套标准的数据采集体系方案，可以全面、高性能、规范地完成海量数据的采集，并将其传输到大数据平台。数据采集分为日志采集和数据库同步两部分，其中日志采集主要指的是埋点数据，其数据来源可来自浏览器与无线客户端。《阿里大数据之路》书中分享了两个案例，分别对应了两个思想。日志分流与定制处理考虑到阿里日
2020-06-14 18:47:02
1755
原创 【数据中台】学习摘录-纵观数据中台
文章目录1. 做数据中台的前提1.1 那如何如何挖掘业务的痛点呢？1.2 推进数据中台项目落地这段时间将极客时间上的网易的《数据中台实践》与《阿里的大数据之路》粗略的看了一遍（两本书写的内容涉及面非常之多，也有很多细节没有展开，但都是非常好的数据中台指南，两本内容侧重点不同，网易的更偏实践，阿里更偏理论，都适合放在案台用作工具书翻看），也将整个数据架构梳理了一遍，对数据中台有了更深层次的理解，也看清了数据中台在整个公司中的战略位置。下面我将梳理一些我所学到，理解的数据中台及实现方案。首先，先说明结论，数
2020-06-07 12:04:39
671
原创 【存储引擎】Redis要点总结
文章目录1. 缓存穿透1.1 带来的问题1.2 解决办法1.2.1 缓存空值1.2.2 BloomFilter1.2.3 如何选择2. 缓存击穿2.1 带来的问题2.2 解决办法3. 缓存雪崩3.1 解决办法3.1.1 事前：使用集群缓存，保证缓存服务的高可用3.1.2 事中：使用 ehcache 本地缓存 + Hystrix 限流&降级 ,避免 MySQL 被打死的情况发生3.1.3 事后：开启 Redis 持久化机制，尽快恢复缓存集群4. 热点数据集中失效4.1 解决办法4.1.1 设置不同的失
2020-06-01 22:37:09
368
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人