数据库架构
Kevin崔
崔虎龙 cuihulong
居安思危;
个人第一时间内容更新:墨天轮Kevin崔
展开
-
ETL公用模块设计(MongoDB + spark + Python)
--数据库架构师 之路 场景: 通过ETL流程收集 ,不同的数据源 数据,并放到ods层里。 技术选型:MongoDB + spark + Python 主要考虑行业的复杂度,还有不同的数据来源数据(包含 txt,jpg,excel,rmdb) 后期分析所需要的开发资源,内存计算,有效的发挥DBA 脚本能力。 设计:整体通过配置中心的 进行任务调度,可能有人会问题为什么不用到一些 ...原创 2018-09-04 10:15:32 · 1474 阅读 · 0 评论 -
分布式缓存,你选谁
如今,市面上的缓存解决方案已经有很大成绩了。今天我将选取一些代表的方案 包括Redis,Memcached 和Tair 进行比较,帮助大家更加了解,并且更好地进行技术选型。 一、常用的分布式缓存的对比 常用的分布式缓存包括Redis、Memcached,因为Redis提供的数据结构比较丰富且简单易用,所以Redis的使用广泛。 下面我们从9个大方面来对比最常用的Redis和M...转载 2018-09-04 17:00:18 · 6012 阅读 · 0 评论