数据仓库
Alex许恒
自我约束,自我完善,自我发展,持之以恒
展开
-
数据仓库架构的技术选型
目前主流公司应用比较广泛的大数据数据仓库架构:增加了以下内容:数据采集:采用Flume收集日志,采用Sqoop将RDBMS以及NoSQL中的数据同步到HDFS上消息系统:可以加入Kafka防止数据丢失实时计算:实时计算使用Spark Streaming消费Kafka中收集的日志数据,实时计算结果大多保存在Redis中机器学习:使用了Spark MLlib提供的机器学习算法多维分析OLAP:使用Ky...原创 2018-04-16 09:46:47 · 5123 阅读 · 0 评论 -
数据仓库的架构与设计
数据仓库的架构与设计标签: 数据仓库 架构 多维数据模型2017年04月01日 17:52:1913067人阅读 评论(5) 收藏 举报 分类:大数据(12) 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Trigl/article/details/68944434目录(?)[+]公司之前的数据都是直接传到Hdfs上进行操作,没有一个数据仓库,...转载 2018-04-16 09:50:16 · 282 阅读 · 0 评论 -
数据仓库:过去、现在和未来
数据仓库:过去、现在和未来我经常接触数据仓库建设的需求,而现有的大数据系统也希望基于大数据建设数据仓库,然而Hadoop为核心发展起来的软件适用于OLAP的数据分析需求,OLTP这样的分布式数据库系统也如火如荼的发展。作者:许江来源:36大数据|2017-11-24 13:51 收藏 分享技术沙龙 | 4月21日多位区块链专家进行区块链技术应用场景解读!我经常接触数据仓库建设的需求,而现有的大数...转载 2018-04-16 09:59:41 · 1953 阅读 · 0 评论