大数据
郭龙_Jack
这个作者很懒,什么都没留下…
展开
-
Hadoop分布式文件系统:架构和设计要点
http://www.csdn.net/article/1970-01-01/282725一、前提和设计目标1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2、跑在HDFS上的应用与一般的应用不同,它们主要是以流式读为主,做批量处理;比之关注数据访问的转载 2015-12-28 22:13:27 · 365 阅读 · 0 评论 -
YARN 简介
http://www.ibm.com/developerworks/cn/data/library/bd-yarn-intro/index.htmlYARN 简介Apache Hadoop 是最流行的大数据处理工具之一。它多年来被许多公司成功部署在生产中。尽管 Hadoop 被视为可靠的、可扩展的、富有成本效益的解决方案,但大型开发人员社区仍在不断改进它。最转载 2016-06-04 09:43:39 · 683 阅读 · 0 评论 -
zookeeper使用和原理探究(一)
http://www.blogjava.net/BucketLi/archive/2010/12/21/341268.htmlzookeeper使用和原理探究(一)zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的Hadoop项目中的一个子项目,并且根据google发表的论文来实现的,接下来我们首先来安装使用下这个软件,然转载 2016-06-04 09:56:00 · 251 阅读 · 0 评论 -
Spark Streaming与Storm的对比分析
http://blog.csdn.net/kwu_ganymede/article/details/50296831一、Spark Streaming与Storm的对比二、Spark Streaming与Storm的优劣分析事实上,Spark Streaming绝对谈不上比Storm优秀。这两个框架在实时计算领域中,都很优秀,只是擅长的细转载 2017-10-31 21:41:28 · 355 阅读 · 0 评论 -
联机分析处理(OLAP) 与 联机事务处理(OLTP)
https://www.cnblogs.com/XiongMaoMengNan/p/7803562.html联机事务处理(OLTP)OLTP也称实时系统(Real Time System),支持事务快速响应和大并发,这类系统典型的有ATM机(Automated Teller Machine)系统、自动售票系统等,但有些银行转账并不是实时到账的。OLTP反映企业当前的运行状态,完成企业管理所...转载 2019-07-11 08:44:08 · 2492 阅读 · 0 评论 -
数据仓库原理:联机分析处理(OLAP)
https://www.cnblogs.com/hbsygfz/p/4762085.html1. 引言本篇主要介绍数据仓库中的一项重要分析技术——联系分析处理(OLAP)。在第一篇笔者介绍到数据处理主要有两种,操作型数据处理和分析型数据处理,前者可以称为OLTP,后者可以称为OLAP。本篇将具体介绍什么是OLAP?它与OLTP的区别是什么?多维数据模型和多维分析操作是OLAP中的两种核心...转载 2019-07-11 08:45:56 · 1844 阅读 · 0 评论 -
使用 DataX 增量同步数据
http://ju.outofmemory.cn/entry/360202关于 DataXDataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。如...转载 2019-07-18 11:26:29 · 5228 阅读 · 0 评论