AWS大数据
天地不仁以万物为刍狗
天之道,损有余而补不足
人之道,损不足以奉有馀
展开
-
2020-10-20
前言随着大数据技术的不断更新和迭代,数据管理工具得到了飞速的发展,相关概念如雨后春笋一般应运而生,如从最初决策支持系统(DDS)到商业智能(BI)、数据仓库、数据湖、数据中台等,这些概念特别容易混淆,本文对这些名词术语及内涵进行系统的解析,便于读者对数据平台相关的概念有全面的认识。一数据仓库数据仓库平台逐步从BI报表为主到分析为主、到预测为主、再到操作智能为目标。图1.数据仓库发展阶段划分商务智能(BI,Business Intelligence)是一种以提供决策分析性的运营数据转载 2020-10-20 21:41:51 · 428 阅读 · 0 评论 -
AWS - Internet Gateway和NATGateway
在亚马逊云上,创建VPC后,VPC内的实例(instance)如何访问Internet呢? 通常有两种方法:1、直接分配公网IP地址将VPC关联到互联网网关(Internet Gateway)这种方式,instance所在的子网,属于公共子网2、通过NAT Gateway 或 NAT instance在每个子网的路由表中,将默认路由设置为NAT Gateway 或 NAT instance这种方式,instance所在的子网,属于私有子网3、使用ELB(弹性负载均衡器)从I原创 2020-07-10 10:31:31 · 2618 阅读 · 0 评论 -
(个评)Big Data - 云中数据湖组件 OSS(对象存储服务)与 AWS S3(Amazon Simple Storage Service)
云中数据湖组件 ()1、AWS S3对象存储2、Azure Bold块存储 (ADLS的一个功能)3、Ali 云 OSS(对象存储服务)对于应用者来说,类似的东西,只是不同的云平台,不同的组件个人评测 : Azure的ADLS更方便易懂一些,毕竟是后出来的云,肯定是比先出现的云有改进,建议AWS S3 也稍微改进一些,提出一种专门做数据湖的场景应用,哈哈一下内容转载:https://blog.csdn.net/makenothing/article/details/1...原创 2020-07-06 16:28:35 · 524 阅读 · 0 评论 -
AWS Big Data - Athena presto和hive适用场景
presto和hive的一些对比 1.本质区别Hive是把一个查询转化成多个MapReduce任务,然后一个接一个执行。执行的中间结果通过对磁盘的读写来同步。然而,Presto没有使用MapReduce,它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中,这也是它的性能很高的一个主要原因。2.执行速度presto由于是基于内存的,而hive是在磁盘上读写的,因此presto比hive快很多,但是由于是基于内存的当多张大表关联操作时易引起内存溢出错误3.处理json类型...转载 2020-07-03 19:15:07 · 854 阅读 · 0 评论