![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据开发
文章平均质量分 61
芋辕-
越努力越幸运
展开
-
MPP架构和Hadoop架构的区别
是将许多数据库通过网络连接起来,相当于将一个个垂直系统横向连接,形成一个统一对外的服务的分布式数据库系统。每个节点由一个单机数据库系统独立管理和操作该物理机上的的所有资源(CPU,内存等),节点内系统的各组件间相互调用无需通过主节点。是将不同的资源管理与功能进行分层抽象设计,每层形成一类组件,实现一定的解耦,包括存储资源管理等,在每层内进行跨节点。原创 2023-08-03 12:42:15 · 2464 阅读 · 0 评论 -
Group by的用法
sql语句中的执行顺序:from-> where -> join -> group by -> having ->select ->order by ->limitgroup by之后,select语句能够写的字段只有三种1)group by的字段2)聚合函数 sum count...3) 常量值例如:错误的写法,brand,model属性无法进行查询纠正:...原创 2022-06-07 15:26:54 · 171 阅读 · 0 评论 -
数仓中的维度表与事实表
大数据中的维度表与事实表原创 2022-06-01 11:03:13 · 811 阅读 · 1 评论 -
ClickHouse 与 Hbase的对比
目录1 ClickHouse与Hbase的基础2 ClickHouse与HBase的架构对比2.1 Hbase架构编辑2.2 ClickHouse的架构编辑3 基本操作对比3.1 HBase3.2 ClickHouse4 数据查询操作5 各维度对比1 ClickHouse与Hbase的基础hadoop生态圈技术繁多,HDFS主要用于保存底层数据。Hbase是一款NoSQL也是Hadoop生态圈的核心组件,其具有海量的存储能力,优秀的随机读写...原创 2022-05-19 21:32:18 · 17675 阅读 · 5 评论 -
Flink中watermark的作用
1 watermark产生的缘由Flink中流处理从事件产生,到流经source,再到operator,中间是有一个过程和时间的。虽然大部分情况下,流到operator的数据都是按照事件产生的时间顺序来的,但是也不排除由于网络、背压等原因,导致乱序的产生(out-of-order或者说late element)。但是对于late element,我们又不能无限期的等下去,必须要有个机制来保证一个特定的时间后,必须触发window去进行计算了。这个特别的机制,就是watermark。2 water原创 2022-05-01 12:37:00 · 1132 阅读 · 0 评论 -
Spark中的DAG介绍
1 DAG的介绍DAG:全称为 Directed Acyclic Graph 中文为:有向无环图在spark中,使用DAG来描述我们的计算逻辑。2 Spark中的DAGDAG是一组顶点与边的组合,顶点代表RDD,边代表对RDD的一系列操作。DAG Sheduler根据RDD的不同transformation操作,讲DAG分为不同的stage,每个stage中又分为多个task。3 DAG解决的问题DAG的出现主要是为了解决MapReduce框架的局限性。MapReduce框架原创 2022-04-25 19:13:29 · 7415 阅读 · 0 评论 -
数据仓库(DW)的分层架构
1 数据仓库“分层”的优势(1)把复杂的问题简单化;通过把复杂的问题分解成多层,每次只处理简单任务。(2)减少重复开发;规范数据分层,通过的中间层数据,能够减少极大的重复计算(3)隔离原始数据2 四层分层各自的作用1 数据操作层ODS(Operational Data Store)数据源中的数据,经过抽取、洗净、传输,也就说传说中的ETL之后,装入本层ODS表通常包括两类:一个用于存储当前需要加载的的数据,一个用于存储处理好的历史数据。历史数据一般保存3-6个月后需要清除,以节省原创 2022-04-22 19:42:02 · 2581 阅读 · 0 评论 -
hadoop3.x的结构总结
目录1 hadoop的组成1.1 hadoop1.x与Hadoop2.x的区别1.2 HDFS的架构描述1.3 Yarn架构的描述2 MapReduce架构概述3 HDFS的概述3.1 HDFS的定义3.2 HDFS的组成结构3.3 HDFS块大小3.4 HDFS文件写入3.5 HDFS的文件读取3.6 NameNode(NM)和SecondaryNameNode3.7 DataNode3.7.1 DataNode的工作机制3.7.2 数据的...原创 2022-04-18 14:04:15 · 2453 阅读 · 0 评论