大数据技术
文章平均质量分 60
头发多多,肆意生长
大三狗一枚
展开
-
大数据技术原理与应用 第三版 林子雨 期末复习(六) 十一章 流计算
大数据技术原理与应用 第三版 林子雨 期末复习(六) 十一章 流计算静态数据和流数据静态数据:流数据:批处理和流计算流计算要求STROMstrom设计思想Strom的工作流程Spark Streaming 与 Storm的对比静态数据和流数据静态数据:不会随着时间变化的数据。流数据:数据快速持续到达,潜在数据量无法估计数据来源多,格式复杂数据量大,但是并不关注存储,处理后的数据要么被丢弃要么被归类存储注重整体价值,不注重个别数据价值数据顺序颠倒,不完整系统将会出错批处理和流计算流计算原创 2021-12-25 00:09:26 · 1301 阅读 · 2 评论 -
大数据技术原理与应用 第三版 林子雨 期末复习(五) 第十章 SPARK
大数据技术原理与应用 第三版 林子雨 期末复习(五) 第十章 SPARK原创 2021-12-24 23:46:50 · 1436 阅读 · 0 评论 -
大数据技术原理与应用 第三版 林子雨 期末复习(四) Hive
大数据技术原理与应用 第三版 林子雨 期末复习(四) Hive原创 2021-12-24 22:17:40 · 1690 阅读 · 1 评论 -
大数据技术原理与应用 第三版 林子雨 期末复习(三)MapReduce
大数据技术原理与应用 第三版 林子雨 期末复习(三)MapReduce概念Map与Reduce函数输入输出Suffle过程详解Map端Reduce端Word Counts执行实例概念MapReduce是一种分布式并行编程模型,常用于处理大规模数据集。其将运行于分布式集群上的复杂的并行计算过程高度抽象为两个函数Map与Reduce,这两个函数思想都源自函数式编程思想。Map与Reduce函数输入输出函数输入输出说明Map<k1,v1>List(<k2,v2原创 2021-12-23 10:28:59 · 922 阅读 · 0 评论 -
大数据技术原理与应用 第三版 林子雨 期末复习(二) Hadoop HDFS HBase
大数据技术原理与应用 第三版 林子雨 期末复习(二) Hadoop HDFS HBase原创 2021-12-22 22:42:10 · 1404 阅读 · 0 评论 -
大数据技术原理与应用 第三版 林子雨 期末复习(一)大数据概述 第一章 P2
大数据技术原理与应用 期末复习(一)原创 2021-12-22 18:33:35 · 6025 阅读 · 0 评论