Spark
文章平均质量分 96
DevinKim
分享阳光^0^~
展开
-
Spark Core
Spark Core第1章 Spark 概述Learn Roadmap:https://www.bilibili.com/video/BV11A411L7CK环境:spark3.0.0-bin-hadoop3.2.0.tgzscala 2.12.10hadoop-3.1.3.tar.gzhbase-2.0.5-bin.tar.gzzookeeper-3.5.7-bin.tar.gzflume-1.9.0-bin.tar.gzhive-3.1.2-bin.tar.gzphoenix-5原创 2021-01-04 09:40:01 · 594 阅读 · 0 评论 -
Spark Streaming
Spark Streaming文章目录Spark Streaming一.Spark Streaming介绍(一)概述(二)基本原理二.Spark Streaming实战(一)WordCount1.准备2.Demo01[入门]3.Demo02[累加]4.Demo03[滑动窗口]三.模拟百度热搜排行榜三.Spark Streaming整合kafka(一)整合Kafka两种模式(二)代码演示(三)Ka...原创 2019-12-14 20:58:57 · 213 阅读 · 0 评论 -
Spark SQL
Spark SQL文章目录Spark SQL一.Spark SQL数据抽象(一)DataFrame(二)DataSet二.创建DataFrame(一)读取文本文件1.通过RDD转换构建2.通过SparkSession构建(二)读取json文件(三)读取parquet文件三.创建DataSet(一)createDataset创建(二)RDD.toDS(三)DF.as[泛型](四)DataSet注册...原创 2019-12-14 20:46:33 · 239 阅读 · 0 评论 -
Spark Core概括
Spark Core文章目录Spark Core一.RDD详解(一)为什么要有RDD?(二)什么是RDD(三)RDD的五大特性(四)RDD的算子分类(五)RDD的算子操作1.WordCount2.创建RDD3.查看RDD的分区数量4.map5.filter6.flatMap7.sortBy8.交集|并集|差集|笛卡尔积9.join10.groupByKey11.cogroup(了解)12.gro...原创 2019-12-14 20:34:18 · 216 阅读 · 0 评论 -
Spark快速入门
Spark快速入门一. Spark概述(了解)(一)Spark简介 Apache Spark是用于大规模数据处理的统一分析引擎。 Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量硬件之上,形成集群。(二)Spark vs HadoopMapReduce框架采用非循环式的数据流模型, 中间计算结果存...原创 2019-12-14 20:17:17 · 262 阅读 · 0 评论