Spark
文章平均质量分 62
SetsunaMeow
一只对技术有点追求的喵
展开
-
Spark学习笔记:Spark算子及应用
Spark算子及应用原创 2018-09-04 22:21:06 · 2168 阅读 · 0 评论 -
Spark学习笔记:StreamingContext详解
StreamingContext的创建及要点原创 2018-09-14 22:46:02 · 1753 阅读 · 0 评论 -
Spark学习笔记:基于Socket的实时计算WordCount
基于Socket的实时计算WordCountSocket简述Socket(套接字),用来描述IP地址和端口,是通信链的句柄,应用程序可以通过Socket向网络发送请求或者应答网络请求。Socket是支持TCP/IP协议的网络通信的基本操作单元,是对网络通信过程中端点的抽象表示,包含了进行网络通信所必须的五种信息:连接所使用的协议,本地主机的IP地址,本地远程的协议端口,远程主机的IP地址以...原创 2018-09-14 19:56:38 · 458 阅读 · 0 评论 -
Spark学习笔记:Spark Streaming与Spark SQL协同工作
Spark Streaming和Spark SQL协同工作原创 2018-09-19 17:32:48 · 1440 阅读 · 0 评论 -
Spark学习笔记:DStream基本工作原理
DStream基本工作原理及批处理时间间隔原创 2018-09-14 10:52:41 · 2693 阅读 · 3 评论 -
Spark学习笔记:Spark Streaming工作原理
目录 Spark Streaming概述一、Apache SparkSpark CoreSpark SQLSpark Streaming二、Spark Streaming处理数据的流程1.数据源2.数据处理3.存储结果三、Spark Streaming工作原理Spark Streaming概述目前对于流式数据实时处理方案主要有两种:一条一条数...原创 2018-09-14 09:49:03 · 1156 阅读 · 0 评论 -
Spark学习笔记:Spark UDF/UDAF
目录 Spark UDF/UDAF1.SparkUDF2.Spark UDAF(1)求平均数Spark UDF/UDAF1.SparkUDF(1)测试数据: emp.csv文件(2)定义case class case class Emp(empno:Int,ename:String,job:String,mgr:String,hiredate:S...原创 2018-09-13 18:55:57 · 565 阅读 · 0 评论 -
Spark学习笔记:Spark Streaming算子开发实例
Spark Streaming算子开发实例原创 2018-09-19 16:20:34 · 907 阅读 · 0 评论 -
Spark学习笔记:Spark进阶
Spark使用不同的数据源,Spark SQL开发,性能调优原创 2018-09-11 16:45:02 · 4434 阅读 · 0 评论 -
Spark学习笔记:DStream的transformation操作概览
DStream的transformation操作概览一.Spark Streaming开发步骤创建输入DStream,如将Flume、Kafka、HDFS和Socket等作为数据源 对输入DStream进行转换操作 对转换后的DStream进行输出操作,比如存储到DBMS中二.DStream分类Input DStream,是最原始最初的DStream,它是依据不同的数据源创建的,...原创 2018-09-16 22:21:46 · 787 阅读 · 0 评论 -
Spark学习笔记:输入DStream和Receiver详解
DStream和Receiver的一些细节原创 2018-09-16 20:36:04 · 432 阅读 · 0 评论 -
Spark学习笔记:基于HDFS的实时计算WordCount
基于HDFS实时计算WordCount原创 2018-09-16 12:19:58 · 356 阅读 · 0 评论 -
Spark学习笔记:SparkSQL
SparkSQL、DataFrame、DataSet原创 2018-09-06 09:56:01 · 999 阅读 · 0 评论 -
Spark学习笔记:Spark基础
Spark基础以及WordCount实现原创 2018-09-03 23:39:57 · 11106 阅读 · 0 评论 -
Spark学习笔记:Spark Streaming数据存储与调优
Spark Streaming数据存储与调优原创 2018-09-24 20:49:03 · 1781 阅读 · 0 评论