![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 94
小Huya
加油!努力!明天会更好!!!
展开
-
Spark Streaming 原理
整体流程Spark Streaming中,会有一个接收器组件Receiver,作为一个长期运行的task跑在一个Executor上。Receiver接收外部的数据流形成input DStreamDStream会被按照时间间隔划分成一批一批的RDD,当批处理间隔缩短到秒级时,便可以用于处理实时数据流。时间间隔的大小可以由参数指定,一般设在500毫秒到几秒之间。对DStream进行操作就是对RDD进行操作,计算处理的结果可以传给外部系统。Spark Streaming的工作流程像下面的图所示一样原创 2020-08-26 20:08:10 · 2324 阅读 · 0 评论 -
第七章 Spark-On-Hive
概述●官网http://spark.apache.org/docs/latest/sql-data-sources-hive-tables.htmlConfiguration of Hive is done by placing your hive-site.xml, core-site.xml (for security configuration), and hdfs-site.xml (for HDFS configuration) file in conf/.●Hive查询流程.原创 2020-05-22 10:43:06 · 3752 阅读 · 0 评论 -
第六章 扩展:开窗函数
概述https://www.cnblogs.com/qiuting/p/7880500.html●介绍开窗函数的引入是为了既显示聚集前的数据,又显示聚集后的数据。即在每一行的最后一列添加聚合函数的结果。开窗用于为行定义一个窗口(这里的窗口是指运算将要操作的行的集合),它对一组值进行操作,不需要使用 GROUP BY 子句对数据进行分组,能够在同一行中同时返回基础行的列和聚合列。●聚合函数和开窗函数聚合函数是将多行变成一行,count,avg....开窗函数是将一行变成多行..原创 2020-05-22 10:37:17 · 3792 阅读 · 0 评论 -
第五章 Spark SQL自定义函数
自定义函数分类类似于hive当中的自定义函数, spark同样可以使用自定义函数来实现新的功能。spark中的自定义函数有如下3类1.UDF(User-Defined-Function)输入一行,输出一行2.UDAF(User-Defined Aggregation Funcation)输入多行,输出一行3.UDTF(User-Defined Table-Generating Functions)输入一行,输出多行自定义UDF●需求有udf.txt数据格式如.原创 2020-05-22 10:26:28 · 3752 阅读 · 0 评论 -
第四章 Spark SQL多数据源交互
Spark SQL可以与多种数据源交互,如普通文本、json、parquet、csv、MySQL等1.写入不同数据源2.读取不同数据源写数据package cn.itcast.sql import java.util.Properties import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFram.原创 2020-05-22 10:19:52 · 5086 阅读 · 0 评论 -
第三章 使用IDEA开发Spark SQL
创建DataFrame/DataSetSpark会根据文件信息尝试着去推断DataFrame/DataSet的Schema,当然我们也可以手动指定,手动指定的方式有以下几种:第1种:指定列名添加Schema第2种:通过StructType指定Schema第3种:编写样例类,利用反射机制推断Schema指定列名添加Schema package cn.itcast.sql import org.apache.spark.SparkContext import.原创 2020-05-21 11:29:01 · 3829 阅读 · 0 评论 -
第二章 Spark SQL初体验
入口-SparkSession●在spark2.0版本之前SQLContext是创建DataFrame和执行SQL的入口HiveContext通过hive sql语句操作hive表数据,兼容hive操作,hiveContext继承自SQLContext。●在spark2.0之后SparkSession 封装了SqlContext及HiveContext所有功能。通过SparkSession还可以获取到SparkConetxt。SparkSession可以执行SparkSQL也可.原创 2020-05-21 11:23:18 · 3734 阅读 · 0 评论 -
第一章 Spark SQL概述
Spark SQL官方介绍●官网http://spark.apache.org/sql/Spark SQL是Spark用来处理结构化数据的一个模块。Spark SQL还提供了多种使用方式,包括DataFrames API和Datasets API。但无论是哪种API或者是编程语言,它们都是基于同样的执行引擎,因此你可以在不同的API之间随意切换,它们各有各的特点。●Spark SQL 的特点1.易整合可以使用java、scala、python、R等语言的API操作..原创 2020-05-21 11:17:38 · 3683 阅读 · 0 评论 -
SparkCore
RDD详解什么是RDD●为什么要有RDD?在许多迭代式算法(比如机器学习、图算法等)和交互式数据挖掘中,不同计算阶段之间会重用中间结果,即一个阶段的输出结果会作为下一个阶段的输入。但是,之前的MapReduce框架采用非循环式的数据流模型,把中间结果写入到HDFS中,带来了大量的数据复制、磁盘IO和序列化开销。且这些框架只能支持一些特定的计算模式(map/reduce),并没有提供一种通用的数据抽象。AMP实验室发表的一篇关于RDD的论文:《Resilient Distributed Dat原创 2020-05-20 21:04:03 · 4224 阅读 · 0 评论 -
spark如果整合Yarn报错或无法查看log需做如下操作
1.修改hadoop的yarn-site.xmlvim /export/servers/hadoop/etc/hadoop/yarn-site.xml <property> <name>yarn.resourcemanager.hostname</name> <value>node01</value> </pr...原创 2020-05-20 20:12:59 · 5165 阅读 · 0 评论 -
IDEA编写Spark程序
目录pom.xml本地运行集群运行Java8版pom.xml●创建Maven项目并补全目录、配置pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...原创 2020-05-20 20:11:04 · 4012 阅读 · 0 评论 -
Spark参数详解
spark-shellspark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下可以用scala编写spark程序,适合学习测试时使用!●示例spark-shell可以携带参数spark-shell --master local[N] 数字N表示在本地模拟N个线程来运行当前任务spark-shell --master local[*] *表示使用当前机器上所有可用的资源默认不携带参数就是--master local[*]spark-原创 2020-05-20 20:07:27 · 4356 阅读 · 0 评论 -
on yarn集群模式
●官方文档http://spark.apache.org/docs/latest/running-on-yarn.html准备工作1.安装启动Hadoop(需要使用HDFS和YARN,已经ok)2.安装单机版Spark(已经ok)注意:不需要集群,因为把Spark程序提交给YARN运行本质上是把字节码给YARN集群上的JVM运行,但是得有一个东西帮我去把任务提交上个YARN,所以需要一个单机版的Spark,里面的有spark-shell命令,spark-submit命令...原创 2020-05-20 20:05:42 · 3830 阅读 · 0 评论 -
standalone-HA高可用模式
原理Spark Standalone集群是Master-Slaves架构的集群模式,和大部分的Master-Slaves结构集群一样,存在着Master单点故障的问题。如何解决这个单点故障的问题,Spark提供了两种方案:1.基于文件系统的单点恢复(Single-Node Recovery with Local File System)--只能用于开发或测试环境。2.基于zookeeper的Standby Masters(Standby Masters with ZooKeeper)-.原创 2020-05-20 20:02:17 · 5282 阅读 · 0 评论 -
standalone集群模式
集群角色介绍Spark是基于内存计算的大数据并行计算框架,实际中运行计算任务肯定是使用集群模式,那么我们先来学习Spark自带的standalone集群模式了解一下它的架构及运行机制。Standalone集群使用了分布式计算中的master-slave模型,master是集群中含有master进程的节点slave是集群中的worker节点含有Executor进程●Spark架构图如下(先了解):http://spark.apache.org/docs/latest/cluster-o原创 2020-05-20 19:57:35 · 5377 阅读 · 0 评论 -
spark介绍和安装以及入门
第一章 Spark概述 Spark官方介绍●Spark是什么Apache Spark是用于大规模数据处理的统一分析引擎Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量硬件之上,形成集群。●官网http://spark.apache.orghttp://spark.apachecn.orgSpark特点●快与Hadoop的MapReduce相比,Spark基于内存的运算要快1...原创 2020-05-20 19:48:54 · 3269 阅读 · 0 评论