![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
三生三世
程序猿与汪
一枚专注于大数据领域知识的程序汪
展开
-
智慧出行Spark/Utils-实现Spark的流监控--3.基于StreamingListener流进行监控
啊啊啊``原创 2020-07-18 16:24:18 · 503 阅读 · 0 评论 -
智慧出行Spark/Utils-实现Spark的内置离线监控(细粒度任务的监控和异常报警)---2.spark粒度监控实现
啊原创 2020-07-18 01:51:29 · 432 阅读 · 0 评论 -
智慧出行/spark Streaming-Dstream流优化:1.消费并行度,2.序列化,3.限流,压背,冷启4.cpu空转时间,5.不要在代码中判断这个表是否存在,6.推测执行7.开启动态资源分配
1.设置合理的消费并行度最优的方案是:kafka分区数:broker *3/6/9kafka分区能不能增加,能不能减少?kafka分区数是可以增加的,但是不能减少2.序列化java的序列化,很沉重,会序列化好多无关的,耗时特别长...原创 2020-07-16 22:40:18 · 397 阅读 · 0 评论 -
智慧出行-sparkConf,sparkSesson,streamingContext的生产必配配置,我把他做成了一个工具类,具体实现文章中会详细描述
1.application.conf#配置spark相关参数spark.worker.timeout="500"spark.rpc.askTimeout="600s"spark.network.timeoout="600s"spark.cores.max="10"spark.task.maxFailures="5"spark.speculation="true"spark.driver.allowMutilpleContext="true"spark.serializer="org.apa原创 2020-07-13 12:25:26 · 220 阅读 · 0 评论 -
智慧出行Spark/Utils-实现Spark的内置离线监控(细粒度任务的监控和异常报警)---1.实现邮件发送模块的开发
import javax.mail.Authenticator;import javax.mail.Message.RecipientType;import javax.mail.PasswordAuthentication;import javax.mail.Session;import javax.mail.Transport;import javax.mail.internet.InternetAddress;import javax.mail.internet.MimeMessage;原创 2020-06-14 21:31:13 · 270 阅读 · 1 评论 -
spark-SaprkSQL:缺失值处理,聚合操作,连接操作,UDF函数,窗口函数
1.缺失值处理SparkSQL提供了DataFrameNaFunctions缺失值处理框架,使用Dataset的na函数来获取(1)如何使用 SparkSQL 处理 null 和 NaN ?首先要将数据读取出来, 此次使用的数据集直接存在 NaN, 在指定 Schema 后, 可直接被转为 Double.NaNval schema = StructType( List( StructField("id", IntegerType), StructField("year", Int原创 2020-06-09 12:35:28 · 1009 阅读 · 0 评论 -
大数据组件-sparkSQL数据读取框架,数据写入框架,读写Parquet,json数据格式,sparkSQL:读写分区,整合Hive,通过JDBC读写mysql数据库
1.数据读取框架DataFrameReder(1)使用场景SparkSQL中专门有一个框架用于读取外部数据源,叫做DataFrameReder(2)构成1.schema结构信息2.option读取时的参数3.format数据源类型(3)示例import org.apache.spark.sql.{DataFrame, SparkSession}import org.junit.Testclass sparkSQLDemo { @Test def read原创 2020-06-07 13:08:48 · 569 阅读 · 0 评论 -
大数据组件-sparkSQL是什么,应用场景,编写流程,DataSet和DataFrame
1.sparkSQL是什么sparkSQL主要是为了降低一些数据工作者使用门槛的降低,让一些科学家去编写一大堆代码是不现实的,所以产生了SQL查询模式2.sparkSQL应用场景老的sparkcore的入口API是SparkContext其功能主要是处理非结构化数据和半结构化数据而目前时代下数据源一般都是类似mysql,hbase等结构化数据源,所以spark团队专门针对需求设计了SparkSession入口API,用于实现结构化数据清洗,查询等一系列操作,而且他还兼容老的sparkContext的所原创 2020-06-06 01:10:11 · 668 阅读 · 0 评论 -
大数据组件-sparkTransformations算子,Action算子,速查表
目录标题Transformations算子(惰性的)mapmapPartitions(List[T]->List[U])1.使用场景2.示例mapPartitionsWithIndex1.使用场景2.示例mapValues1.使用场景2.示例Filter过滤1.使用场景2.示例sample抽样1.使用场景2.示例集合操作-并集union集合操作-交集intersection集合操作-插集subtract1.使用场景2.示例reduceByKey1.使用场景2.示例groupByKey1.使用场景2.示原创 2020-05-23 00:50:34 · 186 阅读 · 0 评论 -
大数据组件-Spark原理分析,宽窄依赖,闭包,spark全局累加器
RDD之间的关系判断是宽依赖还是窄依赖,取决于RDD的分区是否能放在同一个流水线上执行,取决于这两个RDD是否是Shuffle关系,如果是shuffle有kv对的就是宽依赖不能放在一个流水线上执行,不是shuffle关系的就是窄依赖可以放在一个流水线上执行(1)窄依赖示例import org.apache.spark.{SparkConf, SparkContext}import org.junit.Testclass sparkDemo { @Test def narrowDepe原创 2020-06-05 01:33:45 · 196 阅读 · 0 评论 -
大数据组件-Spark简介,Spark集群搭建,高可用配置,spark并行计算(RDD)的五个特性,sparkshell编写代码,IDEA编写代码本地运行和集群运行,RDD编程模型
统一配置环境:zk:jdk:idea:目录标题Spark概述集群搭建(1)下载spark安装包(2)上传并解压(3)配置spark-env.sh(5)修改slaves1.使用场景环境2.配置流程(4)配置HistoryServe1.使用场景2.配置流程(5)分发(6)高可用配置1.使用场景2.实现流程3.分发配置到整个集群4.启动(7)配置spark环境1.修改配置文件2.使得配置生效spark shell1.使用场景2.读取本地文件(1)准备文件(2)启动 Spark shell读取本地文件进行词原创 2020-05-21 23:00:25 · 302 阅读 · 0 评论 -
大数据组件-SparkSQL:Column对象,如何创建,别名和转换,添加列,操作
1.什么是Column对象Column 表示了 Dataset 中的一个列, 并且可以持有一个表达式, 这个表达式作用于每一条数据, 对每条数据都生成一个值2.Column对象如何创建(1)’单引号 ’ 在 Scala 中是一个特殊的符号, 通过 ’ 会生成一个 Symbol 对象, Symbol 对象可以理解为是一个字符串的变种, 但是比字符串的效率高很多, 在 Spark 中, 对 Scala 中的 Symbol 对象做了隐式转换, 转换为一个 ColumnName 对象, ColumnName原创 2020-06-08 01:09:34 · 4574 阅读 · 0 评论