![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据spark
晓晓白熊
大数据、机器学习
展开
-
spark streaming 检查点机制(checkpoint)
一个Streaming应用程序要求7天24小时不间断运行,因此必须适应各种导致应用程序失败的场景。Spark Streaming的检查点具有容错机制,有足够的信息能够支持故障恢复。支持两种数据类型的检查点:元数据检查点和数据检查点。(1)元数据检查点,在类似HDFS的容错存储上,保存Streaming计算信息。这种检查点用来恢复运行Streaming应用程序失败的Driver进程。(2)数原创 2017-09-29 15:13:03 · 8412 阅读 · 0 评论 -
Spark SQL原理与DataFrame、DataSet相关API操作以及代码介绍
Spark SQL and DataFrame、DataSet1. 课程目标1.1. 掌握Spark SQL的原理1.2. 掌握DataFrame数据结构和使用方式1.3. 熟练使用Spark SQL完成计算任务2. Spark SQL2.1. Spark SQL概述2.1.1. 什么是Spark SQLSpark SQL是Spark用来处理结构化数据的一个原创 2017-09-27 14:23:10 · 2985 阅读 · 1 评论 -
Spark Streaming
1. 课程目标1.1. 掌握Spark Streaming的原理1.2. 熟练使用Spark Streaming完成流式计算任务2. Spark Streaming介绍2.1. Spark Streaming概述2.1.1. 什么是Spark Streaming Spark Streaming类似于Apache Storm,用于流式数据的处理。根据其官方文档介绍,Spa翻译 2017-09-26 08:42:10 · 1011 阅读 · 0 评论 -
Sqoop导入与导出底层
1.Sqoop导入底层工作原理(1)在导入前,Sqoop使用JDBC来检查将要导入的数据表。(2)Sqoop检索出表中所有的列以及列的SQL数据类型。(3)把这些SQL类型的映射到java数据类型,例如(VARCHAR、INTEGER)———>(String,Integer)。(4)在MapReduce应用中将使用这些对应的java类型来保存字段的值。原创 2017-12-04 20:38:38 · 1610 阅读 · 0 评论