spark
简约AI
It's no use doing what you like, you have got to like what you do.
展开
-
spark快速入门与WordCount程序机制深度解析 spark研习第二季
2、spark wordCount程序深度剖析标签: spark一、Eclipse(scala IDE)开发local和cluster(一). 配置开发环境要在本地安装好java和scala。 由于spark1.6需要scala 2.10.X版本的。推荐 2.10.4,java版本最好是1.8。所以提前我们要需要安装好java和scala并在环境变量中配原创 2016-07-22 09:28:12 · 3224 阅读 · 0 评论 -
spark集群与spark HA高可用快速部署 spark研习第一季
1、spark 部署标签: spark0 apache spark项目架构spark SQL -- spark streaming -- MLlib -- GraphX0.1 hadoop快速搭建,主要利用hdfs存储框架下载hadoop-2.6.0,解压,到etc/hadoop/目录下0.2 快速配置文件原创 2016-07-22 09:15:36 · 5084 阅读 · 0 评论 -
spark 各内部机制流程图
原创 2016-07-28 14:35:57 · 1186 阅读 · 0 评论 -
spark on hive原理与环境搭建 spark研习第三季
SparkSQL前身是Shark,Shark强烈依赖于Hive。Spark原来没有做SQL多维度数据查询工具,后来开发了Shark,Shark依赖于Hive的解释引擎,部分在Spark中运行,还有一部分在Hadoop中运行。所以讲SparkSQL必须讲Hive。一、spark on hive原理与搭建1. hive的本质1)Hive是分布式数据仓库,同时又是原创 2016-08-26 13:46:33 · 5640 阅读 · 0 评论 -
Spark SQL与DataFrame原理解析与实现 spark研习第四季
二、 SparkSQL与DataFrame原理解析与实现1. SparkSQL与DataFrameSparkSQL之所以是除了SparkCore外最大的和最受关注的组件,原因是: A)处理一切存储介质和各种格式的数据(同时可以方便地扩展SparkSQL的功能来支持更多类型的数据,例如Kudo,Kudo在存储和计算效率间取得了完美的平衡),包括实时数据处理。201原创 2016-08-26 13:50:17 · 6163 阅读 · 0 评论 -
Spark SQL相关API操作实例 spark研习第五季
三、Spark SQL的操作实例1. Spark SQL数据加载和保存Spark SQL重要是操作DataFrame,DataFrame本身提供了save和load的操作, Load:可以创建DataFrame, Save:把DataFrame中的数据保存到文件或者说与具体的格式来指明我们要读取的文件的类型以及与具体的格式来指出我们要输出的文件是什么类型。原创 2016-08-26 13:54:33 · 3350 阅读 · 0 评论 -
Spark SQL源码函数解读及UDF/UDAF例子 spark研习第六集
四、 Spark SQL源码函数解读1. Spark SQL内置函数解密与实战SparkSQL的DataFrame引入了大量的内置函数,这些内置函数一般都有CG(CodeGeneration)功能,这样的函数在编译和执行时都会经过高度优化。问题:SparkSQL操作Hive和Hive on Spark一样吗?=> 不一样。SparkSQL操作Hive只是把H原创 2016-08-26 13:58:36 · 5360 阅读 · 0 评论 -
spark异常处理
spark 异常处理类javascala可以写成类似java的异常处理模式,如果是读取本地文件,import java.io.FileReaderimportjava.io.FileNotFoundExceptionimport java.io.IOExceptionobject Demo {def main(args: Array[String]) {原创 2017-11-09 10:43:00 · 4770 阅读 · 0 评论