spark
junzhou134
纵有疾风起,人生不言弃!
展开
-
Spark运行程序异常信息: org.apache.spark.SparkException: Task not serializable 解决办法
Spark 运行程序异常信息: org.apache.spark.SparkException: Task not serializable 解决办法原创 2017-05-20 18:52:47 · 3216 阅读 · 0 评论 -
Zookeeper+Kafka+Spark streaming单机整合开发
环境准备: ubuntu 开发环境: jdk 1.8 scala:2.11.0 spark 2.0 zookeeper 3.4.6 kafka 2.12-0.10.2.0整合:Zookeeper+Kafka+Spark streaming单机整合开发原创 2017-05-14 16:43:55 · 908 阅读 · 0 评论 -
Spark-1.6.1 Hadoop-2.6.4 VMware Ubuntu 分布式集群搭建 全过程
spark hadoop 完全分布式详细过程转载 2017-09-24 13:31:51 · 395 阅读 · 0 评论 -
spark SQL (一)初识 ,简介
一, 简介 Spark SQL是用于结构化数据处理的Spark模块。与基本的Spark RDD API不同,Spark SQL提供的接口为Spark提供了关于数据结构和正在执行的计算的更多信息。在内部,Spark SQL使用这些额外的信息来执行额外的优化。有几种与Spark SQL进行交互的方式,包括SQL和Dataset API。在计算结果时,使用相同的执行引擎,而不管使用哪原创 2017-12-23 15:30:42 · 1408 阅读 · 0 评论 -
spark SQL (二) 聚合
spark SQL (二) 聚合原创 2017-12-23 16:48:08 · 1831 阅读 · 0 评论 -
spark SQL(三)数据源 Data Source----通用的数据 加载/保存功能
spark SQL(三)数据源 Data Source----通用的数据 加载/保存功能原创 2017-12-30 11:25:25 · 2240 阅读 · 1 评论 -
spark SQL (四)数据源 Data Source----Parquet 文件的读取与加载
数据源 Data Source----Parquet 文件的读取与加载原创 2017-12-30 12:59:00 · 6792 阅读 · 0 评论 -
spark SQL(六)性能调整
spark SQL(六)性能调整原创 2017-12-30 14:40:46 · 3032 阅读 · 0 评论