![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
Scathon
追梦之猿
展开
-
Spark基础-SparkStreaming-官方文档学习-01
SparkStreaming 官方文档学习-01sparkstreamming基础部门学习--主要依赖于spark官方文档(翻译+实践),版本是2.2.2,如有错误,希望大家不吝赐教~一、入门例子:package com.scathon.spark.example.spark_streamingimport org.apache.spark.{SparkConf, Spar...原创 2018-08-31 14:31:18 · 173 阅读 · 0 评论 -
SparkRDD
package com.scathon.spark.rddimport org.apache.spark.{SparkConf, SparkContext}import org.junit.Testclass RddDemo { val conf = new SparkConf().setAppName("rdd").setMaster("local[*]") val sc...原创 2018-09-08 12:06:13 · 161 阅读 · 0 评论 -
Spark技术体系与MapReduce,Hive,Storm几种技术的关系与区别
大数据体系架构:Spark内存计算与传统MapReduce区别:SparkSQL与Hive的区别:SparkSQL替换的是Hive的查询引擎,Hive是一种基于HDFS的数据仓库,并且提供了基于SQL模型的,针对存了大数据的数据仓库,进行分布式交互查询的查询引擎,所以SparkSQL暂时并不能完全替代Hive,实际上,在生产环境中,SparkSQL也是针对Hive数据仓库中...原创 2018-09-22 17:15:30 · 6223 阅读 · 0 评论 -
spark远程debug
以spark-shell 启动过程调试为例:spark-shell --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888"出现了监听8888端口的这个日志就说明服务端配置成功。...原创 2019-09-11 22:44:29 · 152 阅读 · 0 评论 -
spark源码学习一__spark-shell启动过程源码学习
一、配置spark-shell远程调试spark-shell --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888"二、IDEA本地连接远程JVM三、spark-shell启动脚本一共涉及三个脚本:spark-shell脚本:funct...原创 2019-09-13 22:02:32 · 359 阅读 · 0 评论