![](https://img-blog.csdnimg.cn/20190927151043371.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
09_Spark
基础知识的学习
潭中镜月
这个作者很懒,什么都没留下…
展开
-
SparkStreaming
SparkSreaming1.0 概述1.1-1.2 相关概念离线和实时 批量和流式1.3 spark streaming是什么spark streaming 用于流式数据的处理处理的时候不是单条的处理而是一批一批来处理有采集周期|批处理间隔的概念,决定和作业的频率和数据处理的延迟,同时也影响着数据处理的吞吐量的性能input data stream => Spark Streaming => batches of input data => Spark Engine =原创 2020-08-11 18:49:09 · 182 阅读 · 0 评论 -
小知识总结
什么是伴生对象(static不符合面向对象原则 那就在底层设计成为单例模式 有伴生类和伴生对象所属类[有$符号的],伴生对象在伴生对象所属类中)var val(默认),printf ,保持字符串原样输出 插值变量${}字符串输出StdIn数据类型(特殊的 Unit[ () ] Null[null] Nothing[异常的标记 所有类型的子类])没有++了,使用+= (scala中没有强转 byte b +=1 [报错])流程控制 for循环像是java中的增强for循环 revers.原创 2020-08-11 18:48:22 · 84 阅读 · 0 评论 -
内核源码跟踪
1.0 内核源码跟踪driver和executorSpark运行的核心过程Spark部署模式(client和cluster):Standalone模式运行机制Yarn模式运行机制1.1 job提交以及yarn的部署执行Spark提交命令bin/ spark- submit \–class com. atguigu. spark . WordCount \–master yarn \WordCount.jar \/ input/ output底层执行 (执行的是j原创 2020-08-11 18:47:45 · 141 阅读 · 0 评论