![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
专项Spark2.0
TT15751097576
这个作者很懒,什么都没留下…
展开
-
Spark API
Spark API主要有两个抽象部件组成:Spark Context和RDD,应用程序通过这两个部件和Spark进行交互,连接到Spark集群并使用相关资源。 1.Spark Context 是定义在Spark库中的一个类,作为Spark库的入口,包含应用程序 main( ) 方法的Driver program通过Spark Context对象访问Spark,因为Spark Context对象表示...原创 2019-11-18 01:00:06 · 362 阅读 · 0 评论 -
Spark工作原理
面试: 掌握Java开发 熟悉HDFS/HBase/Hive/MapReduce/spark,有丰富的分布式编程经验; 熟悉Spark Streaming和Spark SQL; 熟悉Core Java,熟悉Java IO, NIO, 多线程编程, 熟悉JVM运行机制和内存管理,网络协议; 熟练掌握Linux操作系统,熟悉shell等脚本编程; 有在Spark相关项目中应用Java或Python语言...原创 2019-11-18 00:41:38 · 236 阅读 · 0 评论