专项Spark2.0
TT15751097576
这个作者很懒,什么都没留下…
展开
-
Spark API
Spark API主要有两个抽象部件组成:Spark Context和RDD,应用程序通过这两个部件和Spark进行交互,连接到Spark集群并使用相关资源。1.Spark Context是定义在Spark库中的一个类,作为Spark库的入口,包含应用程序 main( ) 方法的Driver program通过Spark Context对象访问Spark,因为Spark Context对象表示...原创 2019-11-18 01:00:06 · 390 阅读 · 0 评论 -
Spark工作原理
面试:掌握Java开发熟悉HDFS/HBase/Hive/MapReduce/spark,有丰富的分布式编程经验;熟悉Spark Streaming和Spark SQL;熟悉Core Java,熟悉Java IO, NIO, 多线程编程, 熟悉JVM运行机制和内存管理,网络协议;熟练掌握Linux操作系统,熟悉shell等脚本编程;有在Spark相关项目中应用Java或Python语言...原创 2019-11-18 00:41:38 · 252 阅读 · 0 评论