![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
weixin_38842855
这个作者很懒,什么都没留下…
展开
-
spark原理博客
spark积累主要包括三方面 1、用起来:目前spark sql、pyspark、struct streaming都比较易用,在自己的业务场景先用起来,再逐步的优化 2、视野及场景提高:可以关注类似spark submit、中国数据库技术大会、hbase中国社区相关的 topic,看看其他公司都怎么使用的;另外需要关注spark和其他组件的配合使用,类似hbase、mongo、solr等 3...转载 2018-11-07 10:09:36 · 80 阅读 · 0 评论 -
spark源码:SparkContext初始化需要启动的组件
spark源码分析之SparkContext1.SparkContext简介2 初始化SparkContext需要启动的组件2.0 SparkContext私有的可变成员变量2.1 SpaekEnv2.2 LiveListenerBus2.3 SparkUI2.4 SparkStatusTracker2.5 ConsoleProgressBar2.6 DAGScheduler2.7 TaskSch...原创 2018-11-26 20:49:05 · 503 阅读 · 0 评论