SPARK2.1源码探读
谭正强
做对的事情,选择了便义无反顾,不要羡慕他人,不要输掉自己。
展开
-
001-SPARK2.1-core--SparkConf
一、spark中的配置classpath: core/src/main/scala/org/apache/spark/SparkConf.scala private val settings = new ConcurrentHashMap[String, String]()由上面可以看到,Spark的所有配置无论key和value都是String类型且存储在并发的HashMap中。1.1 加载以s...原创 2018-05-20 17:33:26 · 297 阅读 · 0 评论 -
SparkStreaming 状态管理函数比较
一、updateStateByKey官网原话:In every batch, Spark will apply the state update function for all existing keys, regardless of whether they have new data in a batch or not. If the update function returns None...原创 2018-06-05 16:10:04 · 1033 阅读 · 0 评论