es
江南老画船
这个作者很懒,什么都没留下…
展开
-
Spark 闭包与序列化(json4s.jackson)(转)
Spark的官方文档再三强调那些将要作用到RDD上的操作,不管它们是一个函数还是一段代码片段,它们都是“闭包”,Spark会把这个闭包分发到各个worker节点上去执行,这里涉及到了一个容易被忽视的问题:闭包的“序列化”。 显然,闭包是有状态的,这主要是指它牵涉到的那些自由变量以及自由变量依赖到的其他变量,所以,在将一个简单的函数或者一段代码片段(就是闭包)传递给类似RDD.map这样的操作前,S...转载 2019-07-26 14:02:38 · 244 阅读 · 0 评论 -
spark写入到es集群
spark2.x写入数据到ElasticSearch5.X集群,首先说明,到目前为止,我使用过spark1.6写入数据到ES2.4中,使用很简单。 当我使用spark1.6写入到ES5.5的时候,一直不成功。 官网首先就讲了 through the dedicated support available since 2.1 or through the Map/Reduce bridge sinc...转载 2019-07-26 14:05:01 · 1508 阅读 · 0 评论