spark
江南老画船
这个作者很懒,什么都没留下…
展开
-
win10搭建spark本地开发环境
下载spark-2.2.2-bin-hadoop2.7,解压到目录下载hadoop-2.7.7scala-2.11.8.msi下载安装,尽量自定义路径,避免类似于C:\Program Files存在路径包含空格的情况下载jdk1.8+配置环境变量idea–settings—plugins找到scala插件下载安装建立scala项目添加maven框架支持添加pom文件<...原创 2019-12-18 08:15:18 · 805 阅读 · 0 评论 -
spark写入hbase时报错java.lang.IllegalArgumentException: Can not create a Path from a null string
在使用setAsNewAPIHadoopDataset写数据到Hbase时发生如下错误:java.lang.IllegalArgumentException: Can not create a Path from a null string at org.apache.hadoop.fs.Path.checkPathArg(Path.java:123) at or...转载 2019-04-29 11:03:52 · 1313 阅读 · 0 评论 -
Spark 闭包与序列化(json4s.jackson)(转)
Spark的官方文档再三强调那些将要作用到RDD上的操作,不管它们是一个函数还是一段代码片段,它们都是“闭包”,Spark会把这个闭包分发到各个worker节点上去执行,这里涉及到了一个容易被忽视的问题:闭包的“序列化”。显然,闭包是有状态的,这主要是指它牵涉到的那些自由变量以及自由变量依赖到的其他变量,所以,在将一个简单的函数或者一段代码片段(就是闭包)传递给类似RDD.map这样的操作前,S...转载 2019-07-26 14:02:38 · 266 阅读 · 0 评论 -
spark写入到es集群
spark2.x写入数据到ElasticSearch5.X集群,首先说明,到目前为止,我使用过spark1.6写入数据到ES2.4中,使用很简单。当我使用spark1.6写入到ES5.5的时候,一直不成功。官网首先就讲了through the dedicated support available since 2.1 or through the Map/Reduce bridge sinc...转载 2019-07-26 14:05:01 · 1534 阅读 · 0 评论