spark
buside
这个作者很懒,什么都没留下…
展开
-
关于apache spark:线程“主”中的异常java.lang.NoSuchMethodError:scala.Predef $ .refArrayOps([Ljava / lang / Obje
参考https://www.codenong.com/56007488/转载 2021-11-18 14:43:42 · 182 阅读 · 0 评论 -
pyspark 将dataframe写入elasticsearch
1、创建spark与elasticsearch的连接需要使用elasticsearch的依赖包,elasticsearch-spark-20_2.11-7.5.1.jar,注意版本要与elasticsearch保持一致2、spark写入elasticsearchfrom collections import OrderedDict# 将结果写入esoptions = OrderedDict()options['es.nodes'] = 'your_ip'options['es.port原创 2021-03-05 14:43:11 · 1013 阅读 · 0 评论 -
windows 10 下搭建本地spark环境
1、安装jdk环境2、spark安装与配置官网网址http://spark.apache.org/downloads.html选择下载版本https://archive.apache.org/dist/spark/这里我选择的是spark-2.4.0,百度网盘链接:https://pan.baidu.com/s/1Hj6qt3iDQYCetlgTmUiukg ,提取码:1234复制这段内容后打开百度网盘手机App,操作更方便哦下载好版本后,解压至目录,并配置环境变量,设置path为C.原创 2021-02-01 11:20:45 · 275 阅读 · 0 评论