java spark es_spark实现往es写入数据 并且支持x-pack

spark实现往es写入数据 并且支持x-pack

发布时间：2018-08-06 17:52,

浏览次数：2154

, 标签：

spark

es

pack

spark实现往es写入数据 并且支持x-pack

废话不说 直接贴代码

1、pom文件

org.apache.sparkspark-sql_2.11

artifactId> 2.2.0

org.apache.spark spark-core_2.11

2.2.0 org.elasticsearch

elasticsearch-spark-20_2.115.6.5

dependency>

2、scala代码

package com.test.demo import java.util import org.apache.spark.sql.SparkSession

import org.apache.spark.{SparkConf, SparkContext} import org.elasticsearch

.spark.sql.EsSparkSQL object SparkToES { def main(args: Array[String]): Unit =

{ //我是本地模式进行写入 到集群去掉setMaster("local[5]") var sconf = new SparkConf().setAppName

(this.getClass.getName).setMaster("local[5]") var sc = new SparkContext(sconf)

sconf.set("es.nodes",