ES-Hadoop学习笔记-Spark交互


elasticsearch-hadoop提供ElasticSearch与Apache Spark的本地集成。从ElasticSearch读取的数据是以Spark里RDD的形式进行操作,同时Spark的RDD的内容也可以被转换为文档,保存进ElasticSearch中进行查询。下面是两个交互的简单实例:

相关的依赖jar包

elasticsearch-spark_2.10-2.3.2.jar 
elasticsearch-spark_2.11-2.3.2.jar
elasticsearch-spark-1.2_2.10-2.3.2.jar
elasticsearch-spark-1.2_2.11-2.3.2.jar

ElasticSearch -> Spark

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.elasticsearch.spark.rdd.EsSpark
import org.apache.spark.sql.SQLContext

object E2SExample {

  def main(args: Array[String]) {
    var conf = new SparkConf()
    conf.setAppName("S2EExample")
    conf.setMaster("spark://master:7077")
    conf.set("es.nodes", "master:9200")
    val sc = new SparkContext(conf)

    val rdd = EsSpark.esRDD(sc, "data/t1", "?q=王*")
    println("rdd count: " + rdd.count())

    rdd.collect().foreach(record => {
      print(record._1 + ":")
      for ((k, v) <- record._2) {
        print(k + ":" + v)
      }
      println()
    })

    val sqlContext = new SQLContext(sc)
    val df = sqlContext.read.format("org.elasticsearch.spark.sql").load("data/t1")
    df.printSchema()
    df.collect().foreach(println)

    sc.stop()
  }
}
Spark -> ElasticSearch
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.elasticsearch.spark.rdd.EsSpark

case class Job(jobName:String, jobUrl:String, companyName:String, salary:String)

object S2EExample {
  
  def main(args:Array[String]) {
    var conf = new SparkConf()
    conf.setAppName("S2EExample")
    conf.setMaster("spark://master:7077")
    conf.set("es.index.auto.create", "true")
    conf.set("es.nodes", "master:9200")
    val sc = new SparkContext(conf)
    
    val job1 = Job("C开发工程师","http://job.c.com","c公司","10000")
    val job2 = Job("C++开发工程师","http://job.c++.com","c++公司","10000")
    val job3 = Job("C#开发工程师","http://job.c#.com","c#公司","10000")
    val job4 = Job("Java开发工程师","http://job.java.com","java公司","10000")
    val job5 = Job("Scala开发工程师","http://job.scala.com","java公司","10000")
    
    val rdd = sc.makeRDD(Seq(job1, job2, job3, job4, job5))
    EsSpark.saveToEs(rdd, "data/job")
    
    sc.stop()
  }
  
}


$bin/spark-submit --class org.esspark.examples.S2EExample --master  spark://master:7077 
--jars ../elasticsearch-hadoop-2.3.2/dist/elasticsearch-spark_2.10-2.3.2.jar 
../temp/esspark-0.0.1-SNAPSHOT.jar




### 回答1: spark-3.3.0-bin-hadoop3.tgz和spark-3.3.0-bin-without-hadoop.tgz是Apache Spark开源项目提供的两种软件包。它们都是用于在分布式计算环境中进行大规模数据处理和分析的工具。 spark-3.3.0-bin-hadoop3.tgz包含了Apache Spark的二进制文件以及Hadoop分布式文件系统的依赖库。Hadoop是一个开源的分布式计算框架,它提供了分布式存储和处理大规模数据的能力。如果你计划在Hadoop集群上运行Spark应用程序,那么你应该选择这个软件包。 spark-3.3.0-bin-without-hadoop.tgz是一个独立的Spark软件包,没有包含Hadoop依赖库。如果你已经在你的系统上配置了Hadoop环境,或者你想在其他分布式文件系统上运行Spark应用程序,那么你可以选择这个软件包。 在选择软件包时,你应该根据你的需求和环境来决定。如果你已经有了Hadoop环境并且想在上面运行Spark应用程序,那么应该选择spark-3.3.0-bin-hadoop3.tgz。如果你只是想在单机或其他分布式文件系统上运行Spark应用程序,那么可以选择spark-3.3.0-bin-without-hadoop.tgz。 ### 回答2: spark-3.3.0-bin-hadoop3.tg和spark-3.3.0-bin-without-hadoop.tgz是Apache Spark的不同版本的压缩文件。 spark-3.3.0-bin-hadoop3.tg是包含了Apache Hadoop版本3.x的已编译的Apache Spark版本。Apache Spark是一个开源的分析引擎,用于处理大规模数据计算和分析。它支持并行处理,能够在大规模集群上进行分布式计算任务的执行。而Apache Hadoop是一个用于处理大数据的开源框架,它提供了分布式存储和计算的能力。因此,当使用spark-3.3.0-bin-hadoop3.tg时,可以方便地在与Hadoop版本3.x兼容的环境中使用Apache Spark,并且可以充分利用Hadoop的优势。 spark-3.3.0-bin-without-hadoop.tgz是不包含Apache Hadoop的已编译Apache Spark版本。这个版本适用于用户已经在集群中安装了独立的Hadoop环境,或者希望使用其他版本的Hadoop的情况。通过使用spark-3.3.0-bin-without-hadoop.tgz,用户可以自由选择与他们的Hadoop环境兼容的Spark版本,并且可以更容易地进行集成和调试。 总之,spark-3.3.0-bin-hadoop3.tg和spark-3.3.0-bin-without-hadoop.tgz是Apache Spark的不同版本的压缩文件,分别适用于已安装了Hadoop版本3.x的环境和希望使用其他版本Hadoop或已有独立Hadoop环境的用户。用户可以根据自己的需求选择对应的版本进行安装和使用。 ### 回答3: spark-3.3.0-bin-hadoop3.tg 和 spark-3.3.0-bin-without-hadoop.tgz 是两个版本的 Apache Spark 软件包。 spark-3.3.0-bin-hadoop3.tg 是一个含有 Hadoop 的 Apache Spark 软件包。Hadoop 是一个用于处理大规模数据的开源框架,它提供了分布式存储和计算的能力。这个软件包的目的是为了与 Hadoop 3.x 版本兼容,它包含了与 Hadoop 的集成以及针对分布式存储和计算的优化。如果你想要在已经安装了 Hadoop 3.x 的集群上使用 Apache Spark,这个软件包将是一个好的选择。 另一方面,spark-3.3.0-bin-without-hadoop.tgz 是一个不包含 Hadoop 的 Apache Spark 软件包。这个软件包主要用于那些已经在集群中运行了其他的大数据处理框架(如 Hadoop、Hive 等)的用户。如果你的集群已经配置好了其他的大数据处理框架,而且你只需要 Spark 的计算引擎,那么这个软件包会更加适合你。 无论你选择哪个软件包,它们都提供了 Apache Spark 的核心功能,例如分布式计算、内存计算、数据处理、机器学习等。你可以根据你的实际需求和环境选择合适的软件包进行安装和配置。
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值