spark读取elasticsearch中的多个index

最新推荐文章于 2024-01-20 12:58:01 发布
最新推荐文章于 2024-01-20 12:58:01 发布
阅读量3.4k 收藏 1
点赞数
分类专栏： spark项目实战总结 文章标签： spark elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012940753/article/details/51160886
版权
本文介绍如何利用Spark从Elasticsearch中高效地读取多个Index的数据，适用于大数据处理和分析场景。
摘要由CSDN通过智能技术生成

spark读取elasticsearch中的多个index

有几个思路可供选择
1.直接用逗号隔开多个index，代码如下 
val esLogs=sc.esRDD("logstash-2016.04.05,logstash-2016.04.06")
2.读取每一个，结果是RDD，然后将两个RDD进行合并，使用join是对两个RDD进行交集，union是取并集 

val esLogs=sc.esRDD("logstash-2016.04.05")
val esLogs2=sc.esRDD("logstash-2016.04.06")
<pre code_snippet_id="1648372" snippet_file_name="blog_20160415_4_893201" name="code" class="html">var esSumlogs=esLogs.join(esLogs2)
 
 
 

 

 
 
 
 
 
  
 
 
 
 
 
  
 
 
 
 
 
  
 
 
 
 
 
  
 
 
 以上代码经过本人实战检验 
 
 


                

        

        

    

  


    

      

        

            

              
                
                  疯狂的程序猿88888
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
spark sql 获取数组某index处元素

				
			

			

				

					yy的博客
				

				

					04-21
					
					3438
					
				

			

		

		

			
				
index从1开始


        val df = Seq(
            ("a", "b")
            , ("a", "c")
            , ("a", "d")
        ).toDF("c1", "c2")

        val df1 = df.groupBy('c1).agg(collect_list(struct($"c1", $"c2")).as("c3"))
        df1.show(false)
        df1...

			
		

	



                

              
                



	

		

			

				
					
spark读取elasticsearch nested array

				
			

			

				

					shiter编写程序的艺术
				

				

					03-26
					
					702
					
				

			

		

		

			
				
文章大纲spark读elasticsearch arrayelasticsearch数组spark读elasticsearch arrayspark读nested array结论

spark读elasticsearch array
elasticsearch数组
在Elasticsearch中，没有专用的数组类型。默认情况下，任何字段都可以包含零个或多个值(数组中的所有值必须具有相同的数据类型)。
所以，我们在写数据的时候，可以忽略数组和单个值得区别。例如：
PUT my_index/_doc/1
{
 

			
		

	



                


  
              

                


	

		

			

				
					
spark on es 多索引查询

				
			

			

				

					weixin_34342578的博客
				

				

					03-24
					
					425
					
				

			

		

		

			
				
核心接口

trait SparkOnEsService {
  val conf = new SparkConf
//  conf.setMaster("local[10]")
  val file = new File("lib").getCanonicalFile.listFiles()
  val fs = file.toSeq.map(f => {
    f.get...

			
		

	





	

		

			

				
					
spark读取es java_使用Spark对ElasticSearch进行读取

				
			

			

				

					weixin_29368571的博客
				

				

					02-27
					
					726
					
				

			

		

		

			
				
ElasticSearch for Apache Hadoop是ES提供的工具库，让Hadoop、Pig、Hive等可以比较原生的方式去和ES交互。目前提供了mapreduce、hive、pig、cascading、spark、storm的集成。下面以Spark为例，演示如何利用这个工具库去读取ES记录安装我使用的是spark-shell交互式环境进行的测试，所以需要手动下载elasticsear...

			
		

	



		

			
		



	

		

			

				
					
spark集群--elasticsearch

				
			

			

				

					weixin_30298497的博客
				

				

					03-09
					
					76
					
				

			

		

		

			
				
spark集群搭建
elasticsearch读写数据

====================================================

spark集群搭建

spark官网：http://spark.apache.org
各个版本：spark-2.1.0， java 1.8.0_121以及elasticsearch-5.2.0
本集群利...

			
		

	





	

		

			

				
					
ES-Spark多个读和多个写的解决方法

				
			

			

				

					yellowboy_的博客
				

				

					02-25
					
					1315
					
				

			

		

		

			
				
Spark在读写ES时，需要在SparkConf里配置ES的用户名、密码、host、port，因此当涉及到多个读或写时，就需要配置多个SparkConf。但SparkConf在运行中是不允许被更改的，此时应该怎么办呢？

 

 

1、读：利用options进行配置

val sqlContext = new SQLContext(sc)

val cfg = Map("es.index.aut...

			
		

	





	

		

			

				
					
Spark 读取elasticsearch数据

				
			

			

				

					qq_28429443的博客
				

				

					12-18
					
					3641
					
				

			

		

		

			
				
最近在搞大数据的时候，遇到一个案例。之前的一些数据是设置死的。现在要改成动态读取es上的数据，然后在进行处理，就写了这么一个读取elasticsearch索引数据的例子
object SparkReadFromES {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("DecisionTre...

			
		

	





	

		

			

				
					
spark读取es java_Spark读写ES

				
			

			

				

					weixin_28725407的博客
				

				

					02-27
					
					1432
					
				

			

		

		

			
				
本文主要介绍spark sql读写es、structured streaming写入es以及一些参数的配置ES官方提供了对spark的支持，可以直接通过spark读写es，具体可以参考ES Spark Support文档(文末有地址)。以下是pom依赖，具体版本可以根据自己的es和spark版本进行选择：org.elasticsearchelasticsearch-spark-20_2.116.0...

			
		

	





	

		

			

				
					
Spark读取es数据的array类型

				
			

			

				

					weixin_59111546的博客
				

				

					12-07
					
					2048
					
				

			

		

		

			
				
Spark读取es上的数据，可通过es.read.field.as.array.include进行设置，防止出现array类型报错

			
		

	





	

		

			

				
					
spark读写 es

				
			

			

				

					Cool0的博客
				

				

					07-17
					
					1348
					
				

			

		

		

			
				
spark读写es
官方文档：https://www.elastic.co/guide/en/elasticsearch/hadoop/6.7/configuration.html
mvn依赖
我这里使用的版本如下：




名称
版本




spark
2.3.0


es
6.7.0


<dependency>
    <groupId>org.elasticsearch</groupId>
    <artifactId>elasticsearch-

			
		

	





	

		

			

				
					
elasticsearch-spark部分参数理解

				
			

			

				

					码者人生的技术博客
				

				

					10-13
					
					2250
					
				

			

		

		

			
				
es.nodes.wan.only: false
es.nodes.discovery: true
Spark会通过访问es.nodes中指定的host(可以为多个) 得到ES集群所有开启HTTP服务节点的ip和port，后续对数据的访问会直接访问分片数据所在的节点上（需要保证ES集群所有节点都能够被Spark集群访问到）

es.nodes.wan.only: true
es.nodes.discovery: false或不设置
Spark发送给ES的所有请求都需要通过这个节点进行转发,效率相对比较低



			
		

	





	

		

			

				
					
Spark读取ES数据之Scala版

				
			

			

				

					Bomb
				

				

					07-04
					
					5261
					
				

			

		

		

			
				
使用Spark读取ES数据
因为工作需要，所以针对性学习了一波ES查询，并总结了一波

			
		

	





	

		

			

				
					
spark读写Elasticsearch

				
			

			

				

					跋跋寒的博客
				

				

					11-22
					
					955
					
				

			

		

		

			
				
关于scala代码和Elasticsearch集成已经很常见了
直接一个maven配置
<dependency>
	<groupId>org.elasticsearch</groupId>
	<artifactId>elasticsearch-hadoop</artifactId>
	<version>6.1.0</ve...

			
		

	





	

		

			

				
					
Spark 读写 es 数据（scala 版）

				
			

			

				

					hj1993的博客
				

				

					02-03
					
					1957
					
				

			

		

		

			
				
Spark 读取 es（scala 版）

			
		

	





	

		

			

				
					
spark读取es数据

				
			

			

				

					data_curd的博客
				

				

					11-04
					
					1472
					
				

			

		

		

			
				
val conf = new SparkConf().setAppName("Test02").setMaster("local[*]")
    conf.set("es.index.auto.create","true")
    conf.set("es.nodes","192.168.161.101")
    conf.set("es.port","9200")
    conf.set("es.nodes.wan.only","true")
    conf.set("es.read.field

			
		

	





	

		

			

				
					
spark读取elasticSerach

				
			

			

				

					前方的路在刚开始
				

				

					12-27
					
					1412
					
				

			

		

		

			
				
搭建参考:我的这篇elasticsearch搭建_我要用代码向我喜欢的女孩表白的博客-CSDN博客为了方便测试，我们先建立个索引，如果没有索引，他也能插入，只是走的是默认插入格式。不过虽然接触es已经4年了，但是在工作中，整体项目用es存储的机会还是比较少，所以我对索引不太熟悉，这里，就请大家勉为其难和我一起学习下，es的索引（熟手可跳过，直接看下面的开发部分）下面需要记住的话1.索引就相当于是es的数据库（7.x版本的es没有数据表的概念）PUT http://IP:9200/test1这个api能够建索

			
		

	





	

		

			

				
					
Spark 读取ElasticSearch

					
最新发布

				
			

			

				

					小湘西的博客
				

				

					01-20
					
					460
					
				

			

		

		

			
				
查询语句只要满足ES规范就行，这里使用的是下面的包。

			
		

	





	

		

			

				
					
Spark一次性读取多个目录(嵌套)下多个文件

				
			

			

				

					qq_40407889的博客
				

				

					02-11
					
					3083
					
				

			

		

		

			
				
Spark一次性读取指定目录下的所有子目录(嵌套)下的所有文件(pyspark语言为例子)
sc = spark.sparkContext
rdd = sc.textFile("/file/*/part-*")

举例：
当前目录：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hdvK2g4M-1644562997368)(C:\Users\guokai02\AppData\Roaming\Typora\typora-user-images\image-2022021115

			
		

	





	

		

			

				
					
spark读取elasticsearch中数组类型的字段

				
			

			

				

					03-16
				

			

		

		

			
				
例如，假设Elasticsearch中有一个名为“tags”的数组类型字段，可以使用以下代码将其读取为Spark DataFrame：  ```scala import org.apache.spark.sql.SparkSession  val spark = SparkSession.builder()  .appName...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值