ES _reindex实践初步总结

最新推荐文章于 2023-11-01 16:21:36 发布
最新推荐文章于 2023-11-01 16:21:36 发布
阅读量634 收藏
点赞数
分类专栏： ES
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BD_fuhong/article/details/103729583
版权

1、建立新索引

2、指定reindex

{
  "source": {
    "index": "deviceinfo_es"
  },
  "dest": {
    "index": "deviceinfo"
  }
}

结果如图：

3.2G,77万条数据，耗时526324毫秒，约10分钟。

参考：

https://blog.csdn.net/laoyang360/article/details/81589459

https://blog.csdn.net/qq_32923745/article/details/80827550

 

注：

1、建立新索引

{
  "mappings": {
    "appList": {
      "properties": {
        "app_ver": {
          "type": "string"
        },
        "apps": {
          "properties": {
            "app_label": {
              "type": "string"
            },
            "pkg_name": {
              "type": "string"
            }
          }
        },
        "biz_channel": {
          "type": "string"
        },
        "biz_type": {
          "type": "string"
        },
        "crawler_time": {
          "type": "string"
        },
        "imei": {
          "type": "string"
        },
        "queryDate": {
          "type": "date",
          "format": "yyyy-MM-dd HH:mm:ss"
        },
        "type": {
          "type": "string"
        },
        "user_id": {
          "type": "string"
        }
      }
    },
    "deviceInfo_td": {
      "properties": {
        "data": {
          "type": "string"
        },
        "queryDate": {
          "type": "date",
          "format": "yyyy-MM-dd HH:mm:ss"
        },
        "source": {
          "type": "string"
        },
        "type": {
          "type": "string"
        },
        "user_id": {
          "type": "string"
        }
      }
    },
    "deviceInfo": {
      "properties": {
        "addition_tool": {
          "type": "string"
        },
        "app_ver": {
          "type": "string"
        },
        "basestation_count": {
          "type": "string"
        },
        "basestation_num": {
          "type": "string"
        },
        "biz_channel": {
          "type": "string"
        },
        "biz_type": {
          "type": "string"
        },
        "card_nettype": {
          "type": "string"
        },
        "client_version": {
          "type": "string"
        },
        "crawler_time": {
          "type": "string"
        },
        "distin_hight": {
          "type": "string"
        },
        "distin_width": {
          "type": "string"
        },
        "exist_simcard": {
          "type": "string"
        },
        "exist_wifi": {
          "type": "string"
        },
        "first_installtime": {
          "type": "string"
        },
        "frame_atttool": {
          "type": "string"
        },
        "gps_address": {
          "type": "string"
        },
        "imei": {
          "type": "string"
        },
        "imsi": {
          "type": "string"
        },
        "imsi1": {
          "type": "string"
        },
        "ip": {
          "type": "string"
        },
        "is_root": {
          "type": "string"
        },
        "last_updatetime": {
          "type": "string"
        },
        "latitude": {
          "type": "string"
        },
        "longitude": {
          "type": "string"
        },
        "mem": {
          "type": "string"
        },
        "mobile_coucode": {
          "type": "string"
        },
        "mobile_netcode": {
          "type": "string"
        },
        "network_type": {
          "type": "string"
        },
        "operation_mode": {
          "type": "string"
        },
        "os_type": {
          "type": "string"
        },
        "phone1": {
          "type": "string"
        },
        "phone_brand": {
          "type": "string"
        },
        "phone_model": {
          "type": "string"
        },
        "queryDate": {
          "type": "date",
          "format": "yyyy-MM-dd HH:mm:ss"
        },
        "route_mac": {
          "type": "string"
        },
        "router_ip": {
          "type": "string"
        },
        "router_name": {
          "type": "string"
        },
        "serial_number": {
          "type": "string"
        },
        "service_name": {
          "type": "string"
        },
        "ssid": {
          "type": "string"
        },
        "support_bluetooth": {
          "type": "string"
        },
        "support_callup": {
          "type": "string"
        },
        "support_mobnet": {
          "type": "string"
        },
        "support_nfc": {
          "type": "string"
        },
        "type": {
          "type": "string"
        },
        "use_simulator": {
          "type": "string"
        },
        "user_id": {
          "type": "string"
        }
      }
    },
    "callLog": {
      "properties": {
        "app_ver": {
          "type": "string"
        },
        "biz_channel": {
          "type": "string"
        },
        "biz_type": {
          "type": "string"
        },
        "crawler_time": {
          "type": "string"
        },
        "imei": {
          "type": "string"
        },
        "queryDate": {
          "type": "date",
          "format": "yyyy-MM-dd HH:mm:ss"
        },
        "records": {
          "properties": {
            "call_duration": {
              "type": "long"
            },
            "call_time": {
              "type": "string"
            },
            "call_type": {
              "type": "string"
            },
            "other_num": {
              "type": "string"
            }
          }
        },
        "type": {
          "type": "string"
        },
        "user_id": {
          "type": "string"
        }
      }
    },
    "smsList": {
      "properties": {
        "app_ver": {
          "type": "string"
        },
        "biz_channel": {
          "type": "string"
        },
        "biz_type": {
          "type": "string"
        },
        "crawler_time": {
          "type": "string"
        },
        "imei": {
          "type": "string"
        },
        "queryDate": {
          "type": "date",
          "format": "yyyy-MM-dd HH:mm:ss"
        },
        "records": {
          "properties": {
            "phone": {
              "type": "string"
            },
            "sms_time": {
              "type": "string"
            },
            "smsbody": {
              "type": "string"
            },
            "type": {
              "type": "string"
            }
          }
        },
        "type": {
          "type": "string"
        },
        "user_id": {
          "type": "string"
        }
      }
    },
    "contact": {
      "properties": {
        "app_ver": {
          "type": "string"
        },
        "biz_channel": {
          "type": "string"
        },
        "biz_type": {
          "type": "string"
        },
        "crawler_time": {
          "type": "string"
        },
        "imei": {
          "type": "string"
        },
        "queryDate": {
          "type": "date",
          "format": "yyyy-MM-dd HH:mm:ss"
        },
        "records": {
          "properties": {
            "home_phone": {
              "type": "string"
            },
            "last_time_contacted": {
              "type": "string"
            },
            "last_updated_time": {
              "type": "string"
            },
            "name": {
              "type": "string"
            },
            "phone": {
              "type": "string"
            },
            "work_phone": {
              "type": "string"
            }
          }
        },
        "type": {
          "type": "string"
        },
        "user_id": {
          "type": "string"
        }
      }
    }
  }
}

 

时光不语,静待花开
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
J-ES-Reindex:用于重新索引 Elasticsearch 索引的 Java 命令行工具
06-13
J-ES-Reindex Java Command Line tool for reindexing Elasticsearch Indices$ java -jar J-ES-Reindex.jar ---------------------------------Elasticsearch Java Reindex tool v0.5------------------------------...
es在数据量很大的情况下（数十亿级别）如何提高查询效率
搓搓那年时光静好
02-16 2186
（1）性能优化的杀手锏——filesystem cache os cache，操作系统的缓存 你往es里写的数据，实际上都写到磁盘文件里去了，磁盘文件里的数据操作系统会自动将里面的数据缓存到os cache里面去 es的搜索引擎严重依赖于底层的filesystem cache，你如果给filesystem cache更多的内存，尽量让内存可以容纳所有的indx segment file索引数...
ES索引重建reindex详解
弹指天下
09-26 1万+
详细介绍索引重建reindex的使用场景和各种用法。
往ES插入百万条数据的耗时统计
u013045102的专栏
05-13 8157
1、背景 最近在搞一个政府信息化的项目，此项目基于检索来实现。上线前，需要测试系统，其中造假数据百万条，看接口的检索性能如何 2、操作 新建了一个备份索引，同时增加了一个测试入库接口，用到线程池并发入库 我的电脑是4核的喔创建了5个线程，10个任务执行插入操作， 最后将备份索引的数据reindex到原索引 3、耗时 postman调用接口，耗时大概100分钟，平均1万/min re...
11.reindex操作
寒夜
10-20 4247
文章目录1. Reindex API简介2. 从远程集群重建索引3. URL参数4. 响应体5. 配合Task API使用1. 查找任务2. 配合取消任务API使用3. 重置节流阀4. 修改字段名6. 使用slice并行执行1. 手动切片2. 自动切片3. 挑选slice的数量8. index name 带有日志的索引的重建提取索引的随机子集 1. Reindex API简介 Reindex不会尝试创建目标索引。它不会复制源索引的设置信息。您应该在运行_reindex操作之前创建目标索引，包括设置mappi
wb_reindex
03-21
在Python编程语言中，`wb_reindex`似乎指的是一个与数据操作相关的功能或者库，但这个简短的标题并没有提供足够的信息来详细解释其具体含义。通常，`reindex`这个词在数据分析领域，特别是与Pandas库关联时，用于...
es-reindex:Ruby脚本复制ElasticSearch索引（重新索引）
03-26
es-reindex-用于复制ElasticSearch索引的简单ruby脚本 简单的ruby脚本，用于复制和重新索引ElasticSearch索引，复制索引设置和映射。 在滚动过程中将显示进度和时间估计。 要求 需要Ruby 1.8.6或更高版本，为方便...
reindex-client-6.2.3-API文档-中文版.zip
07-12
标签：elasticsearch、plugin、reindex、client、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和...
reindex-client-5.5.1-API文档-中文版.zip
05-02
标签：elasticsearch、plugin、reindex、client、jar包、java、中文文档； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和...
Pandas 模块-操纵数据(2)-重新索引-reindex()函数
一分耕耘一分收获
12-07 1万+
2. 重新索引 2.1reindex() 函数 2.1.1reindex() 语法 DataFrame.reindex(self,labels=None,index=None,columns=None,axis=None,method=None,copy=True,level=None,fill_value=nan,limit=None,tolerance=None) 使用可选的填充逻辑使DataFrame符合新索引。 labels : 类似数组，可选，新 labels ...
Pandas详解八之ReIndex重新索引
热门推荐
yungeisme的博客
03-17 6万+
约定： import pandas as pd import numpy as np ReIndex重新索引 reindex()是pandas对象的一个重要方法，其作用是创建一个新索引的新对象。 一、对Series对象重新索引 se1=pd.Series([1,7,3,9],index=['d','c','a','f']) se1 代码结果： d 1...
【Elasticsearch】小白实战！ES使用Reindex迁移数据
最新发布
Your_Boy_Tt的博客
11-01 4154
ES 数据迁移，Reindex 迁移亿级数据；Linux 角色添加到 root；kibana 对外访问设置
ES修改索引字段类型之后，reIndex数据如何提速
weixin_39106427的博客
02-06 201
【代码】ES修改索引字段类型之后，reIndex数据如何提速。
es 的reindex详解
goxingman的博客
12-27 1万+
http://192.168.4.15:9200/_reindex/ POST { "source": { "index": "old_index", "size":1000 //可选，每次批量提交1000个，可以提高效率，建议每次提交5-15M的数据 }, "dest": { "index": "en_law" } } 1、新index不创建mappin...
ES系列--修改字段映射类型
soso的博客
12-28 3221
前言 之前在没有创建索引模板的时候，直接通过logstash往es里塞数据，其中一些字段的类型并不符合我们需要，这个时候就需要去修改字段的映射类型了。 正文 es不支持直接修改字段类型，解决思路： 新建临时索引，执行字段类型，复制数据 删除旧索引，重建同名索引，从临时索引复制数据 #获取旧索引的字段映射 GET /users/_mapping #创建临时索引带映射 PUT /users_temp { "mappings": { "user": { "properties": {
es重建字段类型_ES之四：Elasticsearch Mapping类型映射概述与元字段类型
weixin_39953244的博客
12-19 718
Mapping,映射，相当于关系型数据库创建语句，定义文档字段及其类型、索引与存储方式。通常会涉及如下方面：文档中哪些字段需要定义成全文索引字段。文档中哪些字段定义为精确值，例如日期，数字、地理位置等。文档中哪些字段需要被索引(能通过该字段的值查询文档)。日期值的格式。动态添加字段的规则定义等。1、类型映射概述1.1 映射类型Elasticsearch支持meta-fields、fields or...
【Elasticsearch索引】ReIndex重建索引
qq_44849679的博客
10-08 5550
就像update_by_query一样，reindex获取源索引的快照，但是它的目标必须是一个不同的索引，这样就不太可能出现版本冲突。比修改值大的requests_per_second将立即生效，而修改值小的requests_per_second将在完成当前批处理后生效。除了像pretty这样的标准参数外，Reindex还支持refresh、wait_for_completion、wait_for_active_shards、timeout、scroll和requests_per_second。
Traceback (most recent call last): File "F:\pythonproject\ARIMA-GRACH\3.py", line 15, in <module> data = data.asfreq('D') File "E:\anaconda\lib\site-packages\pandas\core\frame.py", line 10517, in asfreq return super().asfreq( File "E:\anaconda\lib\site-packages\pandas\core\generic.py", line 7697, in asfreq return asfreq( File "E:\anaconda\lib\site-packages\pandas\core\resample.py", line 2096, in asfreq new_obj = obj.reindex(dti, method=method, fill_value=fill_value) File "E:\anaconda\lib\site-packages\pandas\util\_decorators.py", line 324, in wrapper return func(*args, **kwargs) File "E:\anaconda\lib\site-packages\pandas\core\frame.py", line 4804, in reindex return super().reindex(**kwargs) File "E:\anaconda\lib\site-packages\pandas\core\generic.py", line 4966, in reindex return self._reindex_axes( File "E:\anaconda\lib\site-packages\pandas\core\frame.py", line 4623, in _reindex_axes frame = frame._reindex_index( File "E:\anaconda\lib\site-packages\pandas\core\frame.py", line 4642, in _reindex_index return self._reindex_with_indexers( File "E:\anaconda\lib\site-packages\pandas\core\generic.py", line 5032, in _reindex_with_indexers new_data = new_data.reindex_indexer( File "E:\anaconda\lib\site-packages\pandas\core\internals\managers.py", line 679, in reindex_indexer self.axes[axis]._validate_can_reindex(indexer) File "E:\anaconda\lib\site-packages\pandas\core\indexes\base.py", line 4107, in _validate_can_reindex raise ValueError("cannot reindex on an axis with duplicate labels")
05-24
这是一个 ValueError 异常，提示不能在一个有重复标签的轴上重新索引。这可能是因为你的数据框中有重复的日期标签。你可以使用 `duplicated()` 方法检查日期标签是否有重复值，并使用 `drop_duplicates()` 方法删除重复的日期标签。例如： ```python # 检查日期标签是否有重复值 print(data.index.duplicated()) # 删除重复的日期标签 data = data[~data.index.duplicated()] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值