mapping与使用_reindex进行数据"迁移"

博客讲述了Elasticsearch中时间字段的处理,强调了存储时区信息的重要性,以及如何使用_reindex API进行数据迁移,避免重新导入的耗时。实测_reindex速度比bulk导入快5-10倍。
摘要由CSDN通过智能技术生成

type中可以指定的类型:

字符串:text,keyword
数字:byte、short、integer、long、float、double、
时间:date
布尔值: true、false
数组: array
对象: object

Elasticsearch独有的类型:
多重: multi
经纬度: geo_point
网络地址: ip
堆叠对象: nested object
二进制: binary

查看某一字段的mapping:
GET /your_index/_mapping/your_type/field/your_field_name

关于ES中的时间:参考
elasticsearch原生支持date类型,json格式通过字符来表示date类型。
所以在用json提交日期至elasticsearch的时候,es会隐式转换,把es认为是date类型的字符串直接转为date类型。

date类型是包含时区信息的,如果我们没有在json代表日期的字符串中显式指定时区,对es来说没什么问题,
但是如果通过kibana显示es里的数据时,就会出现问题,数据的时间会晚8个小时。

kibana在通过浏览器展示的时候,会通过js获取当前客户端机器所在的时区,也就是东八区,所以kibana会把从es得到的日期数据减去8小时。
最佳实践方案就是:往es提交日期数据时,直接提交带有时区信息的日期字符串,
如:“2016-07-15T12:58:17.136+0800”。

数据的存储和显示相分离是非常基本的设计原则,却常常被大多数开发人员忽略:
基于“数据的存储和显示相分离”的设计原则,只要把表示绝对时间的时间戳(无论是Long型还是Float)存入数据库,在显示的时候根据用户设置的时区格式化为正确的字符串。

System.currentTimeMillis() 自起点多少毫秒数。是隐式含有时区信息的。不同时区在同一时刻,距离起点的毫秒数是不同的!

若写入的是new Date().getTime(),默认按照系统时区写(东八区)。kibana按照东八区读没问题。
若写入的是字符串,没有时区信息&#

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值