日增TB级Elasticsearch索引数据存储别名优化

背景

随着业务量的增加，以及其他厂商数据的对接整个，我们的数据量从每天gb到pb的增加，实现了千亿级别的经济方案。

疼点：Elasticsearch在新建索引都需要指定shard分片数，当索引数据量增加不好扩容，业务代码需要调整等等；

索引别名

Elasticsearch中的API在针对特定索引时接受索引名称，并在适用时接受多个索引。索引别名API允许使用名称别名化索引，所有API都自动将别名转换为实际索引名称。别名也可以映射到多个索引，并且在指定别名时，别名将自动扩展为别名索引。别名还可以与在搜索和路由值时自动应用的过滤器相关联。别名不能与索引同名。

官方文档定义：

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-aliases.html

帮助我们解决什么样的问题？

1.数据增量横向扩展（我们每天的数据增量几十亿，以前老的架构每天需要建一个分区表，前期在别名使用不好的时候，评估3个月的数据存储量，建好索引，不太方便）。

2.每一个索引（三个月每天的索引的别名都使用同一个，查询方案，删除数据方案，主要是3个月以前的时间我们需要删除操作，使用java api的方式简直是没法做的）。

3.在一个集群中的数据非常好的对接到新的索引上面（我们在做数据迁移的时候，比如我们迁移率16年的数据到一个索引，17年的数据在一个索引，后面要做合并操作，有了别名就太方案）。

索引通过上面的方式很好的解决了我们数据扩容的问题，数据清除的问题。

demo实践

1.创建索引

  下面的代码我分别创建了 log2017,log2018,log2019三个索引，按照我们业务的划分，17，18，19年的数据会单独存放到对应的所有库中；

    private static Logger log = Logger.getLogger(LogIndex.class);
	//分别建log2017，log2018，log2019索引名
	//索引名称
	private static String indexNam