ElasticSearch 预加载(preloading FiledData)
ES 默认使用的是懒加载.当Search 请求过来时,才会将要查询的index 所有的数据加载到内存中做处理(一问:如果index数据超级大.是怎么处理的).
这种情况下会出现一个问题: 当数据量大的时候,会有一个明显的等待.因为ES 需要先将对应index 数据加载到内存,然后才能做查询.
这时,有三种解决办法:
1. 饿加载
2. 饿加载全局序数(二问: 这个全局序数,是怎么回事)
3. 对数据进行预缓存(index warmers 缓存预热)
1. 饿加载:
区分与默认配置的懒加载.当有新的segments 被创建(刷新,合并)时.在Search 之前会先将每一个 segment fielddata 预先加载.
官方例子:
PUT /music/_mapping/_song
{
"tags": {
"type": "string",
"fielddata": {
"loading" : "eager"
}
}
}
抽象:
PUT /indexName/_mapping/typeName
{
"filedName": {
"type": "string",
"fielddata": {
"loading" : "eager"// 默认字段是: lazy
}
}
}
解释:
告诉ES 将indexName 下的这个typeName 下的filedName 字段.预先加载到内存中
比较:
这两种加载形式对比.只是耗费的步骤时间不同.酌情选择:
lazy : 耗费的是查询时间.使用lazy 加载的数据.
ES 默认使用的是懒加载.当Search 请求过来时,才会将要查询的index 所有的数据加载到内存中做处理(一问:如果index数据超级大.是怎么处理的).
这种情况下会出现一个问题: 当数据量大的时候,会有一个明显的等待.因为ES 需要先将对应index 数据加载到内存,然后才能做查询.
这时,有三种解决办法:
1. 饿加载
2. 饿加载全局序数(二问: 这个全局序数,是怎么回事)
3. 对数据进行预缓存(index warmers 缓存预热)
1. 饿加载:
区分与默认配置的懒加载.当有新的segments 被创建(刷新,合并)时.在Search 之前会先将每一个 segment fielddata 预先加载.
官方例子:
PUT /music/_mapping/_song
{
"tags": {
"type": "string",
"fielddata": {
"loading" : "eager"
}
}
}
抽象:
PUT /indexName/_mapping/typeName
{
"filedName": {
"type": "string",
"fielddata": {
"loading" : "eager"// 默认字段是: lazy
}
}
}
解释:
告诉ES 将indexName 下的这个typeName 下的filedName 字段.预先加载到内存中
比较:
这两种加载形式对比.只是耗费的步骤时间不同.酌情选择:
lazy : 耗费的是查询时间.使用lazy 加载的数据.