ElasticSearch动态映射和静态映射及字段类型(第七章)

ElasticSearch 目前也算是非常火了，站内搜索、日志分析都会用到它，而且还可以直接当成 NoSQL 数据库来使用。
接下来，我们就通过下面这个简单介绍，开启 es 之旅吧～

公众号 : 倔强小狮子

---

1. 动态映射

1· 顾名思义，就是自动创建出来的映射。ElasticSearch 根据存入的文档，自动分析出来文档中字段的类型以及存储方式，这种就是动态映射。
2· 创建一个索引

```bash
PUT lionet
```

3· 获取新建索引信息
GET index/_mapping
bash GET lionet/_mapping

4· 在创建好的索引信息中，可以看到，mappings 为空，这个 mappings 中保存的就是映射信息。
5· 向索引中添加一个文档

POST lionet/_doc/1
{
  "title":"倔强的小狮子",
  "content":"学习 Elastic Search",
  "date":"2021-04-04"
}

5· 可以观察到 content 字段类型是 text, date 字段类型是 date, title 字段类型是 text,
7· 默认情况下在文档新增字段时, mappings 会自动新增进来

	POST lionet/_doc/2
	{
	  "title":"倔强的小狮子",
	  "content":"学习 Elastic Search",
	  "date":"2021-04-04",
	  "phoneNum":"12345678901"
	}

1.2 动态映射日期检测问题

1例如新建一个索引，然后添加一个含有日期的文档

POST lionet/_doc/1
{
  "title":"倔强的小狮子" ,
  "date":"2022-04-04"
}

2· 注意 : "date ":"2022-04-04 00:50:55" ES 自动检测时间字段失败

POST lionet/_doc/1
{
  "title":"倔强的小狮子" ,
  "date":"2022-04-04 00:50:55"
}

1.3 动态映射检测类型弊端

1· 当动态检测字段类型定义后, 该字段无法存储其他类型, 例如 上诉 date 字段,可以进行存储 数字类型时间,也可以存储其他时间描述法

POST lionet/_doc/2
{
  "title":"倔强的小狮子" ,
  "date":"二零二一年,四月五号"
}

2· 解决动态映射日期检测字段问题, 可以使用静态映射解决,也可以进行关闭日期检测问题, 创建新索引时进行关闭日期检测问题

PUT lionet
{
  "mappings": {
    "date_detection": false
  }
}

2. 静态映射(关闭动态映射 “建议关闭动态映射”)

1· 但在某些特定环境下,我们希望在修改文档时,能进行抛出异常告诉 我们不可新增字段, 这个可以使用 mappings 中的dynamic 属性来配置
2· dynamic 属性有三种取值
true，默认即此。自动添加新字段。
false，忽略新字段。
== strict，严格模式，发现新字段会抛出异常。==

3· 例如 : 创建索引时指定 mappings (就是静态映射)
bash PUT lionet { "mappings":{ "dynamic":"strict", "properties": { "title":{ "type": "text" }, "content":{ "type":"text" } } } }
“dynamic”:“strict” : 关闭动态映射

4. 向索引中添加一个 新文档 多 addr 字段 如下提示 :

POST lionet/_doc/1
{
  "title":"倔强的小狮子",
  "content":"公众号搜索倔强的小狮子",
  "addr":"山东"
}

5· 在添加的文档中，多出了一个 addr 字段，而该字段没有预定义，所以这个添加操作就回报错：

3. 类型推断

es 中动态映射类型推断方式

JSON 的数据	“dynamic”:“true”	“dynamic”:“runtime”
null	No field added	No field added
true or false	boolean	boolean
double	float	double
integer	long	long
object	object	object
array	数组中的第一个元素来确定类型	数组中的第一个元素来确定类型
string 进行日期检测	date	date
string通过数字检测	float 或者 long	double 或者 long
string没有通过date检测或numeric检测	带有.keyword字段text	keyword

4. 核心类型

4.1 字符串类型

1· 字符串类型( string ) ：这是一个已经过期的字符串类型。在 es5 之前，用这个来描述字符串，现在的话，它已经被 text 和 keyword 替代了。
2 · text：如果一个字段是要被全文检索的，比如说博客内容、新闻内容、产品描述，那么可以使用 text。用了 text 之后，字段内容会被分析，在生成倒排索引之前，字符串会被分词器分成一个个词项。text 类型的字段不用于排序，很少用于聚合。这种字符串也被称为 analyzed 字段。
3· keyword：这种类型适用于结构化的字段，例如标签、email 地址、手机号码等等，这种类型的字段可以用作过滤、排序、聚合等。这种字符串也称之为 not-analyzed 字段

4.2 数字类型

类型	取值范围
long	类型取值范围long-2^63到2~63-1
integer	-2-31到2^31-1
short	-2 ^15到2 ^15-1
byte	-2^7到2 ^7-1
double	64位的双精度IEEE754浮点类型
float	32 位的双精度IEEE754浮点类型
half-_float	16的双精度IEEE754浮点类型
scaled_foat	缩放类型的浮点类型

1· 在满足需求的情况下，优先使用范围小的字段。字段长度越短，索引和搜索的效率越高。
2· 浮点数，优先考虑使用 scaled_float
3· scaled_foat 类型 缩放因子处理, 说明 : 例如一个价格为 66.66元,设置缩放因子为100,那么ES底层会通过缩放因子处理后 存储时 为 6666, 可以理解为 将当前存储的 scaled_foat 类型的数值通过缩放因子设置的值进行扩大多少倍==(通过缩放因子处理后依然存在小数时会进行四舍五入处理了)==,所有API都可以像将字段存储为双精度一样工作，但在ES的幕后，将使用 price*100（即整数）来工作。这对节省磁盘空间很有帮助，因为整数比浮点数更容易压缩。scaled_float也可以使用它来交换磁盘空间的准确性

"type": "scaled_float", "scaling_factor": 100

PUT lionet
{
  "mappings": {
    "properties": {
      "title":{
        "type": "text"
      },
      "price":{
        "type": "scaled_float",
        "scaling_factor": 100
      }
    }
  }
}

4· 虽然ES在内部做了缩放处理，但是查询返回值还是原始值

4.3 时间类型

1· 由于 JSON 中没有日期类型，所以 es 中的日期类型形式就比较多样：2020-11-11 或者 2020-11-11 11:11:11 或者 一个从 1970.1.1 零点到现在的一个秒数或者毫秒数。
2· es 内部将时间转为 UTC，然后将时间按照 millseconds-since-the-epoch 的长整型来存储。

PUT lionet
{
  "mappings": {
    "properties": {
      "date":{
        "type": "date"
      }
    }
  }
}

3· 能够解析出来的时间格式较多

PUT lionet/_doc/1
{
  "date":"2020-11-11"
}
PUT lionet/_doc/2
{
  "date":"2020-11-11T11:11:11Z"
}

PUT lionet/_doc/3
{
  "date":"1604672099958"
}

4· 上面三个文档中的日期都可以被解析，内部存储的是毫秒计时的长整型数。

4.4 布尔类型（boolean）

1· JSON 中的 “true”、“false”、true、false 都可以

4.5 二进制类型（binary）

1· 二进制接受的是 base64 编码的字符串，默认不存储，也不可搜索的
2· 可以设置 字段分开存储和检索字段值。接受true或false(默认)

4.6 范围类型

• integer_range
• float_range
• long_range
• double_range
• date_range
• ip_range

1· 定义的时候，指定范围类型即可：

PUT lionet
{
  "mappings": {
    "properties": {
      "date":{
        "type": "date"
      },
      "price":{
        "type":"float_range"
      }
    }
  }
}

2· 插入文档的时候，需要指定范围的界限：

PUT lionet/_doc/1
{
    "date":"2021-04-05",
     "price":{
       "gt":5,
       "lt":10
     }
}

注意 : ES 是不会将范围类型字段展示

3· 只能用于查询

GET lionet/_doc/_search
{
    "query": {
        "term": {
            "price": {
                "value": 3
            }
        }
    }
}

4. 上诉未能查询到, 因只能范围 5< >10, 下面将 price value 6 则可搜索到

GET lionet/_doc/_search
{
    "query": {
        "term": {
            "price": {
                "value": 6
            }
        }
    }
}

指定范围的时，可以使用 gt、gte、lt、lte。

4.7 复合类型

4.7.1 数组类型

1· es 中没有专门的数组类型。默认情况下，任何字段都可以有一个或者多个值。需要注意的是，数组中的元素必须是同一种类型。

2· 添加数组是，数组中的第一个元素决定了整个数组的类型。

4.7.2 对象类型（object）

1· 由于 JSON 本身具有层级关系，所以文档包含内部对象。内部对象中，还可以再包含内部对象。
2. 数据里面也可以存储数组,但里面和外面的元素类型必须一致
3. 数组内部也可以存储对象

PUT lionet/_doc/1
{
  "date":"2020-11-11T11:11:11Z",
  "content":{
    "address":"China"
  }
}

4.8 嵌套类型（nested）

1· nested 是 object 中的一个特例。
2. 如果使用 object 类型，假如有如下一个文档：

PUT lionet/_doc/1
{
  "user":[
    {
      "first":"Zhang",
      "last":"san"
    },
    {
      "first":"Li",
      "last":"si"
    }
    ]
}

3· 由于 Lucene 没有内部对象的概念，所以 es 会将对象层次扁平化，将一个对象转为字段名和值构成的简单列表。即上面的文档，最终存储形式如下：

{
"user.first":["Zhang","Li"],
"user.last":["san","si"]
}

4· 扁平化之后，用户名之间的关系没了。这样会导致如果搜索 Zhang si 这个人，会搜索到。

5· 此时可以 nested 类型来解决问题，nested 对象类型可以保持数组中每个对象的独立性。nested 类型将数组中的每一饿对象作为独立隐藏文档来索引，这样每一个嵌套对象都可以独立被索引。

{
	{
	"user.first":"Zhang",
	"user.last":"san"
	},
	{
	"user.first":"Li",
	"user.last":"si"
	}
}

优点 :文档存储在一起，读取性能高。
缺点 : 更新父或者子文档时需要更新更个文档

4.9 地理类型

1· 使用场景：

• 查找某一个范围内的地理位置
• 通过地理位置或者相对中心点的距离来聚合文档
• 把距离整个到文档的评分中
• 通过距离对文档进行排序

4.9.1 geo_point(坐标点)

PUT lionet
{
  "mappings": {
    "properties": {
      "location":{
        "type": "geo_point"
      }
    }
  }
}

2· 创建时指定字段类型，存储的时候，有四种方式：

PUT lioent/_doc/1
{
  "location":{
    "lat": 36.27,
    "lon": 108.94
  }
}

PUT lioent/_doc/2
{
  "location":"36.27,108.94"
}

PUT lioent/_doc/3
{
  "location":"uzbrgzfxuzup"
}

PUT lioent/_doc/4
{
  "location":[108.94,36.27]
}

3· 注意，使用数组描述，先经度后纬度。地址位置转 geo_hash：http://www.csxgame.top/#/

4.10 geo_shape

GeoJson	ElasticSearch	说明
Point	point	一个由经纬度描述的点
LineString	linestring	一个任意的线条,由两个以上的点组成
Polygon	polygon	一个封闭多边形一组不连续的点
MultiPoint	multipoint	一组不连续的点
MultiLineString	multilinestring	多条不关联的线
MultiPolygon	multipolygon	多个多边形
GeometryCollection	geometrycollection	几何对象的集合
	circle	一个圆形
	envelope	通过左上角和右下角两个点确定的矩形

1· 指定 geo_shape 类型

PUT lionet
{
  "mappings": {
    "properties": {
      "location":{
        "type": "geo_shape"
      }
    }
  }
}

2· 添加文档时需要指定具体的类型

PUT lionet/_doc/1
{
  "location":{
    "type":"point",
    "coordinates": [108.94,36.27]
  }
}

3· 如果是 linestring，如下

PUT lionet/_doc/2
{
  "location":{
    "type":"linestring",
    "coordinates": [[108.94,34.27],[100,33]]
  }
}

4.11 特殊类型

4.11.1 IP

1· 存储 IP 地址，类型是 ip

PUT lionet
{
  "mappings": {
    "properties": {
      "address":{
        "type": "ip"
      }
    }
  }
}

2· 添加文档

PUT lionet/_doc/1
{
  "address":"192.168.91.1"
}

3· 搜索文档

GET lionet/_search
{
  "query": {
    "term": {
      "address": "192.168.0.0/16"
    }
  }
}

4.11.2 token_count

1· 用于统计字符串分词后的词项个数

PUT lionet
{
  "mappings": {
    "properties": {
      "title":{
        "type": "text",
        "fields": {
          "length":{
            "type":"token_count",
            "analyzer":"standard"
          }
        }
      }
    }
  }
}

2· 相当于新增了 title.length 字段用来统计分词后词项的个数
添加文档

PUT lionet/_doc/1
{
  "title":"zhang san"
}

3· 可以通过 token_count 去查询

GET lionet/_search
{
  "query": {
    "term": {
      "title.length": 2
    }
  }
}

期待你的关注，和我一起学习
转载说明：转载携带原文链接