修改ES某字段属性,同步更新旧数据

ES中该索引数据量很大,千万级别,目前通过title字段无法实现完全匹配的搜索,以下是解决方案,记录一下。

1、通过GET 索引名/_mapping,查看索引所有字段属性。

GET test_index/_mapping
{
  "test_index" : {
    "mappings" : {
      "properties" : {
        "id" : {
          "type" : "long"
        }
        "title" : {
          "type" : "text",
          "analyzer" : "ik_smart"
        },
        "content" : {
          "type" : "text",
          "analyzer" : "ik_smart"
        },
        "updatetime" : {
          "type" : "long"
        },
        "status" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        }
      }
    }
  }
}

可以看到,title字段的属性设置为"type": "text","analyzer": "ik_smart",这就导致了不能通过这个字段达到完全匹配进行搜索,那么就要对这个字段进行修改,有没有什么方法可以实现呢。

1、首先,如果可以像mysql一样直接修改字段属性,应该是最方便的吧,但是经测试之后发现,ES索引的mapping在设置之后是不可以更改字段类型的,所以,这个方法不可行。

2、其次,可以考虑重建mapping,类似重建mysql表,把旧数据拷过去,再把旧表删掉...但是咱们这个索引的数据量大,字段多,考虑到牵扯的业务多,故不采用这种方法。

3、其实我只是要对title字段完成完全匹配的搜索,那么只要能给title字段变成keyword属性就可以实现了。经测试之后发现,ES索引的mapping虽然在建好之后不可以更改字段类型,但是可以给字段添加新的属性,我们用这个方法试试:

PUT test_index/_mapping
{
	"properties": {
		"title": {
			"type": "text",
            "analyzer": "ik_smart",
			"fields": {
				"keyword": {
					"type": "keyword",
					"ignore_above": 256
				}
			}
		}
	}
}

这里是给title字段添加keyword属性,修改完成之后,新的数据就会按照新的mapping来走了,即通过title.keyword就能实现完全匹配的搜索了!

如果想要历史数据也同步新的mapping的话,则利用_update_by_query更新即可

POST test_index/_update_by_query

至此,实现了我的需求。

  • 1
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch是一个开源的分布式搜索和分析引擎,用于存储、搜索和分析大量的实时数据。它支持通过将数据同步到binlog来实现数据同步。 在Elasticsearch中,binlog是一种用于记录数据库更改操作的日志文件。它包含了同步到Elasticsearch的每个操作的详细信息,如插入、更新和删除操作。通过解析binlog文件,我们可以将这些操作应用到Elasticsearch中,实现数据同步。 要实现elasticsearch同步binlog的数据,首先需要设置数据库的binlog日志,以记录数据库操作。然后,利用Elasticsearch的一些工具或插件,如logstash或debezium等,可以解析binlog文件,并将其中的操作应用到Elasticsearch中。 具体步骤如下: 1. 配置数据库的binlog日志,确保其能够正确记录数据库操作。 2. 安装并配置Elasticsearch的binlog解析工具,如logstash或debezium等。这些工具可以读取并解析binlog文件,并将其中的操作转化为Elasticsearch可以识别的格式。 3. 将解析后的binlog操作应用到Elasticsearch中。这可以通过使用上述工具提供的插件或API来实现。 4. 配置同步策略和频率。可以设置同步的时间间隔,以及是否对数据进行过滤和转换。 通过以上步骤,我们可以将数据库中的数据同步到Elasticsearch中,从而实现基于binlog的数据同步。这样就可以在Elasticsearch中进行全文搜索和实时数据分析,为数据处理和查询提供更强大和高效的能力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值