
ElasticSearch
文章平均质量分 72
ElasticSearch
ximeneschen
这个作者很懒,什么都没留下…
展开
-
Elasticsearch 移除 type 之后的新姿势
es在 6.0 的时候,已经默认只能支持一个索引一个 type 了,7.0 版本新增了一个参数 include_type_name ,即让所有的 API 是 type 相关的,这个参数在 7.0 默认是 true,不过在 8.0 的时候,会默认改成 false,也就是不包含 type 信息了,这个是 type 用于移除的一个开关。让我们看看最新的使用姿势吧,当 include_type_name 参数设置成 false 后:索引操作:PUT {index}/{type}/{id}需要修改成PUT {i原创 2022-05-17 02:44:28 · 534 阅读 · 0 评论 -
SpringBoot应用日志通过logstash远程上传到ES
一、pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/mav原创 2021-08-12 00:16:45 · 1364 阅读 · 0 评论 -
docker安装logstash及logstash配置
一、logstash跟es有版本对照关系了解对照关系,决定要安装的logstash版本二、Logstash工作原理Logstash事件处理管道有三个阶段:输入→过滤器→输出,输入生成事件,过滤器修改它们,然后输出将它们发送到其他地方。输入和输出支持编解码器,使你能够在数据进入或离开管道时对其进行编码或解码,而无需使用单独的过滤器。输入你使用输入将数据获取到Logstash中,一些比较常用的输入是:属性解析file从文件系统上的文件进行读取,非常类似于UNIX命令tail原创 2021-08-11 22:00:42 · 13628 阅读 · 3 评论 -
Es-nested嵌入式属性
官网地址Es-数组的扁平化处理PUT my-index-000001/_doc/1{ "group" : "fans", "user" : [ { "first" : "John", "last" : "Smith" }, { "first" : "Alice", "last" : "White" } ]}##数组扁平化处理为{ "group" : "fans", "user.原创 2021-07-19 17:39:14 · 289 阅读 · 0 评论 -
java 操作 ES 的方式 整理总结
一、操作ES 的方式大题有这么三种1. TransportClinet客户端2. REST Client3. SpringDateES二、第一种 TransportClinet客户端首先要讲一下,如果是新打的ES 集群的话,ES版本在7.0以上,或者以后有可能升级版本的话,这个方式已经不被推荐了。这个是官方文档上显示的。并且到ES8的版本,直接废除。来看下原文: 原文链接 https://www.elastic.co/guide/en/elasticsearch/client/java-api原创 2021-07-19 17:12:30 · 1773 阅读 · 0 评论 -
ElasticSearch配置扩展分词
IK支持自定义扩展词典和停用词典,所谓扩展词典就是有些词并不是关键词,但是也希望被ES用来作为检索的关键词,可以将这些词加入扩展词典。停用词典就是有些词是关键词,但是出于业务场景不想使用这些关键词被检索到,可以将这些词放入停用词典。如何定义扩展词典和停用词典可以修改IK分词器中config目录中IKAnalyzer.cfg.xml这个文件。NOTE:词典的编码必须为UTF-8,否则无法生效一、步骤修改vim IKAnalyzer.cfg.xml<?xml version="1.0" enc原创 2021-07-19 16:40:57 · 477 阅读 · 0 评论 -
SpringData操作ElasticSearch
一、pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/mav原创 2021-03-24 00:41:10 · 389 阅读 · 0 评论 -
ElasticSearch7.x「新特性」
ES 数据库的存储结构变化:去除了Typees6时,官方就提到了es7会删除type,并且es6时已经规定每一个index只能有一个type。在es7中使用默认的_doc作为type,官方说在8.x版本会彻底移除type。api请求方式也发送变化,对索引的文档进行操作的时候,默认使用的Type是 _doc 如获得某索引的某ID的文档:GET index/_doc/id其中index和id为具体的值创建索引mapping关系的时候,容易出的错:Root mapping defini.原创 2021-03-23 17:08:56 · 906 阅读 · 1 评论 -
MySQL到Elasticsearch数据同步
一、使用logstash进行同步下载logstash,地址:https://www.elastic.co/downloads/logstash,我这里使用的7.11.1版本,解压后文件如下:其中mysql文件夹是自己导的,因为使用的是mysql8.0以及mysql-connector-java-8.0.20这个jar包到导入的ealsticsearch的mysql表的结构如下:bin文件夹下创建Logstash配置文件,文件名为mysql.conf内容配置如下:input{stdin{原创 2021-03-23 15:17:11 · 1119 阅读 · 0 评论 -
ik查看分词器:request body or source parameter is required/ missing authentication credentials for REST
报错信息如下:{ "error": { "root_cause": [ { "type": "parse_exception", "reason": "request body or source parameter is required" } ], "type": "parse_exception", "reason":原创 2021-03-19 17:22:18 · 1342 阅读 · 0 评论 -
kibana7.x操作
elasticsearch7.x取消了type(类型的概念)对应数据库表的概念一、添加一个索引PUT 索引名{"settings": {"number_of_shards": 1,"number_of_replicas": 0}}二、创建映射字段analyzer:分词器 下载地址:https://github.com/medcl/elasticsearch-analysis-ikPUT /索引名/_mapping{"properties": {"title":{"typ转载 2021-03-19 16:12:07 · 788 阅读 · 0 评论 -
es Root mapping definition has unsupported parameters解决方法
ElasticSearch 7.x 默认不在支持指定索引类型在elasticsearch7.x上执行:put es_test{ "settings":{ "number_of_shards" : 3, "number_of_replicas" : 0 }, "mappings":{ "books":{ "properties":{ "title"转载 2021-03-19 15:11:10 · 12698 阅读 · 1 评论 -
Docker部署ElasticSearch7.11.1并挂载+配置X-Pack设置帐号密码+Kibana7.11.1+IK插件
一、ElasticSearch是什么Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。不过,Elasticsearch不仅仅是Lucene和全文搜索,我们还能这样去描述它:分布式的实时文件存储,每个字段都被索引并可被搜索分布式的实时分析搜索引擎可以扩展到上百台服务器,处理PB级结构化或非结构化数据回到顶部二、Docker 部署 ElasticSea原创 2021-03-15 11:13:49 · 2309 阅读 · 0 评论