Elasticsearch
文章平均质量分 62
搜索引擎一站式解决方案
gblfy
心如向阳,次第花开!
展开
-
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]原创 2022-08-14 17:07:43 · 343 阅读 · 0 评论 -
搭建 ELK 集群 kafka filebeat kibana logstash zookeeper elasticsearch
文章目录一、前置准备1. 部署总览2. 技术选型3. 全局配置4. 软件下载5. 操作声明二、jdk安装2.1. 上传2.2. 解压2.3. 设置环境变量三、zk集群3.1. 上传3.2. 解压3.3. 创建目录3.4. 编辑配置3.5. 添加配置3.6. myid3.8. 关闭防火墙3.9. 启动zk3.10. 监控状态3.11. 效果图四、kafka集群4.1. 上传4.2. 解压4.3. 数据目录4.4. 修改kafka的配置文件4.5. 依次启动kafka五、 验证集群5.1. 创建topi..原创 2021-12-13 17:47:10 · 1840 阅读 · 0 评论 -
max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
安装elasticsearch报错如下:增加资源分配,资源分配不够进程会自动关闭服务vim /etc/security/limits.conf* soft nofile 65536* hard nofile 131072* soft nproc 2048* hard nproc 4096原创 2021-12-13 13:03:28 · 1824 阅读 · 2 评论 -
ElasticSearch 动态映射与静态映射_08
映射就是 Mapping,它用来定义一个文档以及文档所包含的字段该如何被存储和索引。所以,它其实有点类似于关系型数据库中表的定义。映射分类动态映射顾名思义,就是自动创建出来的映射。es 根据存入的文档,自动分析出来文档中字段的类型以及存储方式,这种就是动态映射。举一个简单例子,新建一个索引,然后查看索引信息:在这里插入代码片在创建好的索引信息中,可以看到,mappings 为空,这个 mappings 中保存的就是映射信息。现在我们向索引中添加一个文档,如下:PUT blog/_doc/1原创 2021-12-08 08:06:00 · 658 阅读 · 0 评论 -
ElasticSearch 倒排索引_08
倒排索引是 es 中非常重要的索引结构,是从文档词项到文档 ID 的一个映射过程。8.1 “正排索引”我们在关系型数据库中见到的索引,就是“正排索引”。关系型数据库中的索引如下,假设我有一个博客表:我们可以针对这个表建立索引(正排索引):当我们通过 id 或者标题去搜索文章时,就可以快速搜到。但是如果我们按照文章内容的关键字去搜索,就只能去内容中做字符匹配了。为了提高查询效率,就要考虑使用倒排索引。8.2 倒排索引倒排索引就是以内容的关键字建立索引,通过索引找到文档 id,再进而找原创 2021-12-08 07:44:22 · 867 阅读 · 0 评论 -
ElasticSearch 并发的处理方式:锁和版本控制_07
文章目录现象锁版本控制最新方案现象当我们使用 es 的 API 去进行文档更新时,它首先读取原文档出来,然后对原文档进行更新,更新完成后再重新索引整个文档。不论你执行多少次更新,最终保存在 es 中的是最后一次更新的文档。但是如果有两个线程同时去更新,就有可能出问题。要解决问题,就是锁。锁悲观锁很悲观,每一次去读取数据的时候,都认为别人可能会修改数据,所以屏蔽一切可能破坏数据完整性的操作。关系型数据库中,悲观锁使用较多,例如行锁、表锁等等。乐观锁很乐观,每次读取数据时,都认为别人不会原创 2021-12-07 22:03:41 · 389 阅读 · 0 评论 -
ElasticSearch 文档路由,你的数据到底存在哪一个分片上_06
es 是一个分布式系统,当我们存储一个文档到 es 上之后,这个文档实际上是被存储到 master 节点中的某一个主分片上。例如新建一个索引,该索引有两个分片,0个副本,如下:接下来,向该索引中保存一个文档:PUT blog/_doc/a{ "title":"a"}文档保存成功后,可以查看该文档被保存到哪个分片中去了:GET _cat/shards/blog?v查看结果如下:index shard prirep state docs store ip node原创 2021-12-07 22:00:42 · 758 阅读 · 0 评论 -
ElasticSearch 文档的添加、获取、更新、删除_05
文章目录新建文档获取文档批量获取文档更新查询更新删除文档批量操作新建文档首先新建一个索引。然后向索引中添加一个文档:PUT blog/_doc/1{ "title":"6. ElasticSearch 文档基本操作", "date":"2021-12-07", "content":"首先新建一个索引。"}1 表示新建文档的 id。添加成功后,响应的 json 如下:{ "_index" : "blog", "_type" : "_doc", "_id" : "1"原创 2021-12-07 21:57:43 · 1381 阅读 · 0 评论 -
ElasticSearch 索引基本操作_04
新建索引通过 head 插件新建索引在 head 插件中,选择 索引选项卡,然后点击新建索引。新建索引时,需要填入索引名称、分片数以及副本数。索引创建成功后,如下图:0、1、2、3、4 分别表示索引的分片,粗框表示主分片,细框表示副本(点一下框,通过 primary 属性可以查看是主分片还是副本)。.kibana 索引只有一个分片和一个副本,所以只有 0。通过请求创建可以通过 postman 发送请求,也可以通过 kibana 发送请求,由于 kibana 有提示,所以这里采用 kibana原创 2021-12-07 15:32:46 · 485 阅读 · 0 评论 -
ElasticSearch 中的中文分词器该怎么玩?_03
内置分词器ElasticSearch 核心功能就是数据检索,首先通过索引将文档写入 es。查询分析则主要分为两个步骤:词条化:分词器将输入的文本转为一个一个的词条流。过滤:比如停用词过滤器会从词条中去除不相干的词条(的,嗯,啊,呢);另外还有同义词过滤器、小写过滤器等。ElasticSearch 中内置了多种分词器可以供使用。内置分词器:详情请参考以下企业博客:Elasticsearch7.15.2 集成ik中文分词器 适用于单机和集群...原创 2021-12-07 14:53:18 · 168 阅读 · 0 评论 -
ElasticSearch 核心概念介绍_02
文章目录1. 集群(Cluster)2. 节点(Node)3. 索引(Index)4. 类型(Type)5. 文档(Document)6. 分片(Shards)7. 副本(Replicas)8. Settings9. Mapping10. Analyzer11. ElasticSearch Vs 关系型数据库ElasticSearch 十大核心概念1. 集群(Cluster)一个或者多个安装了 es 节点的服务器组织在一起,就是集群,这些节点共同持有数据,共同提供搜索服务。一个集群有一个名字,这个原创 2021-12-07 14:47:11 · 151 阅读 · 0 评论 -
ElasticSearch 从安装开始_01
文章目录1. windows 环境2. linux3. HEAD 插件安装4. 分布式安装5. Kibana 安装1. windows 环境首先打开 Es 官网,找到 Elasticsearch:https://www.elastic.co/cn/downloads/elasticsearch然后点击下载按钮,选择合适的版本直接下载即可。将下载的文件解压,解压后的目录含义如下:目录含义modules依赖模块lib第三方依赖库logs输出日志目录.原创 2021-12-07 14:38:20 · 838 阅读 · 0 评论 -
elasticsearch-7.15.2 配置IK中文分词器+拼音分词
文章目录1. 下载分词器2. es集成pinyin3. 启动es4. 自定义分词5. 映射模型6. 初始化数据7. 查询索引8. 效果图9. 开源项目1. 下载分词器ik中文分词器中文分词器:https://github.com/medcl/elasticsearch-analysis-ik拼音分词器链接:https://github.com/medcl/elasticsearch-analysis-pinyin2. es集成pinyin方式任选其中一种即可第一种:在线..原创 2021-12-06 22:35:05 · 1735 阅读 · 1 评论 -
elasticsearch-7.15.2 集成pinyin分词器
文章目录1. 下载拼音分词器2. es集成pinyin3. 启动es4. pinyin分词5. 效果图6. 开源项目1. 下载拼音分词器链接:https://github.com/medcl/elasticsearch-analysis-pinyin2. es集成pinyin方式任选其中一种即可第一种:在线安装./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-pinyi.原创 2021-12-06 22:13:25 · 458 阅读 · 0 评论 -
elasticsearch-7.15.2 同时支持中文ik分词器和pinyin分词器
文章目录1. 自定义分词器2. 映射模型3. 效果图1. 自定义分词器ES如何支持拼音和中文分词 ?自定义分词器 支持拼音和中文分词PUT /jd_goods{ "settings": { "analysis": { "analyzer": { "ik_smart_pinyin": { "type": "custom", "toke..原创 2021-12-06 22:00:37 · 898 阅读 · 0 评论 -
elasticsearch-7.15.2 创建索引模板
PUT /jd_goods { "settings": {}, "mappings": { "properties": { "title": { "type": "text", "analyzer": "ik_max_word" }, "desc": { "type": "text", .原创 2021-12-05 11:47:44 · 554 阅读 · 0 评论 -
Elasticsearch的使用RestHighLevelClient
文章目录一、准备1. 导入依赖2. 测试数据二、全文搜索2.1. 匹配搜索(会拆词)2.2. 短语搜索2.3. queryString搜索2.4. 多字段匹配搜索三、词条级搜索3.1. 词条级搜索3.2. 词条集合搜索(terms query)3.3. 范围搜索( range query)3.4. 不为空搜索(exists query)3.5. 词项前缀搜索(prefix query)3.6. 通配符搜索(wildcard query)3.7. 正则搜索3.8. 模糊搜索(fuzzy query)3.9.原创 2021-12-05 11:46:02 · 1685 阅读 · 1 评论 -
springboot elasticsearch vue ik中文分词器 实现百度/京东全文搜索
背景:实现和百度搜索一样效果的,全文搜索引擎支持关键词高亮显示文章目录1. 企业级搜索引擎解决方案2. 创建索引规则3. 数据拉取4. 搜索高亮5. 自定义词库6. 效果图7. 开源源码1. 企业级搜索引擎解决方案分词器:english、standard、ik_max_smart、ik_smart、whitespace等索引:创建索引时用ik_max_smart进行分词,搜索时使用ik_smart分词器进行搜索查询:精准匹配使用term;查询匹配使用match类型:需要分词使用text...原创 2021-12-05 10:11:31 · 1084 阅读 · 0 评论 -
kibana-7.15.2 中文简体
i18n.locale: "zh-CN"原创 2021-12-03 20:02:55 · 348 阅读 · 0 评论 -
SpringBoot2.6.1 elasticsearch7.1.5 Vue
文章目录1. 版本兼容2. 导入依赖3. 配置4. 主页面5. 控制层6. 逻辑处理层7. pojo8. 工具类9. 常量类10. 前端页面项目开源地址1. 版本兼容框架/组件版本SpringBoot2.6.1elasticsearch7.1.52. 导入依赖<parent> <groupId>org.springframework.boot</groupId> <artifactI..原创 2021-12-03 20:00:06 · 1511 阅读 · 0 评论 -
docker kibana:7.14.2
运行容器docker run \-d \--name kibana \-e "ELASTICSEARCH_HOSTS=http://192.168.92.129:9200" \-p 5601:5601 \kibana:7.14.2ik分词# 测试ik分词器,只能分词法GET _analyze?pretty{ "analyzer": "ik_smart", "text": "中华人民共和国国歌"}# 最大ik分词器GET _analyze?pretty{ .原创 2021-11-30 10:59:56 · 355 阅读 · 0 评论 -
ElasticSearch 7.15.2 使用java canal 接入实现灵活化增量数据准实时同步
前言:①canal.adapter-1.1.5 支持一对一单表的增量数据同步ElasticSearch 7;②对于多表聚合场景的SQL满足不了我们的业务需求。③采用java canal 接入,可以实现灵活化增量数据准实时同步文章目录一、java canal 接入1. 依赖导入2. 增加配置3. canal 客户端4. 消息消费/处理模型5. 重建关联索引二、效果验证2.1. 关闭adapter2.2. 修改数据2.3. 数据监控2.4. 索引查询2.5. 关联数据修改2.6. 数据监控2.7.原创 2021-11-23 16:30:53 · 1915 阅读 · 0 评论 -
使用canal实现MySQL 8 增量同步数据到 ElasticSearch 7.15.2中 linux
使用canal实现MySQL 8 增量同步数据到 ElasticSearch 7.15.2中 linux原创 2021-11-23 13:08:48 · 1817 阅读 · 0 评论 -
使用canal实现MySQL 8 全量同步数据到 ElasticSearch 7.15.2中 linux
文章目录一、软件安装1. jdk 安装2. ES7.15.2 安装3. Mysql 8.0 安装4. canal下载二、Mysql 配置2.1. 开启binlog2.2. 验证binlog状态2.3. 创建账号2.4. 权限赋予2.5. 刷新权限2.6. 创建数据库2.7. 初始化表结构2.8. 初始化数据三、canal-deployer的配置与使用3.1. 解压deployer3.2. 解压后目录结构3.3. 修改配置3.4. 启动deployer四、canal-adaptor的使用和配置4.1. 解原创 2021-11-23 13:07:26 · 4298 阅读 · 2 评论 -
Elasticsearch7.15.2 修改IK分词器源码实现基于MySql8的词库热更新
文章目录一、源码分析1. 默认热更新2. 热更新分析3. 方法分析二、实现基于MySql的词库热更新2.1. 导入依赖2.2. 数据库2.3. JDBC 配置2.4. 打包配置2.5. 权限策略2.6. 修改 Dictionary2.7. 热更新类2.8. 编译打包2.9. 上传2.10. 修改记录三、服务器操作3.1. 新建analysis-ik文件夹3.2. 解压es3.3. 移动文件3.4. 目录结构3.5. 将jdbc复制到指定目录一、源码分析1. 默认热更新官方提供的热更新方式https:原创 2021-11-21 22:55:03 · 455 阅读 · 0 评论 -
Elasticsearch7.15.2 ik中文分词器 定制化分词器之扩展词库(远程)
IK分词提供的两个分词器,并不支持一些新的词汇,有时候也不能满足实际业务需要,这时候,我们可以定义自定义词库来完成目标。文章目录一、静态web搭建1. 安装nginx2. 创建es目录3. 创建分词文件4. 存放静态5. 验证二、配置远程分词2.1. 切换用户2.2. 编辑IKAnalyzer2.3. 编辑远程分词2.4. 重新启动es2.5. 验证分词三、热更新词库3.1. 自定义分词3.2. 分词结果3.3. 添加分词库3.4. 日志监控3.5. 分词验证一、静态web搭建1. 安装ngi...原创 2021-11-21 16:29:03 · 1525 阅读 · 0 评论 -
Elasticsearch7.15.2 ik中文分词器 定制化分词器之扩展词库(本地)
背景: IK分词提供的两个分词器,并不支持一些新的词汇,有时候也不能满足实际业务需要,这时候,我们可以定义自定义词库来完成目标。文章目录定制化中文分词器,使得我们的中文分词器支持扩展的词汇...原创 2021-11-21 12:54:59 · 1147 阅读 · 0 评论 -
Elasticsearch7.15.2 基础概念和基础语法
文章目录ES是什么?独立的网络上的一个或自足进程节点对外提供搜索服务(http、transport协议)对内就是一个搜索数据库名词定义Elasticsearch也是基于Lucene的全文检索库,本质也是存储数据,很多概念与MySQL类似的。对比关系:Relation databaseses7Databases数据库index索引值得是数据库结构Row 行document文档Column 列FieldSchemaMappingIndex索引原创 2021-11-21 11:59:15 · 649 阅读 · 0 评论 -
ElasticSearch docker安装
文章目录五、安装ElasticSearch5.1. 修改服务器配置5.2. 创建容器并启动 ES5.3. 查看启动日志5.4. 进入镜像5.5. 修改cluster-name5.6. 安装中文分词插件5.7. 退出并重启镜像5.8. 查看启动日志五、安装ElasticSearchdocker 安装 Elasticsearch6.4.3版本 及中文插件安装。系统配置不配置的话,可能会启动失败具体报错:max virtual memory areas vm.max_map_count [65530]原创 2021-06-07 17:23:37 · 223 阅读 · 0 评论 -
Elasticsearch7.15.2 出现 node validation exception 的问题处理
3个异常如下: [1]: max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536] [2]: memory locking requested for elasticsearch process but memory is not locked [3]: max virtual memory areas vm.max_map_count [65530] is to原创 2020-06-20 06:12:02 · 4038 阅读 · 0 评论 -
Elasticsearch7.15.2 mysql8.0.26 logstash-input-jdbc 数据增量索引构建
文章目录一、基础软件安装1. 安装mysql2. Elasticsearch7.15.2 安装部署3. kibana 安装部署4. logstash-input-jdbc 安装部署二、数据库准备2.1. 创建数据库2.2. 表结构初始化2.3. 数据初始化三、logstash 配置mysql3.1. 创建目录3.2. 上传mysql驱动3.3. 创建jdbc.conf3.4. 创建jdbc.sql3.5. 创建last_value_meta3.6. 赋予权限四、启动中间件4.1. 启动mysql4.2...原创 2021-11-21 10:01:23 · 820 阅读 · 0 评论 -
Elasticsearch7.15.2 mysql8.0.26 logstash-input-jdbc 数据全量索引构建
文章目录一、基础软件安装1. 安装mysql2. Elasticsearch7.15.2 安装部署3. kibana 安装部署4. logstash-input-jdbc 安装部署二、数据库准备2.1. 创建数据库2.2. 表结构初始化2.3. 数据初始化三、logstash 配置mysql3.1. 创建目录3.2. 上传mysql驱动3.3. 创建jdbc.conf3.4. 创建jdbc.sql3.5. 赋予权限四、启动中间件4.1. 启动mysql4.2. 启动es74.3. 启动kibana4.4..原创 2021-11-21 09:40:16 · 591 阅读 · 0 评论 -
Canal 1.1.5 启动报错:caching_sha2_password Auth failed
java.io.IOException: caching_sha2_password Auth failedat com.alibaba.otter.canal.parse.driver.mysql.MysqlConnector.negotiate(MysqlConnector.java:260) ~[canal.parse.driver-1.1.5.jar:na]at com.alibaba.otter.canal.parse.driver.mysql.MysqlConnector.connect(.原创 2021-11-20 16:51:22 · 3016 阅读 · 2 评论 -
kibana 后台启动
进入到kibana 安装目录 执行命令 nohup bin/kibana &原创 2021-11-20 12:57:53 · 3803 阅读 · 0 评论 -
Elasticsearch7.15.2 报java.lang.NoClassDefFoundError: org/elasticsearch/client/Cancellable的解决方案
直接把rest-client包的7.7.0版本的依赖项加进来就好了。springboot集成es7 <!-- https://mvnrepository.com/artifact/org.elasticsearch.client/elasticsearch-rest-client --> <dependency> <groupId>org.elasticsearch.client</groupId>原创 2021-11-20 09:59:47 · 1355 阅读 · 0 评论 -
logstash-input-jdbc 下载安装 linux
文章目录https://www.elastic.co/cn/下载logstashcd /appwget https://artifacts.elastic.co/downloads/logstash/logstash-7.15.2-linux-x86_64.tar.gz解压tar -zxvf logstash-7.15.2-linux-x86_64.tar.gz 下载插件如果使用logstash-7.15.2这个版本logstash已经集成logstash-input-jdbc插.原创 2021-11-19 14:50:13 · 1015 阅读 · 0 评论 -
Elasticsearch7.15.2 集成ik中文分词器 适用于单机和集群
文章目录一、下载部署1. 版本对应2. 下载ik3. 目录权限4. 切换es用户5. 启动es6. 验证es7. 切换kibana 用户8. 启动kibana9. 验证kibana二、ik分词测试2.1. 测试ik2.2. 分词器2.3. 最佳实践一、下载部署1. 版本对应软件Elasticsearch版本i版本k中文分词器版本Elasticsearch7.15.2elasticsearch-analysis-ik7.15.2kibana7.15.22.原创 2021-11-19 13:23:16 · 1102 阅读 · 0 评论 -
Elasticsearch7.15.2 分布式集群安装(linux环境)
文章目录一、前期准备1. 下载2. 解压3.创建es用户4. 增加资源分配5. 内核参数6. 刷新 配置二、node1节点2.1. 重命名2.1. 编辑配置三、node2节点3.1. 复制node-13.2. 修改配置四、node3节点4.1. 复制node-13.2. 修改配置五、赋予权限和启动5.1. 赋予权限5.2. 切换用户5.3. es启动node15.4. es启动node25.5. es启动node35.6. 防火墙配置六、服务验证6.1. 本机验证6.2. 浏览器验证七、集群配置7.1. n原创 2021-11-18 16:00:04 · 1225 阅读 · 2 评论 -
kibana-7.15.2 一分钟下载、安装、部署 linux
文章目录1. 下载2. 解压3. 创建kibana 用户4. 赋予权限5.切换用户6.前台启动7.监控服务8.浏览器访问https://www.elastic.co/cn/1. 下载wget https://artifacts.elastic.co/downloads/kibana/kibana-7.15.2-linux-x86_64.tar.gz2. 解压tar -zxvf kibana-7.15.2-linux-x86_64.tar.gz 如果想使用root用户启动kibana,则原创 2021-11-18 13:42:21 · 4545 阅读 · 1 评论 -
Elasticsearch SkyWalking 分布式链路追踪
文章目录1. 安装包下载2. 解压3. 修改配置文件4. 启动5. 测试验证1. 安装包下载https://www.apache.org/dyn/closer.cgi/skywalking/8.8.0/apache-skywalking-apm-8.8.0.tar.gzhttps://archive.apache.org/dist/skywalking2. 解压tar -zxvf apache-skywalking-apm-8.8.0.tar.gz3. 修改配置文件cd /root/原创 2021-09-28 22:30:24 · 234 阅读 · 0 评论