赵广陆

目录1 全文检索的介绍2 elasticSearch的介绍3 elasticsearch的核心概念3.1 索引 index3.2 类型 type3.3 字段field3.4 映射 mapping3.5 文档 document3.6 集群 cluster3.7 节点 node9,3.8 分片和副本 shards & replicas4 es的基本操作1.创建索引2.插入文档3.查询文档4.更新文档5.搜索文档6.删除文档7.删除索引5 返回值说明及常用查询6 es当中的配置mappings以及sett

目录1 遇到的问题2 解决方法1 遇到的问题外网服务器安装 elasticsearch，解压elasticsearch之后，启动，通过 http://localhost:9200 可以访问的到，但是 http://ip:9200 访问不到，怎么办呢？解决如下首先，需要明确自己的Elasticsearch版本信息1. 问题：为什么使用外网 ip:9200 访问不了？2 解决方法Elasticsearch 默认只能通过 localhost/127.0.0.1本机环回地址访问 。如需要设置支持其

目录1 使用ES实现的效果2 产品搜索与自动补全2.1 汉字补全OpenAPI2.1.1 定义自动补全接口2.1.2 定义自动补全实现2.1.3 定义自动补全控制器2.1.4 自动补全调用验证2.2 拼音补全OpenAPI2.2.1 下载拼插件3 什么是语言处理（拼写纠错）3.1 语言处理OpenAPI3.1.1 定义拼写纠错接口3.1.2 定义拼写纠错实现3.1.3 定义拼写纠错控制器3.1.4 语言处理调用验证4 总结1 使用ES实现的效果汉字补全拼写纠错2 产品搜索与自动补全Term

目录1 语料库映射OpenAPI1.1 定义索引（映射）接口1.2 定义索引（映射）实现1.3 新增控制器1.4 开始新增映射2 语料库文档OpenAPI2.1 定义批量新增文档接口2.2 定义批量新增文档实现2.3 定义批量新增文档控制器2.4 开始批量新增调用1 语料库映射OpenAPI环境准备:先下载ik分词和pinyin分词，并放到esplugins相应目录中请求kibana:GET /_cat/plugins?v&s=component&h=name,componen

目录1 可能遇到的问题2 Unknown key for a START_OBJECT in [XXXX].3 TermQuery精确查询失效问题解决3.1 问题3.2 解决办法3.3 原因4 Elasticsearch解决只能查询10000条数据方案5 queryStringQuery精确精确查询6 修改ignore_above字符大小或修改mappings1 可能遇到的问题一般我的习惯是先写javaAPI再去拿着代码中Debug数据进行排错，有的人喜欢先去写Es的请求然后在对应着javaAPI去

目录1 环境准备1.1 准备IDEA项目结构1.2 准备POM依赖1.3 创建用于保存职位信息的实体类1.4 编写接口和实现类1.5 创建实现类2 添加职位数据2.1 初始化客户端连接2.2 实现关闭客户端连接2.3 编写代码实现新增职位数据2.4 编写测试用例测试添加方法3 根据ID检索指定职位数据3.1 实现步骤3.2 编写测试用例4 修改职位4.1 实现步骤4.2 编写测试用例5 根据文档ID删除职位5.1 实现步骤5.2 编写测试用例6 根据关键字检索数据6.1 实现步骤6.2 编写测试用例7 分页

目录1 概述2 安装Filebeat2.1 配置Filebeat2.2 配置Filebeat以使用Logstash3 案例3.1 流程说明3.2 日志环境介绍3.3 配置Filebeat3.4 配置Logstash3.4.1 Logstash输出到控制台3.4.2 配置Logstash连接ElasticSearch4 Kibana分析业务4.1 启动Kibana4.1.1 添加到索引库4.1.2 创建柱形图4.1.3 创建饼图4.1.4 数据表格4.2 制作Dashboard1 概述Beats是用于

目录1 Logstash简介1.1 参加资料1.2 用途2 部署安装2.1 测试2.2 配置详解2.2.1 输入2.2.2 过滤2.2.3 输出3 读取自定义日志3.1 日志结构3.2 编写配置文件3.3 输出到Elasticsearch1 Logstash简介Logstash是一个具有实时流水线功能的开源数据收集引擎.Logstash可以动态地统一来自不同来源的数据，并将数据规范化为您选择的目的地。为多样化的高级下游分析和可视化用例清理和民主化所有数据。虽然Logstash最初推动了日志收集方面

1 Kafka数据写入至ES方式Kafka->logstash->elasticsearch->kibana(简单，只需启动一个代理程序)根据以上情况，项目决定采用方案一将Kafka中的数据存入到elasticsearch中去。项目拓扑图如下所示：此时消息的整体流向为：日志/消息整体流向Flume => kafka => logstash => elasticsearch => kibana2 环境搭建Logstash同步MySql数据到Elast

目录1 MySql数据到Elasticsearch1.1 下载logstash1.2 解压logstash1.3 在logstash 目录创建 mysql 文件夹1.4 将 mysql 驱动文件和数据库查询文件 放进mysql中1.5 在config 目录下创建 mysqltoes.conf 文件1.6 mysqltoes.conf 配置1.7 启动 logstash2 配置语法讲解3 启动方式4 filebeat基本讲解5 实战运用5.1 业务到redis到es之间迁移5.2 业务到redis到mongo

目录1 基本介绍2 使用场景3 Lucene实现索引检索的流程4 使用Java实现Lucene的增删改查4.1 编写创建索引的代码4.2 实现简单搜索测试4.3 索引的删除与修改4.4 Lucene的查询1 基本介绍本文主要介绍几个方面，为什么使用Lucene使用场景，解决的问题，Lucene的入门使用，以及Lucene一些语法（增删改查）。官方网站一简述Lucene概念：磁盘上的一些邮件，文档等各种文件，通过工具，把其变得有结构性，就是他们的信息扫描，记录位置，记录内容，建成索引。这样你就可以

1 windows如何更改 FileSystem 缓存的大小你可以使用命令行更改文件系统缓存的大小。 此操作需要完整地重置缓存，并且它需要管理权限。更改文件系统缓存的大小将以下注册表值设置为0（零）：HKEY \ _LOCAL \ _MACHINE \SOFTWARE\Microsoft\SoftGrid\4.5\Client\AppFS\State将以下注册表值设置为包含程序包所需的最大缓存大小（以 MB 为单位），例如，8192 MB：HKEY \ _LOCAL \ _MACHINE \SO

第一部分：调优索引速度ES发布时带有的默认值，可为es的开箱即用带来很好的体验。全文搜索、高亮、聚合、索引文档等功能无需用户修改即可使用,当你更清楚的知道你想如何使用es后，你可以作很多的优化以提高你的用例的性能,下面的内容告诉你 你应该/不应该修改哪些配置https://www.elastic.co/guide/en/elasticsearch/reference/current/tune-for-indexing-speed.html使用批量请求批量请求将产生比单文档索引请求好得多的性能。

目录1 SpringData ElasticSearch简介2 ElasticSearch环境搭建2.1 安装ElasticSearch2.1.1 准备工作2.1.2 文件上传2.1.3 文件解压2.1.4 添加用户2.1.5 修改配置2.1.6 启动elasticSearch2.1.7 访问测试2.2 安装Head插件2.2.1 安装nodeJS2.2.2 安装cnpm2.2.3 安装grunt2.2.4 安装head插件2.2.5 安装head插件所需依赖2.2.6 修改elasticsearch的配置

目录1 问题分析:2 面试题回答:1 问题分析:es 生产集群的部署架构是什么？每个索引的数据量大概有多少？每个索引大概有多少个分片？这个问题，包括后面的 redis 什么的，谈到 es、redis、mysql 分库分表等等技术，面试必问！就是你生产环境咋部署的？说白了，这个问题没啥技术含量，就是看你有没有在真正的生产环境里干过这事儿！有些同学可能是没在生产环境中干过的，没实际去拿线上机器部署过 es 集群，也没实际玩儿过，也没往 es 集群里面导入过几千万甚至是几亿

目录1 问题分析:2 面试题回答:2.1 性能优化的杀手锏——filesystem cache2.2 数据预热2.3 冷热分离2.4 document 模型设计2.5 分页性能优化1 问题分析:es 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？这个问题是肯定要问的，说白了，就是看你有没有实际干过 es，因为啥？其实 es 性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下5~10s，坑爹了.

目录1 es 写数据过程2 es 读数据过程3 es 搜索数据过程4 写数据底层原理5 删除/更新数据底层原理1 es 写数据过程客户端选择一个 node (es节点)发送请求过去，这个 node 就是coordinating node（协调节点）。 coordinating node对 document 进行路由，将请求转发给对应的 node（有 primary shard）。 实际的 node 上的primary shard处理请求，然后将数据同步到repl...

目录1 问题分析2 面试题回答2.1 shard介绍2.2 shard 机制1 问题分析es 的分布式架构原理能说一下么（es 是如何实现分布式的啊）？在搜索这块，lucene 是最流行的搜索库。几年前业内一般都问，你了解 lucene 吗？你知道倒排索引的原理吗？现在早已经 out 了，因为现在很多项目都是直接用基于 lucene 的分布式搜索引擎—— ElasticSearch，简称为 es。Lucene是根据关健字来搜索的文本搜索工具，只能在某个网站内部搜索文本

目录1 lucene 和 es 的前世今生2 es 的核心概念2.1 Near Realtime2.2 Cluster 集群2.3 Node 节点2.4 Document & field2.4.1 Index2.4.2 Type2.4.3 shard2.4.4 replica3 es 核心概念 vs. db 核心概念1 Lucene 和 es 的前世今生lucene 是最先进、功能最强大的搜索库。如果直接基于 lucene 开发，非常复杂，

目录1 安装elasticsearch1.1 下载elasticsearch1.2 启动ElasticSearch2 安装elasticsearch的操作界面 kibana2.1 下载kibana2.2 启动kibana2.3 访问kibana界面，验证是否启动成功3 安装 ik分词器3.1 安装ik分析器：1 安装elasticsearch安装elasticsearch版本要求，JDK1.8_73以上版本，可应通过Java -version来查询Java版本剩下的就很简单了，几部搞定，轻松ea

目录1 集群介绍2 ES集群相关概念3 集群搭建4 kibina管理集群5 JavaAPI 访问集群6 分片配置7 路由原理8 脑裂1 集群介绍集群和分布式：​ 集群：多个人做一样的事。​ 分布式：多个人做不一样的事集群解决的问题：​ 让系统高可用​ 分担请求压力分布式解决的问题：​ 分担存储和计算的压力，提速​ 解耦集群和分布式架构往往是并存的[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zOQuBgEN-1

目录1 搭建集群1.1 整体步骤1.2 拷贝副本1. 3 修改elasticsearch.yml配置文件1.4 执行授权1.5 启动三个节点2 使用Kibana配置和管理集群2.1 集群配置2.2 管理集群1 搭建集群Elasticsearch如果做集群的话Master节点至少三台服务器或者三个Master实例加入相同集群，三个Master节点最多只能故障一台Master节点，如果故障两个Master节点，Elasticsearch将无法组成集群.会报错，Kibana也无法启动，因为Kibana无

目录1 ElasticSearch高级操作1.1 bulk批量操作-脚本1.2 bulk批量操作-JavaAPI1.3 导入数据-分析&创建索引1.4 导入数据-代码实现1.5 导入数据-代码实现-详解2 ElasticSearch查询2.1 matchAll-脚本2.2 matchAll-JavaAPI2.3 termQuery2.4 matchQuery2.5 模糊查询-脚本2.5.1 wildcard查询2.5.2正则查询2.5.3前缀查询2.6 模糊查询-JavaAPI2.7 范围&

目录1 初识ElasticSearch1.1 基于数据库查询的问题1.2 倒排索引1.3 ES存储和查询的原理1.4 ES概念详解1.5 知识总结2 安装ElasticSearch2.1 ES安装2.2 ES辅助工具安装3 ElasticSearch核心概念4 脚本操作ES4.1 RESTful风格介绍4.2 操作索引4.3 kibana脚本操作ES4.3.1 添加索引4.3.2 删除索引4.3.3 查询索引（相当于表）4.3.4 添加映射（相当于字段名+字段类型）4.3.5 创建索引并添加映射4.3.6

目录1 环境准备2 安装IK分词器3 使用IK分词器1 环境准备Elasticsearch 要使用 ik，就要先构建 ik 的 jar包，这里要用到 maven 包管理工具，而 maven 需要java 环境，而 Elasticsearch 内置了jdk， 所以可以将JAVA_HOME设置为Elasticsearch 内置的jdk1）设置JAVA_HOMEvim /etc/profile# 在profile文件末尾添加#java environmentexport JAVA_HOME=/

目录1 ElasticSearch 安装1.1 ElasticSearch安装1.2 访问elasticsearch2 Elasticsearch辅助插件安装2.1 Postman安装2.2 Kibana安装2.3 head安装2.3.1 Node安装2.3.2 grunt安装2.3.3 head安装1 ElasticSearch 安装1.1 ElasticSearch安装1、上传ElasticSearch安装包alt+p # 打开sftp窗口# 上传es安装包put e:/softwar