ELK
文章平均质量分 93
it_lihongmin
不要觉得自己怎么样,现实就是比你厉害的人,比你更努力!
当才华撑不起自己野心的时候,老老实实地踏实学习吧!
展开
-
Centos7基于源码包搭建Elasticsearch以及head插件
目录1、jdk安装2、创建centos用户启动es(高版本的es不能使用root进行启动)3、下载安装es4、ik分词器安装5、Head插件安装5.1、node.js安装5.2、grunt-cli安装5.3、cnpm安装5.4、Head插件的下载安装info:elasticsearch7版本需要对应jdk 11, 所以建议使用 elasticsearch6,对应jdk81、jdk安装如果服务器没有安装jdk,可以参考CentOS7安装jdk1.8-源码安装、.原创 2022-05-18 14:39:28 · 892 阅读 · 0 评论 -
Logstash性能调优
性能调节一、性能故障排除Logstash建议在修改配置项以提高性能的时候,每次只修改一个配置项并观察其性能和资源消耗(cpu、io、内存)。性能检查项包括:1、检查input和output设备日志存储的速度和它所连接的服务的速度一样快。日志存储只能像输入和输出目的地一样快速地消耗和生成数据!1、检查...原创 2018-03-28 15:56:20 · 20612 阅读 · 1 评论 -
Kibana 5.x DevTool常用命令
1、match_all查询GET _search{ "query": { "match_all": { "boost" : 1.0 } }}2、使用Elasticsearch的时间字段,按照小时进行聚合查询(该为hourOfDay也可以查询dayOfWeek)其中orderTime为时间字段POST my_...原创 2017-11-17 13:51:53 · 16472 阅读 · 7 评论 -
Elasticsearch 5.x_Elasticsearch集群及插件安装
由于Elasticsearch要求服务端的客户端的版本必须一致,并且最好jdk版本需要一致,所以Elasticsearch搭建的时候选择版本非常重要,经验之谈,否则会很被动。一、Elasticserch服务(集群)搭建 1、官网下载tar或者zip,编译离线进行安装 该方式不进行说明 2、下载rpm包方式安装 官网下载稳定版本rpm包原创 2017-10-28 18:40:45 · 2552 阅读 · 0 评论 -
Ealsticsearch 5.x IK分词器
Elasticsearch内置了很多分词器(analyzers),例如standard (标准分词器)、english(英文分词)和chinese (中文分词)。其中standard 就是无脑的一个一个词(汉字)切分,所以适用范围广,但是精准度低。不符合我们的需求,比如”我是中国人”,在分词后全是单个的字,我们想查询”中国”的时候返回的就不是想要的结果;english 对英文更加智能,可以识别单数原创 2017-11-01 14:26:43 · 498 阅读 · 0 评论 -
Ealsticsearch 5.x Mapping(映射)
注意:1、数据类型变化 从Elasticsearch 2.x到5.x版本,数据类型从原来的几种增加到几十种,并且区分field datatype和Meta-field。5.x中的多种数据类型在6.x中将继续使用,但是从7.x开始将不再支持,将会只有一种映射的数据类型。2、说明 虽然将数据库中database、table、column与es进行类比是不正确的,但是可以比较原创 2017-11-02 09:25:44 · 1098 阅读 · 0 评论 -
Ealsticsearch 5.x 遇到的坑
1、Es client的java api中使用了netty,自身服务也需要使用netty接收http请求,则不能再进入netty的jar包了,而es中有限制,不能再使用netty?需要设置全局的环境变量,可以在jvm中进行设置,也可在服务启动时进行设置,如(spring boot服务):@SpringBootApplicationpublic class Applica原创 2017-11-03 16:38:29 · 7784 阅读 · 0 评论 -
Elasticsearch 5.x 基本概念
1、Cluster(集群) 当同一网段(或可以ping通的)下,当集群的名称相同即可通过discover模块组成集群。集群名称在eaalsticsearch.yml中的cluster.name中进行配置,若不进行配置默认为”elasticseaarch”。2、Node(节点)一个elasticsearh集群由一个或多个Node组成,并且参与数据的索引和提供查询能力。节点的名称在eaa原创 2017-11-04 23:07:45 · 1163 阅读 · 0 评论 -
Elasticsearch 5.x Java api Aggregations(聚合)
Ealsticsearch 5.x Java API聚合string类型的时候,会报错(json的错),则需要在聚合的string类型字段的后面添加.keyword , 虽然使用watch查看聚合的es json的时候会出现以下报错,但是不会影响结果。{ "error" : "JsonGenerationException[Can not write a field n原创 2017-11-04 23:18:55 · 8514 阅读 · 2 评论 -
Elasticsearch 5.x 生产环境和节点配置
Elasticsearch中拥有大量的自定义配置项,除了以下一些官方不能统一进行配置的选项(与环境,使用者情况有关),大多数最好不要自行配置,因为会引起很多不必要的麻烦(不好排查),并且es的很多默认项的已经是比较优的配置(包括性能方面)。1、elasticsearch.yml1、cluster.name 配置es的集群名称,默认是elasticsearch,es会自动发现在同一网段原创 2017-11-10 16:50:53 · 5782 阅读 · 0 评论 -
Elasticsearch 5.x Document Reindex
Reindex会将一个索引的数据复制到另一个已存在的索引,但是并不会复制原索引的mapping(映射)、shard(分片)、replicas(副本)等配置信息。一、reindex的常用操作1、reindex基础实现 _reindex会将一个索引的快照数据copy到另一个索引,默认情况下存在相同的_id会进行覆盖(一般不会发生,除非是将两个索引的数据copy到一个索引中),可以使用原创 2017-11-22 12:10:30 · 7040 阅读 · 5 评论 -
Elasticsearch 5.x 生产数据的灾备和恢复
Es每个节点上只会存储部分的数据,而使用replicas机制已经对数据进行冗余备份,但是对生产的Es进行全量(第一次为全量)和增量数据灾备是非常有必要的。一般会选择将数据灾备到共享文件系统中。但是最终决定使用每日(每周,取决于数据的重要性)定时任务将共享文件的灾备数据打tar包并同步到阿里云的OSS的特定bucket中,即灾备的灾备。虽然定时的快照为增量数据,但是只有es清除那些是增量数据哪些是第原创 2017-12-05 22:06:52 · 5259 阅读 · 0 评论 -
Elasticsearch 5.x 性能
Elasticsearch的默认配置项是比较全面的,在不做太多配置的情况下可以使用es的全文检索,高亮显示,聚合,和数据的索引。但是在比较了解es的情况下,可以对很对配置进行优化。一、一般建议 1、不要返回太大的结果集 Es的本质是搜索引擎,所以它的工作机制是查询文件的匹配度,而不是像数据库那些的完全匹配,若需要使用类似于此的查询方式,请使用Scroll API。 2 、原创 2017-12-11 11:17:34 · 3856 阅读 · 0 评论 -
ElasticSearch个人理解
ElasticSearch1 介绍Elasticsearch是一个实时(索引数据到能被搜索大概1s左右)的分布式搜索和分析引擎,主要用于全文搜索,结构化搜索以及分析。Elasticsearch使用Lucene作为内部引擎,但是在使用它做全文搜索时,只需要使用统一开发好的API即可,而不需要了解其背后复杂的Lucene的运行原理,可以说是一个开箱即用的分布式实现,其内部定义了大量的默认值。E原创 2017-05-01 13:38:01 · 3337 阅读 · 3 评论