ELK
文章平均质量分 66
人生匆匆
这个作者很懒,什么都没留下…
展开
-
elasticsearch 报错can not be importe d as a dangling index, as index with same name already exists in
分析源码可知,ES对Dangling Indices的处理策略是首先会去寻找并判定数据节点中的哪些索引属于Dangling状态,然后组装好这些Indices,最后将这些Dangling Indices发送给master等待着后续的Allocation操作。于是Google了indices rename的操作,包括clone、reindex、snapshot等主要实现方式(暂不限于ES的版本),通过这些操作对重名的索引更改名称,然后ES就可以正常的处理Dangling indices了。转载 2024-03-07 17:11:36 · 323 阅读 · 0 评论 -
Elasticsearch跨集群搜索(Cross Cluster Search)
1、简介Elasticsearch在5.3版本中引入了Cross Cluster Search(CCS 跨集群搜索)功能,用来替换掉要被废弃的Tribe Node。类似Tribe Node,Cross Cluster Search用来实现跨集群的数据搜索。跨集群搜索使您可以针对一个或多个远程集群运行单个搜索请求 。例如,您可以使用跨集群搜索来过滤和分析存储在不同数据中心的集群中的日志数据。跨集群查询允许你的请求查询多个集群的数据,这个特性帮助我们更好的设计我们的架构。分布式系统或微服务里将系统分为多个转载 2021-11-26 16:22:04 · 484 阅读 · 0 评论 -
搭建 Elasticsearch 集群
怎样搭建 Elasticsearch 6.5.4集群1-1、准备环境采用三台CentOS6.5部署Elasticsearch集群,部署Elasticsearch集群就不得不提索引分片,以下是索引分片的简单介绍。系统节点名称IP地址centos 6.5els-node1192.168.60.201centos 6.5els-node2192.168.60.201centos 6.5els-node3192.168.60.201ES集群中索引可能由多个分转载 2021-11-03 17:01:11 · 210 阅读 · 0 评论 -
Elasticsearch映射类型keyword与text的区别
1、keyword 类型keyword 类型:存储数据时候,不会分词建立索引,支持模糊、支持精确匹配;支持聚合、排序操作。keyword 类型的最大支持的长度为——32766个UTF-8类型的字符,可以通过设置 ignore_above 指定自持字符长度,超过给定长度后的数据将不被索引,无法通过 term 精确匹配检索返回结果。使用场景: 存储邮箱号码、url、name、title,手机号码、主机名、状态码、邮政编码、标签、年龄、性别等数据。 用于筛选数据(例如: select * from x wh转载 2021-08-30 14:21:28 · 798 阅读 · 0 评论 -
Elasticsearch的索引操作
创建索引:curl -H 'Content-Type:application/json' -XPUT 'http://10.0.32.210:9200/test?pretty' -d'{ "settings":{ "index":{ "number_of_shards":4, "number_of_replicas":2 } } }'删除索引c原创 2021-08-29 23:51:42 · 120 阅读 · 0 评论 -
Elasticsearch创建索引
您可以通过 Elasticsearch 的 RESTFul API 来创建索引:PUT http://127.0.0.1:9200/commodity注意:默认情况下,创建的索引分片数量是 5 个,副本数量是 1 个。您可以通过如下参数来指定分片数、副本数量:{ "settings": { "number_of_shards": 3, "number_of_replicas": 2 }}1.1 实战演示通过 CURL 命令来上手操作一下,我们尝试创建一个商品索引, 看下效果:转载 2021-08-29 18:01:03 · 5648 阅读 · 2 评论 -
elasticsearch扩容与下线节点
扩容复制本集群es的安装包到被扩容的机器scp -r /opt/elasticsearch-7.6.2 10.4.72.10:/opt创建用户和软连接并授权useradd elasticln -s elasticsearch-7.6.2 elasticsearchchown -R elastic:elastic elasticsearch*创建数据目录和日志目录并授权mkdir -p /data{1,2,3,4,5,6}/elasticsearch/datamkdir /data1/e原创 2021-02-03 18:23:06 · 621 阅读 · 0 评论 -
ElasticSearch_Head谷歌插件安装
链接:https://pan.baidu.com/s/1FlsxMXGNPIjjwiUSR1IGAQ提取码:k2gd复制这段内容后打开百度网盘手机App,操作更方便哦把下载好的 head包,单独减压到一个文件夹中。3.打开chrome,点击右上角的 三个小点→更多工具→扩展程序→加载已减压的扩展程序→选择你第二步创建的文件注意不要进入文件内部。4.如图 点击成功...原创 2020-10-10 10:31:32 · 847 阅读 · 3 评论 -
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000794500000, 576716800, 0)
报错日志这个问题引起的原因是:服务器上物理内存太小,大部分都是应为程序太多,内存吃紧,而给jvm分配的内存太大(java程序启动需要的内存,linux不能给),最好调整java程序jvm内存吧(测试环境下)解决方案:1.linux上利用top命令查看所有进程,看看那些进程占用的内存太大了,选择性的kill,释放内存,但这个需要了解清楚,安歇进程是不需要的。2.调整tomca中对jvm内存...原创 2020-04-13 16:22:32 · 12269 阅读 · 0 评论 -
centos7 安装 elasticdump(在线安装)elasticsearch 数据迁移
一. 安装npm,nodeelasticsearch-dump可用ES的数据备份、迁移、同步操作等wget https://nodejs.org/dist/v10.14.2/node-v10.14.2-linux-x64.tar.xztar -xf node-v10.14.2-linux-x64.tar.xz -C /usr/local/mv /usr/local/node-v10.14.2-linux-x64/ /usr/local/node/usr/bin/vim /etc/profile.原创 2020-07-27 18:19:05 · 2337 阅读 · 1 评论 -
Centos7 安装 elasticsearch-head
1、下载elasticsearch-head和nodejs1.1安装nodejs官方下载https://nodejs.org/en/download/百度云下载链接:https://pan.baidu.com/s/1S1oGEd0vPNck1AEhVYA-pg提取码:49ss解压:tar xvf node-v12.13.0-linux-x64.tar.xz做2个软连接:ln -s /wwwroot/soft/node-v12.13.0-linux-x64/bin/node /usr/原创 2020-07-13 16:22:33 · 488 阅读 · 0 评论 -
解决 org.elasticsearch.xpack.monitoring.exporter.ExportException: failed to flush export bulk
解决这个错误有几个可选办法:将集群的结点配置里的ingest角色打开node.ingest: true或者在集群设置elasticsearch.yml里,将local exporter的use ingest关闭:xpack.monitoring.exporters.my_local: type: local use_ingest: false我是用了第一个方法解决...原创 2020-07-10 10:14:03 · 7869 阅读 · 0 评论 -
ES启动是产生的报错
报错一:ERROR: bootstrap checks failed解决方案:vim /etc/security/limits.conf //添加, 【注销后并重新登录生效】soft nofile 300000hard nofile 300000soft nproc 102400hard nproc 102400报错二:[2016-12-30T15:18:09,190][WARN ][o.e.b.JNANatives ] Unable to lock JVM Memo原创 2020-07-08 14:58:33 · 1844 阅读 · 1 评论 -
cerebro部署
cerebro一款全能的ES工具,安装配置简单,功能强大。可以监控集群、配置集群、操作ES数据;下载地址:https://github.com/lmenezes/cerebro/releaseswget https://github.com/lmenezes/cerebro/releases/download/v0.8.5/cerebro-0.8.5.tgz或者下载后上传到服务器解压...转载 2020-04-20 12:05:50 · 1396 阅读 · 0 评论 -
filebeat+redis+elk日志分析搭建
filebeat: 10.0.0.41redis: 10.0.0.42logstash: 10.0.0.43elasticsearch: 10.0.0.44kibana: 10.0.0.45架构如下:一、filebeat:10.0.0.411、安装filebeatcat > /etc/yum.repos.d/artifacts.repo <<EOF[elast...原创 2019-12-13 11:16:25 · 470 阅读 · 0 评论 -
filebeat+kafka搭建
简单介绍:因为Kafka集群是把状态信息保存在Zookeeper中的,并且Kafka的动态扩容是通过Zookeeper来实现的,所以需要优先搭建Zookeerper集群,建立分布式状态管理。开始准备环境,搭建集群:zookeeper是基于Java环境开发的所以需要先安装Java 然后这里使用的zookeeper安装包版本为zookeeper-3.4.14,Kafka的安装包版本为kafka_2...原创 2019-12-11 14:47:22 · 1277 阅读 · 0 评论 -
ELK删除索引
1、查看当前所有索引curl '10.0.0.41:9200/_cat/indices?v'2、删除指定索引curl -XDELETE 10.0.0.41:9200/nginx_log_2019.12.05 其中nginx_log_2019.12.05为索引全称3、删除多个索引curl -XDELETE 10.0.0.41:9200/nginx_log_2019.12.05...原创 2019-12-05 13:56:39 · 982 阅读 · 0 评论 -
elasticsearch简单配置
vim /etc/elasticsearch/elasticsearch.ymlnetwork.host:0.0.0.0 #接收所有lostash的IP的数据http.port: 9200 #elasticsearch端口原创 2019-10-11 16:23:00 · 156 阅读 · 0 评论 -
kibana简单配置介绍
vim /etc/kibana/kibana.yml配置kibana端口允许所有IP访问展示本地elasticsearch原创 2019-10-11 15:54:04 · 497 阅读 · 0 评论 -
简单搭建ELK
1、首先拉软件包,基于java语言开发首先配置java环境,centos7不用2、首先安装elasticsearch-6.6.0.rpmrpm -ivh elasticsearch-6.6.0.rpm 3、修改elasticsearch配置,并启动elasticsearchvim /etc/elasticsearch/elasticsearch.ymlsystemctl star...原创 2019-10-15 10:06:02 · 373 阅读 · 0 评论