![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
搜索引擎
西木东林
这个作者很懒,什么都没留下…
展开
-
喵喵机器人--elasticsearch被入侵删库
前端时间笔者自己公司搭建的elasticsearch搜索引擎被删库了.一度怀疑是kibana的用户名密码泄漏了被人从kibana删掉的.然后修改账号密码,发现隔了一个星期还是被删了,并在es库将表的名字重命名为 无序字母数字-meow在想我得罪了什么人吗?还是之前写博客报漏了ip地址??可是我都写的内网地址啊?怎么可能报漏呢?时隔一个月都没有查出问题,直到有一天,发现数据被删之后除了留下了meow结尾的索引以外,还留下了一个让我哭笑不得的索引库read_me,kibana建好之后..原创 2020-09-04 11:07:37 · 1234 阅读 · 0 评论 -
细述elasticsearch搭建集群后公网流量耗费过大的问题
笔者前端时间搭建了elk集群,开始用的还是没有问题的,但是后来elasticsearch查询有时候快,有时候慢,一直在兆elasticsearch本身的问题,还以为自己查询慢是代码的问题.然后偶尔上了一次阿里云,看了机器的公网流出和流入流量对比图.如下:最上面两条的流入和流出带宽直接超了,,,ecs的带宽是4兆的.然后想着有可能是带宽不足导致的es的查询变慢,毕竟es的集群间的日志数据传输有可能占大头然后就去服务器上执行了iftop -i eth1 -n -P命令,查看...原创 2020-07-20 10:52:27 · 748 阅读 · 0 评论 -
elasticsearch搜索竟然比mysql慢?
最近笔者在测试elasticsearch和mysql的查询效率的时候竟然意外的发现es查询效率比mysql还慢.es查询一个简单的语句,竟然要四五百毫秒,而mysql只需要一百多毫秒.最初的判断:1.es的服务器硬件资源不足:内存不够,搭建的是两台es,用作日志收集存储,每台的es内存设置的是2g(最后查到es的内存最好设置为服务器内存的一半以内.然后查看服务器内存为16g,然后我就设置了es的内存为7g,发现查询效率还是不如mysql)2.es服务器的系统负载比较高.四核的cpu,竟然负载原创 2020-05-20 11:12:40 · 2175 阅读 · 0 评论 -
(九) elasticsearch手把手搭建生产环境ELK加kafka实现分布式日志收集集群环境(终结版)
(八) elasticsearch手把手搭建生产环境ELK加kafka实现分布式日志收集总结前八个博客讲到的都是单机版日志收集. es,kafak logstash 都是基于一台机子搭建的.最近跟公司又申请了一台机器用于搭建es和kafak以及logstash的集群.以保证高可用.首先搭建es集群..因为另一台机子使用了原有机器的镜像 ,所以凡是第一台机器上面搭建过的...原创 2020-03-19 21:35:19 · 663 阅读 · 0 评论 -
elasticsearch服务器定时自动清理日志索引
突然想到项目中每天要生产各个环境的索引...时间一长会越来越多.这里写一个定时自动清理elasticsearch的脚本首先.我们进入到elasticsearch的索引目录中去 发现索引数据是真多啊...root@iZbp1ig4nql7imcw4ssn7vZ:/home/idouall# cd /opt/elasticsearch-6.4.3/data/nodes/0/...原创 2020-02-27 17:17:42 · 1487 阅读 · 0 评论 -
(八) elasticsearch手把手搭建生产环境ELK加kafka实现分布式日志收集总结
ELK+kafka实现分布式日志收集系统整体需要按照下面命令进行启动各个环境.(9) 后台启动elasticsearch 端口为9200外部通讯使用 9300节点间内部通讯使用 服务端浏览器地址为:http://101.37.32.7:9200/ nohup ./elasticsearch &g...原创 2020-02-27 14:28:55 · 419 阅读 · 0 评论 -
(六) elasticsearch手把手搭建生产环境ELK加kafka实现终极版日志收集系统
前言: 上文elasticsearch手把手搭建生产环境日志收集系统ELK之kafka单实例搭建 已经将kafka在服务器搭建成功.现在开始通过代码进行kafka的集成. 上文说到简单的elk日志系统从服务器的日志文件角度来进行日志收集.虽然能够做到收集日志的效果,但是一旦服务器数量多了.那么维护起来就是十分麻烦的了.所以现在我们从根源获取日志.并通过kafka和logs...原创 2020-02-22 22:41:59 · 502 阅读 · 0 评论 -
(五) elasticsearch手把手搭建生产环境日志收集系统ELK之kafka单实例搭建
下载kafka链接:kafka我选用的版本为kafka_2.12-2.1.1 因为没有客户群,所以搭建的都是单实例的.后期有条件的话搭建集群.依然上传到/opt下然后解压tar -zxvfkafka_2.12-2.1.1.tgz然后在kafka目录下面新建logs文件夹进入kafka的 config目录vim server.properties...原创 2020-02-19 23:13:43 · 356 阅读 · 0 评论 -
(四) elasticsearch手把手搭建生产环境es客户端工具head插件
本着好奇心进行搭建head插件.结果遇到了各种的坑.1.首先需要下载插件下载方式安装:从https://download.csdn.net/download/xiaolong2230/11209538下载或者从https://github.com/mobz/elasticsearch-head下载ZIP包。从5.0以后head插件支持独立安装.不依赖elasticsearch......原创 2020-02-19 14:43:51 · 218 阅读 · 0 评论 -
(三) elasticsearch手把手搭建生产环境日志收集系统ELK完结版之logstash
上文介绍了如何搭建kibana elasticsearch之搭建日志收集系统ELK之kibana搭建这里介绍如何搭建logstash实现日志收集1、上传logstash安装包(资料)2、解压tar –zxvf logstash-6.4.3.tar.gz3、在config目录下放入middle.conf.conf 读入并且读出日志信息这里介绍一下middle.conf...原创 2020-02-19 14:19:19 · 455 阅读 · 0 评论 -
(一) elasticsearch手把手搭建生产环境部署并启动
1.搭建搜索elasticsearch6.4.3 搭建在Ubuntu 18.04.4上.首先要阿里云开通端口9200 和9300 因为es需要用到这两个端口elasticsearch下载可以直接去官网下载.我这里选择6.4.3版本.https://www.elastic.co/downloads/elasticsearch首先将elasticsearch上传到linux的/opt...原创 2020-02-19 13:59:43 · 991 阅读 · 0 评论 -
Elasticsearch启动报错java.lang.IllegalStateException: availableProcessors is already set to [4], rejecti
elasticsearch 启动报错.在springboot启动main中加上System.setProperty(“es.set.netty.runtime.available.processors”, “false”); 再次启动就不会报错了…也可以在jvm参数中直接设置.比如...原创 2020-02-14 15:37:06 · 537 阅读 · 0 评论 -
elasticsearch之term query与match query区别
match query搜索的时候,首先会解析查询字符串,进行分词,然后查询,而term query,输入的查询内容是什么,就会按照什么去查询,并不会解析查询内容,对它分词。...原创 2020-02-06 16:31:10 · 352 阅读 · 0 评论 -
【报错】elasticsearch 报错read-only / allow delete (api)
PUT /taskrecordaudiobranchwords/_settings{ "index.blocks.read_only_allow_delete": null}elasticsearch 报错blocked by: [FORBIDDEN/12/index read-only / allow delete (api)]从输出语句可以看出是索引只读的错误,实际也的确...转载 2020-02-06 14:00:17 · 982 阅读 · 0 评论