Elasticsearch
Joy_joye
时时勤拂拭,勿使惹尘埃
展开
-
Elasticsearch集群管理1-集群节点监控
最近忙于毕业论文2个月没有更新博客了,还有小伙伴的私信也是才看到,真是非常抱歉了!今天要说的是对Elasticsearch的集群进行管理。主要包括:集群节点监控、集群分片迁移、集群节点配置、节点发现与集群平衡位置。实验用到的前置安装环境及版本,Elasticsearch、kibana、head插件,版本均为5.2.01,集群节点监控Elasticsearch运行时,监控非常重要,作用是能够检测和预防问题的发生。对Elasticsearch的监控主要包括三类:1)和集群相关的,_cluster作为开头原创 2020-06-02 13:47:06 · 587 阅读 · 0 评论 -
导入CSV文件到Elasticsearch方法和工具总结
问题背景:实验需求,想要将Oracle中的数据导入到ES中,从而进行搜索。之前做过logstash-input-jdbc实现Oracle、MySQL等数据库的增量式同步。由于想要CSV文件,方便Neo4j数据库的导入导出。因此先将Oracle数据库导出为CSV格式文件,在Oracle数据库en中表右键选择Query data,使用将数据导出为csv格式。经过调研,发现CSV格式文件导入ES...原创 2020-02-29 20:45:45 · 6524 阅读 · 0 评论 -
ES&Logstash报错备案:使用logstash-input-jdbc导入数据到ES中出的错误
错误1:原因,配置文件格式问题,可能是少了空格之类的。导致配置文件无法正确读取。检查配置文件的空格,以及驱动库的位置、sql文件位置路径是否正确。错误2:报错。但是不影响数据导入。可以忽略。在此Mark一下。logstash报错如下。09:16:33.882 [[main]>worker6] ERROR logstash.outputs.elasticsearch...原创 2019-11-12 09:36:28 · 788 阅读 · 0 评论 -
MySQL数据源同步:使用logstash-jdbc-input插件将MySQL数据源同步到Elasticsearch中
logstash安装依赖于ruby环境,首先安装ruby环境。可以使用以下命令进行检查是否安装。ruby -v1,查看源gem sources -l2,删除默认源gem sources --remove https://rubygems.org/3,添加新源。由于原先的ruby-china地址变更,因此添加的新源为以下命令:gem sources -a http://g...原创 2019-11-12 09:34:42 · 118 阅读 · 0 评论 -
Elasticsearch的head插件依赖:node.js环境的安装与卸载重装(Linux和Windows环境下)
Centos中,Linux环境下:安装命令:curl --silent --location https://rpm.nodesource.com/setup_8.x | bash -Yum安装命令:yum install -y nodejs安装grunt 命令:Npm install -g grunt-cli安装成功检测命令:node -vNpm ...原创 2019-10-30 20:58:12 · 566 阅读 · 1 评论 -
ES学习笔记2:快速入门Elasticsearch,功能、概念、安装、简单案例
1,Elasticsearch的功能(1)分布式的搜索引擎和数据分析引擎搜索功能:百度、Google等站内搜索,IT系统的检索数据分析:电商网站,热销口红产品排名前十的商家;新闻网站,最近一周阅读量前三的新闻;分布式(体现在集群、节点上)、搜索;数据分析(2)全文检索,结构化检索,数据分析全文检索:想搜索商品名称包含“口红”的商品,select * from product...原创 2019-09-09 14:45:14 · 272 阅读 · 0 评论 -
ES学习笔记1:什么是Elasticsearch
1,什么是搜索?1.1 搜索初印象在百度中进行搜索这个问题,找到百度百科对于搜索的概念如下:通常的理解,把搜索和百度划上等号,但是需要注意的是:百度!=搜索,这是不对的!1.2 垂直搜索垂直搜索,就是对特定领域、针对特定人群、特定需求的搜索。相对应的搜索引擎就是垂直搜索引擎。具有:专、精、深的行业特点。互联网的搜索 举例:电商网站、招聘网站、新闻网站等。搜索“...原创 2019-06-02 22:07:54 · 176 阅读 · 0 评论 -
【Elasticsearch学习资源】Elasticsearch权威指南翻译目录
为了方便大家能够更加快速地找到自己需要参考的那部分,对已经翻译完成的部分根据权威指南的目录做了相应目录,希望能够有所帮助。起步(Getting Started)1. 你懂的,为了搜索英文原文链接:You Know, for Search2. 集群中的生活译文链接: [Elasticsearch] 集群的工作原理 - 第一部分 [Elasticsearch] 集群的工作原理 - 第二部...转载 2019-03-26 10:12:01 · 112 阅读 · 0 评论 -
干货 | Elasticsearch多表关联设计指南
版权声明:本文为博主原创文章,未经博主允许不得转载。转载请务必加上原作者:铭毅天下,原文地址:blog.csdn.net/laoyang360 https://blog.csdn.net/wojiushiwo987/article/details/88784748Elasticsearch多表关联问题是讨论最多的问题之一,如:博客和评论的关系,用户和爱好的关系。多表关联通常指:1对多,...转载 2019-03-26 09:45:57 · 2562 阅读 · 1 评论 -
【精品学习资源】| Elasticsearch中文社区201901错题本
马云演讲中曾经提到:很多时候少听成功专家的话。所有的创业者多花点时间学习别人是怎么失败的,因为成功的原因有千千万万,失败的原因就一两个点。创业需要关注别人的失败,而开发实战,别人的错误经验、别人的问题也非常有价值。开发最懊悔的事莫过于:自己费尽脑汁、花费了很长时间解决了问题,原来别人在社区或者别的地方早已经给出了更优化的方案。开发最最懊悔的事莫过于:别人已经给出了方案,但是我们仍然在黑暗中苦...转载 2019-03-04 15:13:21 · 344 阅读 · 0 评论 -
【学习资源】死磕 Elasticsearch 方法论:普通程序员高效精进的 10 大狠招!(完整版)
阿里云2018年2月5日已开价50-200W年薪招聘技术人员参与 Elasticsearch、Lucene 内核优化、改进。如果说,你错过了 Hadoop,错过了 Spark 的红利,难道Elasticsearch 的机会你还要错过吗?在学习 Elasticsearch 的过程中,你是不是多多少少有以下困惑:面对 Elasticsearch1.X,2.X,5.X,6.X 的不同版本,你无从下...转载 2019-03-04 15:05:46 · 158 阅读 · 0 评论 -
Elasticsearch 6.5.3 安装错误日志记录
安装Elasticsearch环境的道路很漫长,一边爬坑一边跳坑。遇到了很多错误,特此记录。1.Elasticsearch配置出错。错误截图如下:解决方案:使用root账户登录,修改/etc/security/limits.d/20-nproc.conf命令:vi /etc/security/limits.d/20-nproc.conf修改内容:* soft ...原创 2019-02-28 20:32:16 · 850 阅读 · 0 评论 -
Elasticsearch 6.5.3 索引管理实验记录
Elasticsearch集群学习记录1.Elasticsearch索引管理新建索引命令PUT 索引名删除索引DELETE 索引名查看索引GET 索引名/_settings可同时查看多个索引。 GET 索引名1,索引名2/_settings查看集群中所有的索引信息,命令如下: GET _all/_settings索引的打开关闭POST 索引名/_open...原创 2019-02-28 20:27:20 · 2958 阅读 · 0 评论 -
Elasticsearch 6.5.3 复合查询实验记录
复合查询把一些简单查询组合在一起实现更复杂的查询需求,除此之外符合查询还可以控制另外一个查询的行为。constant_score query可以包装一个其他类型的查询,并返回匹配过滤器中的查询条件且有相同评分的文档。bool query可以把任意多个简单的查询组合在一起,使用must、should、must_not、filter来表示简单查询之间的逻辑,每个选项都可以出现0...原创 2019-02-28 20:11:40 · 376 阅读 · 0 评论 -
Elasticsearch6.5.3 全文查询实验记录
全文查询match queryterm查询基于词项,当搜索java编程时,经过分词会变成 java 编程 ,不存在java编程,因此返回结果为空。换成match query可以得到结果。match_phrase query首先会把query内容分词,分词器可以自定义,同时文档还要满足以下两个条件才会被搜索到:1,分词后所有词项都要出现在该字段中;2,字段中的词项顺序要一致。...原创 2019-02-28 20:02:08 · 335 阅读 · 0 评论