ElasticSearch
乔治大哥
脚踏实地,仰望星空。
展开
-
elasticsearch说了一些了,这次说说Solr【入门Solr这篇就够了】
在之前的博客中,我提到过ElasticSearch学习,请先看这一篇(win_Elasticsearch)并在空闲之余写了一篇关于反向索引和手写分词器,具体在搜索引擎——反向索引原理揭秘及手写ik分词器这篇博客中。但是es可谓是博大精深的,推荐博主铭毅天下,也是我关注的两个博主中的其中一位。对es有很深入的研究和理解。那么言归正传,本篇就说说Solr!或许你会想平时感觉听到的都是e...原创 2020-03-13 21:25:53 · 1077 阅读 · 0 评论 -
Elasticsearch 实例管理在京东的使用场景及演进之路
Elasticsearch 是一个开源的分布式 RElasticsearchTful 搜索引擎,作为一个分布式、可扩展、实时的搜索与数据分析引擎,它可以快速存储、搜索和分析大量数据。同时,Elasticsearch 也支持具有负责搜索功能和要求的应用程序的基础引擎, 因此可以应用在很多不同的场景中。1Elasticsearch 在京东的使用场景由于较高的性能和较低的使用门槛,京东内部有很多...转载 2020-03-02 21:17:00 · 711 阅读 · 0 评论 -
基于 MySQL Binlog 的 Elasticsearch 数据同步实践
一、为什么要做随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。二、现有方法及问题对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据...转载 2020-02-23 21:30:01 · 671 阅读 · 0 评论 -
如何做好 Elasticsearch 性能指标监控
场景描述:本文是较早的一篇关于Elasticsearch性能指标监控的博文,内容总结全面,作者 Emily Chang,由杨文波同学翻译。关键词:Elasticsearch监控一、Elasticsearch 核心概述Elasticsearch是一个开源的分布式文档存储和搜索引擎,可以实时存储和检索数据。它以结构化JSON文档的形式表示数据,可以通过RESTful API或者多语言客户...转载 2020-02-14 21:15:20 · 911 阅读 · 0 评论 -
你真的了解过Lucene吗?
在之前的博客中,我有写到《ElasticSearch学习,请先看这一篇(win_Elasticsearch)》,在里面的第一句话,==Elasticsearch是一个基于Lucene的搜索服务。==那么对于lucene,你有什么看法?本篇对于lucene进行探讨!Lucene简介Lucene是一个全文搜索框架,而不是应用产品。因此它并不像http://www.baidu.com/ 或者goog...原创 2020-02-14 17:06:45 · 436 阅读 · 0 评论 -
win下配置的ES中的数据在哪里可以看到?三种方式你看那种更加高大上!!!(win_Elasticsearch)
在上一篇博客《使用logstash将Mysql中的数据导入到ElasticSearch中(详细步骤,win_Elasticsearch)》中我们提到将数据插入到es中,那我怎么知道数据是否插入呢?我在那里看到呢?接下来就给各位介绍三种方式:第一种:直接法前往es的data目录下看是否有新出现的文件夹,如我的:D:\es\elasticsearch-7.3.2\data也就是说,如果你想把...原创 2020-02-12 20:57:50 · 4341 阅读 · 1 评论 -
使用logstash将Mysql中的数据导入到ElasticSearch中(详细步骤,win_Elasticsearch)
在之前转载的一腾讯高级工程师《一文彻底了解Logstash》对logstach有这详细的介绍,这里我只说明一下,将mysql中的数据使用logstash导入到es中,如何操作,具体步骤见下方:下载logstashhttps://artifacts.elastic.co/downloads/logstash/logstash-7.3.2.zip解压的指定目录在bin的同级目录中创建存放my...原创 2020-02-12 19:53:53 · 2987 阅读 · 1 评论 -
ElasticSearch学习,请先看这一篇(win_Elasticsearch)
一、Elasticsearch的介绍Elasticsearch是一个基于Lucene的搜索服务。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。ES官网 https://w...原创 2020-02-12 19:53:41 · 1467 阅读 · 0 评论 -
什么是Kibana?Kibana安装与配置(win_Elasticsearch)
一、Kibana简介Kibana是一个开源的分析和可视化平台,设计用于和Elasticsearch一起工作。你用Kibana来搜索,查看,并和存储在Elasticsearch索引中的数据进行交互。可以轻松地执行高级数据分析,并且以各种图标、表格和地图的形式可视化数据。Kibana使得理解大量数据变得很容易。它简单的、基于浏览器的界面使你能够快速创建和共享动态仪表板,实时显示Elastics...原创 2020-02-12 19:53:07 · 7704 阅读 · 1 评论 -
win下安装es可视化工具——elasticsearch head(win_Elasticsearch)
一、head简介Elasticsearch Head是集群管理、数据可视化、增删改查、查询语句可视化工具。二、node.js的安装ElasticSearch-head 依赖于node.js下面先安装node.js下面是node.js下载地址http://nodejs.cn/download/;下载后,就是一个安装包,直接打开后除了安装路径自己按需设置外,其他的一路next就好,直...原创 2020-02-11 19:26:46 · 3702 阅读 · 1 评论 -
win下安装elasticsearch(win_Elasticsearch)
第一步:下载地址:https://www.elastic.co/cn/downloads/elasticsearch直接点击即可:第二步:下载成功后,为zip包。将其解压到你想要安装的目录即可。比如:我的D:\es\elasticsearch-7.3.2以上,就算安装好了。那么如何知道安装“好”了呢,运行一下就知道了。进入到D:\es\elasticsearch-7.3.2 ...原创 2020-02-11 19:26:34 · 488 阅读 · 0 评论 -
MySQL用得好好的,为什么要转ES?
嗯!!!既然转,那就代表mysql用的不好!!!哈哈。京东到家订单中心系统业务中,无论是外部商家的订单生产,或是内部上下游系统的依赖,订单查询的调用量都非常大,造成了订单数据读多写少的情况。我们把订单数据存储在MySQL中,但显然只通过DB来支撑大量的查询是不可取的。同时对于一些复杂的查询,MySQL支持得不够友好,所以订单中心系统使用了Elasticsearch来承载订单查询的主要压力。...转载 2019-12-01 17:21:26 · 226 阅读 · 0 评论 -
腾讯万亿级Elasticsearch应用及优化解密
Elasticsearch(ES)作为开源首选的分布式搜索分析引擎,通过一套系统轻松满足用户的日志实时分析、全文检索、结构化数据分析等多种需求,大幅降低大数据时代挖掘数据价值的成本。腾讯在公司内部丰富的场景中大规模使用 ES,同时联合 Elastic 公司在腾讯云上提供内核增强版的 ES 云服务,大规模、丰富多样的的使用场景推动着腾讯对原生 ES 进行持续的高可用、高性能、低成本优化。今...转载 2020-02-07 20:30:37 · 769 阅读 · 0 评论 -
Elasticsearch如何做到亿级数据查询毫秒级返回?
如果面试的时候碰到这样一个面试题:ES 在数据量很大的情况下(数十亿级别)如何提高查询效率?这个问题说白了,就是看你有没有实际用过 ES,因为啥?其实 ES 性能并没有你想象中那么好的。很多时候数据量大了,特别是有几亿条数据的时候,可能你会懵逼的发现,跑个搜索怎么一下 5~10s,坑爹了。第一次搜索的时候,是 5~10s,后面反而就快了,可能就几百毫秒。你就很懵,每个用户第一次访问...转载 2019-10-17 22:03:26 · 194 阅读 · 0 评论 -
一文彻底了解Logstash
Elasticsearch是当前主流的分布式大数据存储和搜索引擎,可以为用户提供强大的全文本检索能力,广泛应用于日志检索,全站搜索等领域。Logstash作为Elasicsearch常用的实时数据采集引擎,可以采集来自不同数据源的数据,并对数据进行处理后输出到多种输出源,是Elastic Stack 的重要组成部分。本文从Logstash的工作原理,使用示例,部署方式及性能调优等方面入手,为大家提...转载 2019-11-29 08:50:36 · 1490 阅读 · 0 评论 -
日均5亿查询量的京东订单中心,为什么舍MySQL用ES?
京东到家订单中心系统业务中,无论是外部商家的订单生产,或是内部上下游系统的依赖,订单查询的调用量都非常大,造成了订单数据读多写少的情况。我们把订单数据存储在MySQL中,但显然只通过DB来支撑大量的查询是不可取的。同时对于一些复杂的查询,MySQL支持得不够友好,所以订单中心系统使用了Elasticsearch来承载订单查询的主要压力。Elasticsear...转载 2019-10-24 22:21:37 · 247 阅读 · 0 评论 -
Elasticsearch 冷热集群架构实战
0、题记Elasticsearch实战数据量级少的时候,单节点就能玩的很6,但是随着数据量的增长,多节点分布式横向扩展集群是大势所趋。之前分享过基于时间创建索引及Curator实现索引生命周期管理。当集群硬件资源有限,尤其SSD磁盘更紧俏的业务场景下,最大化集群的性能,如何让用户最关心的“热”数据分布到SSD磁盘对应的节点上,让用户关注程度弱的“冷”数据分散到普通磁盘对应节点上?也就是...转载 2019-10-21 07:48:24 · 374 阅读 · 0 评论