[置顶] 干货 |《深入理解Elasticsearch》读书笔记

题记由于之前已经梳理过Elasticsearch基础概念且在项目中实战过Elasticsearch的增删改查、聚类、排序等相关操作,对ES算是有了一定的认知。但是,仍然对于一些底层的原理认知模糊,特买来《深入理解Elasticsearch》过了一遍,将书中一些细节知识点结合官网文档梳理如下。1——4章偏应用,跟着敲一遍代码基本就能理解原理。 5——9章偏理论一些。 第5章 分布式索引架构1、如何...
阅读(346) 评论(0)

[置顶] Elasticsearch学习,请先看这一篇!

题记:Elasticsearch研究有一段时间了,现特将Elasticsearch相关核心知识、原理从初学者认知、学习的角度,从以下9个方面进行详细梳理。欢迎讨论……0. 带着问题上路——ES是如何产生的?(1)思考:大规模数据如何检索?如:当系统数据量上了10亿、100亿条的时候,我们在做系统架构的时候通常会从以下角度去考虑问题: 1)用什么数据库好?(mysql、sybase、oracle、达...
阅读(15720) 评论(8)

[置顶] Elasticsearch的使用场景深入详解

了解了ES的使用场景,ES的研究、使用、推广才更有价值和意义。1、场景—:使用Elasticsearch作为主要的后端传统项目中,搜索引擎是部署在成熟的数据存储的顶部,以提供快速且相关的搜索能力。这是因为早期的搜索引擎不能提供耐用的​​存储或其他经常需要的功能,如统计。 Elasticsearch是提供持久存储、统计等多项功能的现代搜索引擎。 如果你开始一个新项目,我们建议您考虑使用Elas...
阅读(18701) 评论(5)

DSL的诞生 | 复杂sql转成Elasticsearch DSL深入详解

源自死磕ElasticsearchQQ群(626036393)中的一个问题: 问题如下:where (position=ES or work=ES or content=ES) and academic=本科 and (city=北京 or city=深圳)怎么构建ES的查询条件?我的问题拆解与实现如下:1、sql语句转成DSL有哪些方法?方案一:借助工具 NLP团体开发的Elasticsearc...
阅读(260) 评论(0)

实战 | Elasticsearch实现类Google高级检索

少废话,说正事。一、高级检索的功能点通过高级搜索配置搜索项,能更准确的过滤掉不相干信息,获取最想要的检索信息。 以Google搜索为例(截取核心片段): 二、高级检索拆分1、包含以下全部的关键词:需要分词处理; 若需要指定字段,则使用matchQuery实现; 若无需指定字段的全文检索,则使用queryStringQuery实现;2、包含以下的完整关键词 :需要完整匹配字符,使用wildca...
阅读(4234) 评论(0)

干货 | Elasticsearch 集群健康值红色终极解决方案

题记Elasticsearch当清理缓存( echo 3 > /proc/sys/vm/drop_caches )的时候,出现 如下集群健康值:red,红色预警状态,同时部分分片都成为灰色。 查看Elasticsearch启动日志会发现如下: 集群服务超时连接的情况。bserver: timeout notification from cluster service. timeout se...
阅读(626) 评论(0)

浪迹天涯之——乖,摸摸头

我们的人生轨迹,无外乎螺旋状抛物线式矢量前行。总有人们热衷教我们如何“正确”经营这条抛物线,可这世界哪有那么多标准答案?那些约定成俗的正确路线、那些大多数人的正确答案就一定适合于你吗? 去他妈的“平淡是真”吧,愿逶丽抛物线中的你饱经焦虑、迷茫、碰壁、饱经欲扬先抑的成长。 ——大冰01刚读完大冰的《乖,摸摸头》,心情久久不能平静。随即打开电脑,写下这一切…… 最早知道大冰出书是去年和老婆逛图书馆,在...
阅读(115) 评论(0)

干货 | Elasticsearch5.X Mapping万能模板

0、引言在关系型数据库如Mysql中,设计库表需要注意的是: 1)需要几个表; 2)每个表有哪些字段; 3)表的主键及外键的设定——便于有效关联。 表的设计遵守范式约束,考虑表的可扩展性,避免开发后期对表做大的改动。 Mysql或者Oracle中,修改数据类型相对比较简单,通过命令行或者navicat、sqldeveloper等可视化工具直接修改。 即便千万级别数据量,多等点时间,也能修...
阅读(833) 评论(0)

刨根问底 | Elasticsearch 5.X集群多节点角色配置深入详解

1、问题引出ES5.X节点类型多了ingest节点类型。 针对3个节点、5个节点或更多节点的集群,如何配置节点角色才能使得系统性能最优呢? 2、ES2.X及之前版本节点角色概述3、ES5.X节点角色清单 由于其他几种类型节点和用途都很好理解,无非主节点、数据节点、路由节点。Ingest的用途: 1)Ingest节点和集群中的其他节点一样,但是它能够创建多个处理器管道,用以修改传入文档。类似...
阅读(348) 评论(0)

docker ce 使用及两台docker集群通信配置详解

1 docker ce 介绍1.1 docker ce功能Docker CE是简单的经典OSS Docker企业版。 Docker EE是在某些系统上获得认证,并由Docker Inc.提供支持 的 Docker CE版本。 Docker CS(商业支持)是版本<= 1.13的Docker EE的旧捆绑版本。Docker CE是免费的Docker产品的新名称,Docker CE包含了完整的Doc...
阅读(222) 评论(0)

深究|Elasticsearch单字段支持的最大字符数?

在业务系统中,遇到过两个问题: 问题1:设置为keyword类型的字段,插入很长的大段内容后,报字符超出异常,无法插入。 问题2:检索超过ignore_above设定长度的字段后,无法返回结果。思考:Elasticsearch单字段支持的最大字符数?设置ignore_above之后引申的问题:1、ignore_above的作用?ES中用于设置超过设定字符后,不被索引或者存储。 Strings...
阅读(670) 评论(0)

Elasticsearch究竟要设置多少分片数?

0、引言本文翻译自Elasticsearch20170918热乎的官方博客,原作者:Christian Dahlqvist。 在构建Elasticsearch集群的初期如果集群分片设置不合理,可能在项目的中后期就会出现性能问题。Elasticsearch是一个非常通用的平台,支持各种各样的用例,并且为数据组织和复制策略提供了巨大灵活性。这种灵活性使得作为ELK新手的你将数据组织成索引和分片变得困难。...
阅读(708) 评论(0)

Elasticsearch大文件检索性能提升20倍实践(干货)

少废话,直接开始。1、大文件是多大?ES建立索引完成全文检索的前提是将待检索的信息导入Elaticsearch。项目中,有时候需要将一些扫描件、PDF文档、Word、Excel、PPT等文档内容导入Elasticsearch。比如:将《深入理解Elasticsearch》这边书导入ES,而这边书的全文内容被识别后的大小可能为3MB——5MB以上的字节。存入ES后是一个content字段,对这个con...
阅读(1139) 评论(2)

上线必备 | 高性能ES5.X部署配置清单

题记网上当前(截止20170914)流传的各种配置文件普通存在以下问题: 1)版本低,不能和当前版本5.X匹配。 2)5.X的配置本身较1.X,2.X就有很大不同,原有配置已不适用。 3)ES英文、中文文档也没有及时更新。现在,确保ES5.X的高性能到底需要哪些配置越发令人神往。以下清单内容参考了ES官网文档,且都是在ES5.4.0的环境中验证过的,请放心使用。1、配置之前了解ES的集群拓扑结...
阅读(754) 评论(0)

《懒人Shell脚本》之十——统计多重路径下的不同扩展名文件及个数

1、统计实现find -type f | sed -e 's/.*\.//' | sort | uniq -c | sort -n > rst.txt2、脚本分解1) find -type fregular file , 查找正规的文件 返回:./bak_network/道x网站/bak_第8章.md b block (buffered) special c character (unbuffe...
阅读(592) 评论(0)

Java基础知识清单

题记Java的学习都是通过Google用到什么就查什么,不成系统。 虽然相比于面向对象语言C++有很大的相似性,但也有很多不同点。 本文就基于《Java语言程序设计》(基础篇)过一遍基础知识点,着重过一遍C++没有的。知识清单1、Java语言是区分大小写的。2、boolean类型是Java的布尔类型,区别于C++的bool类型。 特别注意,boolean类型的判定方法同C&C++,如下:if...
阅读(383) 评论(0)

Elasticsearch全文检索实战小结——复盘我带的第二个项目

一、项目概述这是一个被我称之为“没有枪、没有炮,硬着头皮自己造”的项目。项目是和其它公司合作的三个核心模块开发。 使用ES的目的是: 1)、采集数据、网站数据清洗后存入ES; 2)、对外提供精确检索、通配符检索、模糊检索、分词检索、全文检索接口等二次封装接口。二、项目架构 如上图所示,ES作为中间层,一方面存储数据清洗后存储的数据,另一方面对外提供插入、更新、删除、检索接口的。三、ES使用小...
阅读(1108) 评论(5)
312条 共21页1 2 3 4 5 ... 下一页 尾页
    作者
    个人资料
    • 访问:1264935次
    • 积分:15352
    • 等级:
    • 排名:第802名
    • 原创:280篇
    • 转载:29篇
    • 译文:3篇
    • 评论:1060条
    博客专栏
    最新评论