关闭
当前搜索:

[置顶] 干货 |《深入理解Elasticsearch》读书笔记

题记由于之前已经梳理过Elasticsearch基础概念且在项目中实战过Elasticsearch的增删改查、聚类、排序等相关操作,对ES算是有了一定的认知。但是,仍然对于一些底层的原理认知模糊,特买来《深入理解Elasticsearch》过了一遍,将书中一些细节知识点结合官网文档梳理如下。1——4章偏应用,跟着敲一遍代码基本就能理解原理。 5——9章偏理论一些。 第5章 分布式索引架构1、如何...
阅读(1949) 评论(0)

[置顶] Elasticsearch深入详解-知识图谱(每周更新)

1、题记Elasticsearch技术已经燃爆到飞的感觉。 为了方便订阅Elasticsearch深入详解的博友们第一时间获取最新经验分享,和大家一起成长,特将本专栏内容制作为Elasticsearch深入详解知识图谱。并承诺【铭毅天下】微信公众号每周不定时推送ES深入研究文章至少一篇。2、Elasticsearch深入详解知识图谱地址Elasticsearch深入详解图谱地址: http://l...
阅读(2631) 评论(0)

[置顶] Elasticsearch学习,请先看这一篇!

题记:Elasticsearch研究有一段时间了,现特将Elasticsearch相关核心知识、原理从初学者认知、学习的角度,从以下9个方面进行详细梳理。欢迎讨论……0. 带着问题上路——ES是如何产生的?(1)思考:大规模数据如何检索?如:当系统数据量上了10亿、100亿条的时候,我们在做系统架构的时候通常会从以下角度去考虑问题: 1)用什么数据库好?(mysql、sybase、oracle、达...
阅读(20105) 评论(11)

[置顶] Elasticsearch的使用场景深入详解

了解了ES的使用场景,ES的研究、使用、推广才更有价值和意义。1、场景—:使用Elasticsearch作为主要的后端传统项目中,搜索引擎是部署在成熟的数据存储的顶部,以提供快速且相关的搜索能力。这是因为早期的搜索引擎不能提供耐用的​​存储或其他经常需要的功能,如统计。 Elasticsearch是提供持久存储、统计等多项功能的现代搜索引擎。 如果你开始一个新项目,我们建议您考虑使用Elas...
阅读(24763) 评论(5)

Elasticsearch聚合深入详解——对比Mysql实现

聚合认知前提 桶(Buckets)——满足特定条件的文档的集合 指标(Metrics)——对桶内的文档进行统计计算 SELECT COUNT(color) FROM table GROUP BY color COUNT(color) 相当于指标。 GROUP BY color 相当于桶。 一、聚合起步 1、创建索引 1.1 创建索引DSL实现 put c...
阅读(126) 评论(0)

kafka最常用命令清单

kafka版本:V0.2.10.1 zookeeper版本:V3.4.11 confluent版本:V3.3.0 一、confluent相关启动 1、启动confluent: ./schema-registry-start -daemon ./etc/schema-registry/schema-registry.properties -daemon的目的是为了后台运行,...
阅读(65) 评论(0)

持续精进——我的2017年终总结

2017年,在忙碌和频繁的加班中度过。“每天数你忙”,多少个加班后的夜晚老婆对我说“等你等的菜都凉了,好久没在一起吃晚饭了”。 “你那么忙,要不我们就不过去了吧?工作要紧”,和老爸视频的时候,老爸说。元旦假期的第一天,我反思: 1、工作就真的那么忙吗?忙的和老婆少了沟通,夫妻间平添了不少矛盾; 2、工作就真的那么忙吗?家里的电话都不接了; 3、工作就真的那么忙吗?身体一检查:肝、胃、肾都不好...
阅读(248) 评论(4)

kafka数据同步Elasticsearch深入详解

1、kafka同步到Elasticsearch方式?目前已知常用的方式有四种: 1)logstash_input_kafka插件; 缺点:不稳定(ES中文社区讨论) 2)spark stream同步; 缺点:太庞大 3)kafka connector同步; 4)自写程序读取、解析、写入 本文主要基于kafka connector实现kafka到Elasticsearch全量、增量同...
阅读(1492) 评论(0)

实战 | Elasticsearch打造知识库检索系统

题记源自“死磕Elasticsearch”技术群里的讨论问题: ——我想用es做个类似于知识库的东西,所以需要索引一些pdf、word之类的文件,这个你之前有试过吗?能给个方向吗?我的思考如下:1、pdf、Office类的文档如何被ES索引?更确切的说,pdf、Office类文档(word,ppt,excel等)如何导入ES中。 如图所示: 问题转嫁为:如何将Office类文档、PDF文档...
阅读(601) 评论(1)

假如,我来做一款产品?

作为软件开发工程师,职业生涯中的我们往往都是在为别人“打工”,我们在既定的项目团队或者产品团队中,在为某一个或某几个模块在“忙碌”。从项目规划、项目需求、模块预言、模块概要设计、模块详细设计、模块开发、模块单元测试、黑盒测试、多模块上下游联调联试、产品版本或项目发布、直至项目验收成功。我们不止经历了多少个这种循环。你,考虑过自己做一款产品吗?有过两年的软件产品开发经验的我谈下我的看法。以下内容,没有...
阅读(216) 评论(0)

人生就是不断自我颠覆——《颠覆者》读书心得

在外企里沉浸了一段时间,我终于明白,很多人在跨国公司里工作,首先想的是明哲保身。人们彬彬有礼地在邮件里踢着皮球,用非常礼貌、文雅的英文互相推诿责任。在年终聚会上,大家做出一堆眼花缭乱的PPT来麻醉自己,整个团队都像是生活在《皇帝的新装》里,毫无地气可言。——周鸿祎本来不打算再读非作者本人独立撰写的传记,但是看了《颠覆者——周鸿祎自传》的封皮“写给敢于颠覆自我、渴望终结平庸的你;让你学习抓住时代机遇,...
阅读(663) 评论(0)

DSL的诞生 | 复杂sql转成Elasticsearch DSL深入详解

源自死磕ElasticsearchQQ群(626036393)中的一个问题: 问题如下:where (position=ES or work=ES or content=ES) and academic=本科 and (city=北京 or city=深圳)怎么构建ES的查询条件?我的问题拆解与实现如下:1、sql语句转成DSL有哪些方法?方案一:借助工具 NLP团体开发的Elasticsearc...
阅读(1167) 评论(0)

实战 | Elasticsearch实现类Google高级检索

少废话,说正事。一、高级检索的功能点通过高级搜索配置搜索项,能更准确的过滤掉不相干信息,获取最想要的检索信息。 以Google搜索为例(截取核心片段): 二、高级检索拆分1、包含以下全部的关键词:需要分词处理; 若需要指定字段,则使用matchQuery实现; 若无需指定字段的全文检索,则使用queryStringQuery实现;2、包含以下的完整关键词 :需要完整匹配字符,使用wildca...
阅读(10689) 评论(0)

干货 | Elasticsearch 集群健康值红色终极解决方案

题记Elasticsearch当清理缓存( echo 3 > /proc/sys/vm/drop_caches )的时候,出现 如下集群健康值:red,红色预警状态,同时部分分片都成为灰色。 查看Elasticsearch启动日志会发现如下: 集群服务超时连接的情况。bserver: timeout notification from cluster service. timeout se...
阅读(1163) 评论(0)

浪迹天涯之——乖,摸摸头

我们的人生轨迹,无外乎螺旋状抛物线式矢量前行。总有人们热衷教我们如何“正确”经营这条抛物线,可这世界哪有那么多标准答案?那些约定成俗的正确路线、那些大多数人的正确答案就一定适合于你吗? 去他妈的“平淡是真”吧,愿逶丽抛物线中的你饱经焦虑、迷茫、碰壁、饱经欲扬先抑的成长。 ——大冰01刚读完大冰的《乖,摸摸头》,心情久久不能平静。随即打开电脑,写下这一切…… 最早知道大冰出书是去年和老婆逛图书馆,在...
阅读(261) 评论(0)

干货 | Elasticsearch5.X Mapping万能模板

0、引言在关系型数据库如Mysql中,设计库表需要注意的是: 1)需要几个表; 2)每个表有哪些字段; 3)表的主键及外键的设定——便于有效关联。 表的设计遵守范式约束,考虑表的可扩展性,避免开发后期对表做大的改动。 Mysql或者Oracle中,修改数据类型相对比较简单,通过命令行或者navicat、sqldeveloper等可视化工具直接修改。 即便千万级别数据量,多等点时间,也能修...
阅读(1907) 评论(4)

刨根问底 | Elasticsearch 5.X集群多节点角色配置深入详解

1、问题引出ES5.X节点类型多了ingest节点类型。 针对3个节点、5个节点或更多节点的集群,如何配置节点角色才能使得系统性能最优呢? 2、ES2.X及之前版本节点角色概述3、ES5.X节点角色清单 由于其他几种类型节点和用途都很好理解,无非主节点、数据节点、路由节点。Ingest的用途: 1)Ingest节点和集群中的其他节点一样,但是它能够创建多个处理器管道,用以修改传入文档。类似...
阅读(905) 评论(0)

docker ce 使用及两台docker集群通信配置详解

1 docker ce 介绍1.1 docker ce功能Docker CE是简单的经典OSS Docker企业版。 Docker EE是在某些系统上获得认证,并由Docker Inc.提供支持 的 Docker CE版本。 Docker CS(商业支持)是版本<= 1.13的Docker EE的旧捆绑版本。Docker CE是免费的Docker产品的新名称,Docker CE包含了完整的Doc...
阅读(453) 评论(0)

深究|Elasticsearch单字段支持的最大字符数?

在业务系统中,遇到过两个问题: 问题1:设置为keyword类型的字段,插入很长的大段内容后,报字符超出异常,无法插入。 问题2:检索超过ignore_above设定长度的字段后,无法返回结果。思考:Elasticsearch单字段支持的最大字符数?设置ignore_above之后引申的问题:1、ignore_above的作用?ES中用于设置超过设定字符后,不被索引或者存储。 Strings...
阅读(1513) 评论(0)

Elasticsearch究竟要设置多少分片数?

0、引言本文翻译自Elasticsearch20170918热乎的官方博客,原作者:Christian Dahlqvist。 在构建Elasticsearch集群的初期如果集群分片设置不合理,可能在项目的中后期就会出现性能问题。Elasticsearch是一个非常通用的平台,支持各种各样的用例,并且为数据组织和复制策略提供了巨大灵活性。这种灵活性使得作为ELK新手的你将数据组织成索引和分片变得困难。...
阅读(1350) 评论(0)

Elasticsearch大文件检索性能提升20倍实践(干货)

少废话,直接开始。1、大文件是多大?ES建立索引完成全文检索的前提是将待检索的信息导入Elaticsearch。项目中,有时候需要将一些扫描件、PDF文档、Word、Excel、PPT等文档内容导入Elasticsearch。比如:将《深入理解Elasticsearch》这边书导入ES,而这边书的全文内容被识别后的大小可能为3MB——5MB以上的字节。存入ES后是一个content字段,对这个con...
阅读(1887) 评论(2)

上线必备 | 高性能ES5.X部署配置清单

题记网上当前(截止20170914)流传的各种配置文件普通存在以下问题: 1)版本低,不能和当前版本5.X匹配。 2)5.X的配置本身较1.X,2.X就有很大不同,原有配置已不适用。 3)ES英文、中文文档也没有及时更新。现在,确保ES5.X的高性能到底需要哪些配置越发令人神往。以下清单内容参考了ES官网文档,且都是在ES5.4.0的环境中验证过的,请放心使用。1、配置之前了解ES的集群拓扑结...
阅读(1163) 评论(0)

《懒人Shell脚本》之十——统计多重路径下的不同扩展名文件及个数

1、统计实现find -type f | sed -e 's/.*\.//' | sort | uniq -c | sort -n > rst.txt2、脚本分解1) find -type fregular file , 查找正规的文件 返回:./bak_network/道x网站/bak_第8章.md b block (buffered) special c character (unbuffe...
阅读(743) 评论(0)
319条 共16页1 2 3 4 5 ... 下一页 尾页
    作者
    个人资料
    • 访问:1413116次
    • 积分:16353
    • 等级:
    • 排名:第730名
    • 原创:287篇
    • 转载:29篇
    • 译文:3篇
    • 评论:1117条
    博客专栏
    最新评论