- 博客(8)
- 资源 (7)
- 收藏
- 关注
原创 Elasticsearch:在搜索引擎中如何实现完全匹配(内容精确匹配)查询
本文地址:在有搜索引擎之前,我们查文档常使用顺序匹配。比如要搜索 "我的祖国是花园",需要在文档中顺序扫描,找到完全匹配的子句。在有了搜索引擎后,我们对查询语句做的处理就不一样了。我们通常会先分词,然后查找对应的词条索引,最后得到评分由高到低的文档列表。我一度以为没法实现完全匹配了,直到一个硬需求的出现。花了一天时间,把完全匹配用搜索引擎的思维整理出来。简要描述实现思路
2015-08-25 17:38:51 71334 2
转载 elasticsearch手动控制分片分布
elasticsearch可以通过reroute api来手动进行索引分片的分配。不过要想完全手动,必须先把cluster.routing.allocation.disable_allocation参数设置为true,禁止es进行自动索引分片分配,否则你从一节点把分片移到另外一个节点,那么另外一个节点的一个分片又会移到那个节点。 一共有三种操作,分别为:移动(move),取消(canc
2015-08-14 17:21:52 1982
转载 BSON与JSON的区别
BSON是由10gen开发的一个数据格式,目前主要用于MongoDB中,是MongoDB的数据存储格式。BSON基于JSON格式,选择JSON进行改造的原因主要是JSON的通用性及JSON的schemaless的特性。BSON主要会实现以下三点目标:1.更快的遍历速度对JSON格式来说,太大的JSON结构会导致数据遍历非常慢。在JSON中,要跳过一个文档进行数据读取,需要对
2015-08-14 10:49:42 1240
原创 ElasticSearch:为中文分词器增加对英文的支持(让中文分词器可以处理中英文混合文档)
当我们使用中文分词器的时候,其实也希望它能够支持对于英文的分词。试想,任何一个存储文字的字段都有可能是中英文夹杂的。我们的项目中使用IKAnalyzer作为中文分词器,它在处理文档过程中遇到英文时,利用空格和标点将英文单词取出来,同时也会对其转全小写处理。其实这和真正的英文分词已经很接近了,只有一墙之隔:词干提取。一个真正的英文分词器除了
2015-08-12 12:19:20 16937 1
原创 Elasticsearch:用Curator辅助Marvel,实现自动删除旧marvel索引
Marvel几乎是所有Elasticsearch用户的标配。以前我常用bigdesk来做ES集群的监控,直到项目需要上线时,方感觉到marvel才是想要的:它可以把观测值和重要事件记录下来!当出问题时打开bigdesk已经迟了,因为我们往往想知道过去的两小时发生了什么造成现在的情况。marvel则不同,它时刻保留观测数据。Marvel保留观测数据的代价是,它默认每天会新建一个index
2015-08-11 18:29:53 5894 1
转载 为ElasticSearch添加HTTP基本认证(head,bigdesk等插件增加登陆机制)
为ElasticSearch添加HTTP基本认证ES的HTTP连接没有提供任何的权限控制措施,一旦部署在公共网络就容易有数据泄露的风险,尤其是加上类似elasticsearch-head这样友好的前端界面,简直让你的数据瞬间裸奔在黑客的眼皮底下。项目上线前做十万伏特的防护当然不现实,但至少,我们不要裸奔,穿一套比基尼吧。而做一个简单的HTTP认证并不需要从头造轮子,elasticsearc
2015-08-10 11:19:10 8951
原创 ElasticSearch:Nginx可以给ElasticSearch集群带来什么福利?
在高并发的情况下,我们可以采用nginx反向代理负载均衡到多台Elasticsearch 服务器上。架构图:那么使用nginx有什么好处呢?1. 记录每个API访问请求的日志。(ElasticSearch本身不支持这个功能,只有slowLog和服务日志)2. 支持大量的客户端连接。ES官方的blog中推荐使用keep-alives,在nginx和ES之间使用长连接。
2015-08-05 18:04:02 6345
转载 Elasticsearch 集群版本升级步骤及注意事项
1、升级前的准备工作从Elasticsearch 的官方网站 https://www.elastic.co/downloads/elasticsearch 下载最新版本的Elasticsearch,为了线上方便对数据包的管理,一版选择 .gz.tar 格式或者 .zip 格式文件。 解压缩最新版本文件压缩包到指定目录,备份 config 目录中的 elast
2015-08-05 10:03:13 4019
Efs(Ext上二次开发,标签形式使用Ext) Demo官方项目实例
2012-04-07
Efs(Ext上二次开发,标签形式使用Ext) API文档
2012-04-07
EfsFrame框架(EXT上二次开发)源代码
2012-04-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人