- 博客(24)
- 收藏
- 关注
RSS订阅转载 一些国外优秀的elasticsearch使用案例
Github“Github使用Elasticsearch搜索20TB的数据，包括13亿的文件和1300亿行的代码”这个不用介绍了吧，码农们都懂的，Github在2013年1月升级了他们的代码搜索，由solr转为elasticsearch，目前集群规模为26个索引存储节点和8个客户端节点（负责处理搜索请求），详情请看官方博客https://github.com/blog/1381
2014-04-30 11:36:56
1233
转载 Elasticsearch Java虚拟机配置详解
引言：今天，事情终于发生了。Java6（Mustang），是2006年早些时候出来的，至今仍然应用在众多生产环境中，现在终于走到了尽头。已经没有什么理由阻止迁移到Java7(Dolphin)上了。这也促使我想写一篇关于在ElasticSearch上配置Java6和7的细微差异的博文。Elasticsearch对Java虚拟机进行了预先的配置。通常情况下，因为这些配置的选择还
2014-04-30 11:20:17
4327
转载 Elasticsearch源码分析之二------索引过程源码概要分析
lasticsearch的索引逻辑简单分析，这里只是理清主要的脉络，一些细节方面以后的文章或会阐述。假如通过java api来调用es的索引接口，先是构造成一个json串（es里表示为XContent，是对要处理的内容进行抽象），在IndexRequest里面指定要索引文档到那个索引库（index）、其类型（type）还有文档的id，如果没有指定文档的id，es会通过UUID工
2014-04-30 11:17:56
8180
转载 elasticsearch------索引修复
在使用基于lucene的各类搜索引擎（如：elasticsearch、solr）时，有可能出现类似如下的错误：Caused by: java.io.EOFException: read past EOF: NIOFSIndexInput(path="/usr/local/sas/escluster/data/cluster/nodes/0/indices/index/5/index/_59ct
2014-04-30 11:01:23
6203
转载 当前几个主要的Lucene中文分词器的比较
1. 基本介绍：paoding ：Lucene中文分词“庖丁解牛” Paoding Analysisimdict ：imdict智能词典所采用的智能中文分词程序mmseg4j ： 用 Chih-Hao Tsai 的 MMSeg 算法 实现的中文分词器ik ：采用了特有的“正向迭代最细粒度切分算法“，多子处理器分析模式2. 开发者及开发活跃度：paoding
2014-04-29 17:30:25
1017
原创 生产环境使用elasticsearch遇到的一些问题以及解决方法（不断更新）
1.由gc引起节点脱离集群 因为gc时会使jvm停止工作，如果某个节点gc时间过长，master ping3次（zen discovery默认ping失败重试3次）不通后就会把该节点剔除出集群，从而导致索引进行重新分配。解决方法：（1）优化gc，减少gc时间。（2）调大zen discovery的重试次数（es参数：ping_retries）和超时时间（es参数：p
2014-04-29 17:18:35
26037
4
转载 Elasticsearch源码分析之一——使用Guice进行依赖注入与模块化系统
elasticsearch使用google开源的依赖注入框架guice，这个项目号称比spring快100倍，具体性能没有测试过，不过由于其代码比较简洁，比spring快很有可能，是不是快那么多就不知道了。先介绍下guice的基本使用方法。elasticsearch是直接把guice的源码放到自己的包内（es把很多开源项目的代码都直接集成到自己项目中，省得依赖一堆的jar包，也使es的jar包
2014-04-29 16:55:40
1814
转载 elasticsearch高级配置之线程池设置
一个Elasticsearch节点会有多个线程池，但重要的是下面四个：索引（index）：主要是索引数据和删除数据操作（默认是cached类型）搜索（search）：主要是获取，统计和搜索操作（默认是cached类型）批量操作（bulk）：主要是对索引的批量操作（默认是cached类型）更新（refresh）：主要是更新操作（默认是cached类型）可以通过给设置一个参
2014-04-29 16:50:26
6310
转载 elasticsearch java API ------使用More like this实现基于内容的推荐
基于内容的推荐通常是给定一篇文档信息，然后给用户推荐与该文档相识的文档。Lucene的api中有实现查询文章相似度的接口，叫MoreLikeThis。Elasticsearch封装了该接口，通过Elasticsearch的More like this查询接口，我们可以非常方便的实现基于内容的推荐。先看一个查询请求的json例子：[plain] view plainc
2014-04-29 16:47:27
7991
4
转载 elasticsearch高级配置之分片分布
分片分布是把索引分片分布到节点的过程。这个操作会在初次启动集群，副本分配，负载均衡，或增加删除节点时进行。下面是一些与分片分布相关的设置：cluster.routing.allocation.allow_rebalance设置根据集群中机器的状态来重新分配分片，可以设置为always, indices_primaries_active和indices_all_active，默认是设
2014-04-29 14:17:21
10133
原创 elasticsearch集群监控工具bigdesk
bigdesk是elasticsearch的一个集群监控工具，可以通过它来查看es集群的各种状态，如：cpu、内存使用情况，索引数据、搜索情况，http连接数等。项目git地址： https://github.com/lukas-vlcek/bigdesk。和head一样，它也是个独立的网页程序，使用方式和head一样。插件安装运行：方法1：1.bin/plugin -in
2014-04-29 11:21:56
21971
原创 elasticsearch集群管理工具head插件
elasticsearch-head是一个elasticsearch的集群管理工具，它是完全由html5编写的独立网页程序，你可以通过插件把它集成到es插件安装方法1：1.elasticsearch/bin/plugin -install Aconex/elasticsearch-head2.运行es3.打开http://localhost:9200/_plugin/h
2014-04-25 16:37:55
95050
6
原创 elasticsearch中文分词集成
elasticsearch官方只提供smartcn这个中文分词插件，效果不是很好，好在国内有medcl大神（国内最早研究es的人之一）写的两个中文分词插件，一个是ik的，一个是mmseg的，下面分别介绍下两者的用法，其实都差不多的，先安装插件，命令行：安装ik插件：[plain] view plaincopyhttps://github.com/
2014-04-25 13:32:16
5808
1
原创 elasticsearch java API------批量添加索引
public void bulkupdate(){ BulkRequestBuilder bulkRequest = client.prepareBulk(); try {bulkRequest.add(client.prepareIndex("productindex", "productindex", "2") .setSource(XContentFa
2014-04-24 11:20:18
777
原创 elasticsearch java API ------搜索
public void scan(){// QueryBuilder qb = QueryBuilders.termQuery("description", "descript");SearchResponse scrollResp = client.prepareSearch("productindex") .setSearchType(Searc
2014-04-24 10:55:27
1635
原创 elasticsearch java API ------索引数据
TransportClient client = null;public ESClientTest() {Settings settings = ImmutableSettings.settingsBuilder().put("client.transport.sniff", true).build();client = new TransportClient(settin
2014-04-24 10:51:42
630
原创 elasticsearch java API ------定义索引字段属性
TransportClient client = null;public ESClientTest() {Settings settings = ImmutableSettings.settingsBuilder().put("client.transport.sniff", true).build();client = new TransportClient(settin
2014-04-24 10:49:11
635
转载 分布式搜索elasticsearch配置文件详解
elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。cluster.name: elas
2014-04-23 15:20:54
5364
转载 分布式搜索elasticsearch单机与服务器环境搭建
先到http://www.elasticsearch.org/download/下载最新版的elasticsearch运行包，本文写时最新的是0.19.1，作者是个很勤快的人，es的更新很频繁，bug修复得很快。下载完解开有三个包:bin是运行的脚本，config是设置文件，lib是放依赖的包。如果你要装插件的话就要多新建一个plugins的文件夹，把插件放到这个文件夹中。1.单机环境
2014-04-23 15:16:30
351
转载 elasticsearch java API------与集群交互
这是关于elasticsearch java api的第一篇教程，陆续会把es的一些心得写出来。可以通过两种方式来连接到elasticsearch（简称es）集群，第一种是通过在你的程序中创建一个嵌入es节点（Node），使之成为es集群的一部分，然后通过这个节点来与es集群通信。第二种方式是用TransportClient这个接口和es集群通信。Node方式创建嵌入节点的
2014-04-23 14:56:31
20259
4
转载 java中关键字volatile的作用
java中关键字volatile的作用Java多线程threadJVMIBM 用在多线程，同步变量。 线程为了提高效率，将某成员变量(如A)拷贝了一份（如B），线程中对A的访问其实访问的是B。只在某些动作时才进行A和B的同步。因此存在A和B不一致的情况。volatile就是用来避免这种情况的。volatile告诉jvm， 它所修饰的变量不保留拷贝，直接访问主内存中的（也就是上面说的
2014-04-14 10:57:30
652
转载 Thrift入门
Thrift入门概述下载配置基本概念数据类型服务端编码基本步骤客户端编码基本步骤数据传输协议实例演示（java） thrift生成代码 实现接口IfaceTSimpleServer服务模型TThreadPoolServer 服务模型TNonblockingServer 服务模型THsHaServer服务模型异步客户端
2014-04-02 11:14:55
557
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人