ElasticSearch服务器搭建

先到http://www.elasticsearch.org/download/下载最新版的elasticsearch运行包，本文写时最新的是0.20.5，作者是个很勤快的人，es的更新很频繁，bug修复得很快。下载完解开有三个包:bin是运行的脚本，config是设置文件，lib是放依赖的包。如果你要装插件的话就要多新建一个plugins的文件夹，把插件放到这个文件夹中。

单机环境

单机版的elasticsearch运行很简单，linux下直接 bin/elasticsearch就运行了，windows运行bin/elasticsearch.bat。如果是在局域网中运行elasticsearch集群也是很简单的，只要cluster.name设置一致，并且机器在同一网段下，启动的es会自动发现对方，组成集群。

服务器环境

如果是在服务器上就可以使用elasticsearch-servicewrapper这个es插件，它支持通过参数，指定是在后台或前台运行es，并且支持启动，停止，重启es服务（默认es脚本只能通过ctrl+c关闭es）。使用方法是到https://github.com/elasticsearch/elasticsearch-servicewrapper下载service文件夹，放到es的bin目录下。下面是命令集合：

bin/service/elasticsearch+
console 在前台运行es
start 在后台运行es
stop 停止es
install 使es作为服务在服务器启动时自动启动
remove 取消启动时自动启动

在service目录下有个elasticsearch.conf配置文件，主要是设置一些java运行环境参数，其中比较重要的是下面的

参数：
#es的home路径，不用用默认值就可以
set.default.ES_HOME=<Pathto ElasticSearch Home>
#分配给es的最小内存
set.default.ES_MIN_MEM=256
#分配给es的最大内存
set.default.ES_MAX_MEM=1024
# 启动等待超时时间（以秒为单位）
wrapper.startup.timeout=300
# 关闭等待超时时间（以秒为单位）
wrapper.shutdown.timeout=300
# ping超时时间(以秒为单位)
wrapper.ping.timeout=300

中文分词集成

elasticsearch官方只提供smartcn这个中文分词插件，效果不是很好，好在国内有medcl大神（国内最早研究es的人之一）写的两个中文分词插件，一个是ik的，一个是mmseg的，下面分别介绍下两者的用法，其实都差不多的，先安装插件，命令行：

安装ik插件：

plugin -installmedcl/elasticsearch-analysis-ik/1.1.0

或者手动通过下载包安装，在github上有个最新的https://github.com/medcl/elasticsearch-analysis-ik，编译打包：mvn clean install package -DskipTests得到jar包进行以下的安装

（直接用plugin --install //方式安装，这个真看人品，反正我是没装上。）

下载后用plugin --url file://path/to/plugin --install plugin-name方式安装，没问题，安装成功。

下载ik相关配置词典文件到config目录

cd config

wget http://github.com/downloads/medcl/elasticsearch-analysis-ik/ik.zip --no-check-certificate

unzip ik.zip

rm ik.zip

安装mmseg插件：

bin/plugin -installmedcl/elasticsearch-analysis-mmseg/1.1.0 

下载相关配置词典文件到config目录

cd config 

wget http://github.com/downloads/medcl/elasticsearch-analysis-mmseg/mmseg.zip --no-check-certificate 

unzip mmseg.zip 

rm mmseg.zip 

分词配置

ik分词配置，在elasticsearch.yml文件中加上

index:
      analysis:
        analyzer:
          ik:
              alias: [ik_analyzer]
              type: org.elasticsearch.index.analysis.IkAnalyzerProvider

或

index.analysis.analyzer.ik.type : “ik” 

这两句的意义相同

mmseg分词配置，也是在在elasticsearch.yml文件中

index: 
      analysis: 
        analyzer: 
          mmseg: 
              alias: [news_analyzer,mmseg_analyzer] 
              type:org.elasticsearch.index.analysis.MMsegAnalyzerProvider 

或

    index.analysis.analyzer.default.type :"mmseg" 

mmseg分词还有些更加个性化的参数设置如下

    index: 
      analysis: 
        tokenizer: 
          mmseg_maxword: 
              type: mmseg 
              seg_type:"max_word" 
          mmseg_complex: 
              type: mmseg 
              seg_type:"complex" 
          mmseg_simple: 
              type: mmseg 
              seg_type: "simple" 

这样配置完后插件安装完成，启动es就会加载插件。

定义mapping

在添加索引的mapping时就可以这样定义分词器

    { 
       "page":{ 
          "properties":{ 
             "title":{ 
               "type":"string", 
               "indexAnalyzer":"ik", 
               "searchAnalyzer":"ik" 
             }, 
             "content":{ 
               "type":"string", 
               "indexAnalyzer":"ik", 
               "searchAnalyzer":"ik" 
             } 
          } 
       } 
    } 

indexAnalyzer为索引时使用的分词器，searchAnalyzer为搜索时使用的分词器。

java mapping代码如下：

    XContentBuilder content =XContentFactory.jsonBuilder().startObject() 
            .startObject("page") 
             .startObject("properties")        
               .startObject("title") 
                  .field("type","string")            
                 .field("indexAnalyzer", "ik") 
                 .field("searchAnalyzer", "ik") 
                .endObject()  
               .startObject("code") 
                  .field("type","string")          
                  .field("indexAnalyzer","ik") 
                 .field("searchAnalyzer", "ik") 
                .endObject()      
              .endObject() 
             .endObject() 
           .endObject() 

定义完后操作索引就会以指定的分词器来进行分词。

测试分词可用调用下面api，注意indexname为索引名，随便指定一个索引就行了

http://localhost:9200/indexname/_analyze?analyzer=ik&text=测试elasticsearch分词器

附：

ik分词插件项目地址：https://github.com/medcl/elasticsearch-analysis-ik

mmseg分词插件项目地址：https://github.com/medcl/elasticsearch-analysis-mmseg

如果觉得配置麻烦，也可以下载个配置好的es版本，地址如下：https://github.com/medcl/elasticsearch-rtf

配置详解

可参考之前文章ElasticSearch配置详解

elasticsearch的config文件夹里面有两个配置文 件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日 志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的 东西。

cluster.name:elasticsearch

配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。

node.name:"Franz Kafka"

节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。

node.master: true

指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。

node.data: true

指定该节点是否存储索引数据，默认为true。

index.number_of_shards:5

设置默认索引分片个数，默认为5片。

index.number_of_replicas:1

设置默认索引副本个数，默认为1个副本。

path.conf:/path/to/conf

设置配置文件的存储路径，默认是es根目录下的config文件夹。

path.data:/path/to/data

设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开，例：

path.data:/path/to/data1,/path/to/data2

path.work:/path/to/work

设置临时文件的存储路径，默认是es根目录下的work文件夹。

path.logs:/path/to/logs

设置日志文件的存储路径，默认是es根目录下的logs文件夹

path.plugins:/path/to/plugins

设置插件的存放路径，默认是es根目录下的plugins文件夹

bootstrap.mlockall:true

设置为true来锁住内存。因为当jvm开始swapping时es的效率会降低，所以要保证它不swap，可以把ES_MIN_MEM和 ES_MAX_MEM两个环境变量设置成同一个值，并且保证机器有足够的内存分配给es。同时也要允许elasticsearch的进程可以锁住内 存，linux下可以通过`ulimit-l unlimited`命令。

network.bind_host:192.168.0.1

设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0。

network.publish_host:192.168.0.1

设置其它节点和该节点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址。

network.host:192.168.0.1

这个参数是用来同时设置bind_host和publish_host上面两个参数。

transport.tcp.port:9300

设置节点间交互的tcp端口，默认是9300。

transport.tcp.compress:true

设置是否压缩tcp传输时的数据，默认为false，不压缩。

http.port: 9200

设置对外服务的http端口，默认为9200。

http.max_content_length:100mb

设置内容的最大容量，默认100mb

http.enabled: false

是否使用http协议对外提供服务，默认为true，开启。

gateway.type: local

gateway的类型，默认为local即为本地文件系统，可以设置为本地文件系统，分布式文件系统，hadoop的HDFS，和amazon的s3服务器，其它文件系统的设置方法下次再详细说。

gateway.recover_after_nodes:1

设置集群中N个节点启动时进行数据恢复，默认为1。

gateway.recover_after_time:5m

设置初始化数据恢复进程的超时时间，默认是5分钟。

gateway.expected_nodes:2

设置这个集群中节点的数量，默认为2，一旦这N个节点启动，就会立即进行数据恢复。

cluster.routing.allocation.node_initial_primaries_recoveries:4

初始化数据恢复时，并发恢复线程的个数，默认为4。

cluster.routing.allocation.node_concurrent_recoveries:2

添加删除节点或负载均衡时并发恢复线程的个数，默认为4。

indices.recovery.max_size_per_sec:0

设置数据恢复时限制的带宽，如入100mb，默认为0，即无限制。

indices.recovery.concurrent_streams:5

设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数，默认为5。

discovery.zen.minimum_master_nodes:1

设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）

discovery.zen.ping.timeout:3s

设置集群中自动发现其它节点时ping连接超时时间，默认为3秒，对于比较差的网络环境可以高点的值来防止自动发现时出错。

discovery.zen.ping.multicast.enabled:false

设置是否打开多播发现节点，默认是true。

discovery.zen.ping.unicast.hosts:["host1", "host2:port", "host3[portX-portY]"]

设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点。

下面是一些查询时的慢日志参数设置

index.search.slowlog.level: TRACE
index.search.slowlog.threshold.query.warn: 10s
index.search.slowlog.threshold.query.info: 5s
index.search.slowlog.threshold.query.debug: 2s
index.search.slowlog.threshold.query.trace: 500ms
index.search.slowlog.threshold.fetch.warn: 1s
index.search.slowlog.threshold.fetch.info: 800ms
index.search.slowlog.threshold.fetch.debug:500ms
index.search.slowlog.threshold.fetch.trace: 200ms

管理工具

elasticsearch-head

elasticsearch-head是一个elasticsearch的集群管理工具，它是完全由html5编写的独立网页程序，你可以通过插件把它集成到es。或直接下载源码，在本地打开index.html运行它。该工具的git地址是： https://github.com/Aconex/elasticsearch-head

插件安装方法：

1.elasticsearch/bin/plugin-install Aconex/elasticsearch-head

2.运行es

3.打开http://localhost:9200/_plugin/head/

不想通过插件集成到es的话就可以直接在git上下载源码到本地运行。

在地址栏输入es服务器的ip地址和端口点connect就可以连接到集群。连接后的视图是主界面，在这里可以看到es集群的基本信息（如：节点情况，索引情况）。界面的右边有些按钮，如：node stats， cluster nodes，这些是直接请求es的相关状态的api，返回结果为json。在索引下面有info和action两个按钮。info是可以查看索引的状态和mapping的定义。action是对索引进行操作，如：添加别名、刷新、关闭索引，删除索引等。

索引可以通过REST-API创建，也可以通过点击”索引“标签页进行索引的添加。

”数据浏览“界面，这个界面可以同时查看多个索引的数据，也可以查询指定字段的数据。

”基本查询“这个界面可以对某个索引进行一些复杂查询，可以进行Range区间、term数据项等查询方式进行查询。

”复合查询“这个界面可以说是个rest的客户端，可以通过它来对es进行一些请求操作或测试api接口。

elasticsearch-bigdesk

bigdesk是elasticsearch的一个集群监控工具，可以通过它来查看es集群的各种状态，如：cpu、内存使用情况，索引数据、搜索情况，http连接数等。项目git地址： https://github.com/lukas-vlcek/bigdesk。和head一样，它也是个独立的网页程序，使用方式和head一样。

插件安装运行：

1.bin/plugin -install lukas-vlcek/bigdesk

2.运行es

3.打开http://localhost:9200/_plugin/bigdesk/ 

当然，也可以直接下载源码运行index.html

同样是输入ip地址和端口后连接，界面如下。加星的表示主节点。

OS-系统监控：这里包含系统方面的一些状态，左起分别为：cpu，内存，交换区和平均负载的情况。

JVM-JAVA虚拟机：显示jvm的一些状态，左起分别为：jvm heap内存使用情况，蓝色的为已使用内存；非heap使用内存；线程数；gc情况（次数和时间）。

Process-进程：显示es的进程对系统资源的使用情况，左起分别为：进程打开文件数，内存使用情况，cpu时间和进程的cpu使用率。ps：内存使用情况中的Total virtual指linux下虚拟内存，它包括virtual memory map中的所有数据量之和。包括：程序类+程序数据+jar包空间+jre占用空间等。resident memory指程序实际占用的物理内存。

HTTP&Transport-通讯：可以查看tcp和http链接的一些数据。

Indices-索引：这里可以查看索引数据和搜索的一些情况。左上起：每秒索引请求，搜索时间，每秒取数据请求，取数据时间。左下起：缓存大小，缓存失效个数，每秒索引请求，索引时间。

File System-文件系统：显示硬盘的读写情况。