elasticsearch安装部署文档

下载解压后

./bin/plugin -install mobz/elasticsearch-head
./bin/plugin --install lmenezes/elasticsearch-kopf/1.4.6
./bin/plugin -u https://github.com/NLPchina/elasticsearch-sql/releases/download/1.3.1/elasticsearch-sql-1.3.1.zip  --install sql
./bin/plugin -install lukas-vlcek/bigdesk/2.4.0
注意：安装插件前保证安装的机器能够访问公网

启动
./bin/elasticsearch -d

web UI：
http://192.168.10.245:9200/_plugin/sql/
http://192.168.10.244:9200/_plugin/bigdesk/#nodes/aS754PVbTaS0VBYWsCtMow
http://192.168.10.244:9200/_plugin/head/
http://192.168.10.244:9200/_plugin/kopf/#!/cluster


###############################elasticsearch.yml###################################################
elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。
cluster.name: elasticsearch
配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。
node.name: "Franz Kafka"
节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。
node.master: true
指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。
node.data: true
指定该节点是否存储索引数据，默认为true。
index.number_of_shards: 5
设置默认索引分片个数，默认为5片。
index.number_of_replicas: 1
设置默认索引副本个数，默认为1个副本。
path.conf: /path/to/conf
设置配置文件的存储路径，默认是es根目录下的config文件夹。
path.data: /path/to/data
设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开，例：
path.data: /path/to/data1,/path/to/data2
path.work: /path/to/work
设置临时文件的存储路径，默认是es根目录下的work文件夹。
path.logs: /path/to/logs
设置日志文件的存储路径，默认是es根目录下的logs文件夹
path.plugins: /path/to/plugins
设置插件的存放路径，默认是es根目录下的plugins文件夹
bootstrap.mlockall: true
设置为true来锁住内存。因为当jvm开始swapping时es的效率会降低，所以要保证它不swap，可以把ES_MIN_MEM和ES_MAX_MEM两个环境变量设置成同一个值，并且保证机器有足够的内存分配给es。同时也要允许elasticsearch的进程可以锁住内存，linux下可以通过`ulimit -l unlimited`命令。
network.bind_host: 192.168.0.1
设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0。
network.publish_host: 192.168.0.1
设置其它节点和该节点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址。
network.host: 192.168.0.1
这个参数是用来同时设置bind_host和publish_host上面两个参数。
transport.tcp.port: 9300
设置节点间交互的tcp端口，默认是9300。
transport.tcp.compress: true
设置是否压缩tcp传输时的数据，默认为false，不压缩。
http.port: 9200
设置对外服务的http端口，默认为9200。
http.max_content_length: 100mb
设置内容的最大容量，默认100mb
http.enabled: false
是否使用http协议对外提供服务，默认为true，开启。
gateway.type: local
gateway的类型，默认为local即为本地文件系统，可以设置为本地文件系统，分布式文件系统，hadoop的HDFS，和amazon的s3服务器，其它文件系统的设置方法下次再详细说。
gateway.recover_after_nodes: 1
设置集群中N个节点启动时进行数据恢复，默认为1。
gateway.recover_after_time: 5m
设置初始化数据恢复进程的超时时间，默认是5分钟。
gateway.expected_nodes: 2
设置这个集群中节点的数量，默认为2，一旦这N个节点启动，就会立即进行数据恢复
cluster.routing.allocation.node_initial_primaries_recoveries: 4
初始化数据恢复时，并发恢复线程的个数，默认为4。
cluster.routing.allocation.node_concurrent_recoveries: 2
添加删除节点或负载均衡时并发恢复线程的个数，默认为4。
indices.recovery.max_size_per_sec: 0
设置数据恢复时限制的带宽，如入100mb，默认为0，即无限制。
indices.recovery.concurrent_streams: 5
设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数，默认为5。
discovery.zen.minimum_master_nodes: 1
设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）
discovery.zen.ping.timeout: 3s
设置集群中自动发现其它节点时ping连接超时时间，默认为3秒，对于比较差的网络环境可以高点的值来防止自动发现时出错。
discovery.zen.ping.multicast.enabled: false
设置是否打开多播发现节点，默认是true。
discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]
设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点。
下面是一些查询时的慢日志参数设置
index.search.slowlog.level: TRACE
index.search.slowlog.threshold.query.warn: 10s
index.search.slowlog.threshold.query.info: 5s
index.search.slowlog.threshold.query.debug: 2s
index.search.slowlog.threshold.query.trace: 500ms
index.search.slowlog.threshold.fetch.warn: 1s
index.search.slowlog.threshold.fetch.info: 800ms
index.search.slowlog.threshold.fetch.debug:500ms
index.search.slowlog.threshold.fetch.trace: 200ms
################################################################################################################


模式自由(Schema Free) & 面向文档的 (Document Oriented)

搜索引擎的数据模型属于模式自由以及数据库是面向文档的，以目前#nosql的发展趋势来看，使用这种数据模型来构建应用程序已经被证明是非常高效的。

elasticsearch 的模型基于 JSON, 事实上，在近些年，它俨然已经成为数据呈现的一个标准，此外，通过JSON，可以非常简单的表示半结构化的数据，同样的，大多数编程语言都会优先支持JSON数据的解析.
先来看几个简单的例子，都是创建索引的。（ps：curl是一个linux下的处理HTTP请求的一个工具，你可以使用fiddler或者其他类似的工具来执行elasticsearch提供的RESTful接口）。

//索引
$ curl -XPUT http://localhost:9200/twitter/user/kimchy -d '{
    "name" : "Shay Banon"
}'

//索引，多个field
$ curl -XPUT http://localhost:9200/twitter/tweet/1 -d '{
    "user": "kimchy",
    "post_date": "2009-11-15T13:12:00",
    "message": "Trying out elasticsearch, so far so good?"
}'

//索引，注意url里面的id是不一样的哦
$ curl -XPUT http://localhost:9200/twitter/tweet/2 -d '{
    "user": "kimchy",
    "post_date": "2009-11-15T14:12:12",
    "message": "You know, for Search"
}'

模式映射（Schema Mapping）

elasticsearch 是无模式的，你随便往里面扔一个JSON格式的文档，然后ES就可以自动的进行索引。 输入的内容如果是数字或者是时间类型，ES也自动的检测出来，并做相应的处理。

但是，总所周知，搜索引擎是非常复杂的，索引文档中的字段是可以设置BOOST值来影响打分的，另外还可以使用不同的分析器（Analyzer）用来控制怎么分词，比如有些字段是需要进行分词的，但是有些则不一定，如此等等。elasticsearch允许你完全控制这些规则，最终将一个JSON文档映射到搜索引擎里面。并且可以按索引（Index）和按类型（Type）2种级别来进行设置.

//创建索引
$ curl -XPUT http://localhost:9200/twitter

//创建Mapping
$ curl -XPUT http://localhost:9200/twitter/user/_mapping -d '{
    "properties" : {
        "name" : { "type" : "string" }
    }
}'

获取数据（GETting Some Data）

每个索引的文档都必须要有一个唯一标识（在类型级别），在很多时候这是非常有用的，比如你想更新或者删除某一个索引文档，或者只是想拿一条索引数据看看。 获取数据真是简单的不能再简单了，你只需用告诉es指定文档的索引、类型、和id就可以拿回实际的索引文档了（就是你建索引的时候的JSON文档），嘘，你知道就可以了，不要告诉其他的还在使用key/value来做分布式存储的人。。。

//索引
$ curl -XPUT http://localhost:9200/twitter/tweet/2 -d '{
    "user": "kimchy",
    "post_date": "2009-11-15T14:12:12",
    "message": "You know, for Search"
}'

//获取
$ curl -XGET http://localhost:9200/twitter/tweet/2

搜索（Search）

这才是最终我们想要的：能够被搜索，并且搜索从来没有这么简单过，处理查询只需要一个简单的请求，里面隐藏了很多复杂的es提供的基于分布式的操作。 可以简单的使用 Lucene通用的语法，或者使用基于JSON格式QueryDSL（DSL：领域特定语言）来构造搜索各种请求（更加灵活，方便构造复杂查询）。

搜索可不仅仅就是查询就结束了，方面/层面（facets），高亮，自定义脚本等等都是支持的。

//索引
$ curl -XPUT http://localhost:9200/twitter/tweet/2 -d '{
    "user": "kimchy",
    "post_date": "2009-11-15T14:12:12",
    "message": "You know, for Search"
}'

//lucene语法方式的查询
$ curl -XGET http://localhost:9200/twitter/tweet/_search?q=user:kimchy

//query DSL方式查询
$ curl -XGET http://localhost:9200/twitter/tweet/_search -d '{
    "query" : {
        "term" : { "user": "kimchy" }
    }
}'

//query DSL方式查询
$ curl -XGET http://localhost:9200/twitter/_search?pretty=true -d '{
    "query" : {
        "range" : {
            "post_date" : {
                "from" : "2009-11-15T13:00:00",
                "to" : "2009-11-15T14:30:00"
            }
        }
    }
}'

多租户（Multi Tenancy）

单个索引既然已经有了，那为什么还会需要不止一个索引呢，其实，有很多原因需要支持多索引，比如，对日志索引可以按周来分别存放，或者是对不同的索引进行不同的设置（比如，一个使用内存作为存储，一个使用文件系统来存储）.

当有了多个索引之后，我们就想要能够跨索引来进行搜索（或者其他操作）。

//创建索引
$ curl -XPUT http://localhost:9200/kimchy

//创建索引
$ curl -XPUT http://localhost:9200/elasticsearch

//索引数据
$ curl -XPUT http://localhost:9200/elasticsearch/tweet/1 -d '{
    "post_date": "2009-11-15T14:12:12",
    "message": "Zug Zug",
    "tag": "warcraft"
}'

//索引数据
$ curl -XPUT http://localhost:9200/kimchy/tweet/1 -d '{
    "post_date": "2009-11-15T14:12:12",
    "message": "Whatyouwant?",
    "tag": "warcraft"
}'

//跨多个索引来进行查询
$ curl -XGET http://localhost:9200/kimchy,elasticsearch/tweet/_search?q=tag:warcraft

//查询所有索引下：_all是一个关键字
$ curl -XGET http://localhost:9200/_all/tweet/_search?q=tag:warcraft

设置（Settings）

能够进行配置本身就是一把双刃剑，我们想要的是能够打开就能尽快运行，中间无需任何配置，并且当有需要的时候能够控制应用程序的几乎所有方面。

elasticsearch 从构建之初就这种理念，所以几乎所有事情都是可配和可插拔的，此外，每个索引（index）都有其独立的配置，用来覆盖主配置（master settings） 。举例来说，一个索引可以配置为使用内存存储，10个分片和1个副本，而另外一个索引可以是使用文件系统存储，1个分片和10个副本。所有的索引级别（index）的设置都是可以在创建索引的时候通过YAML或者JSON格式来进行指定的。

//创建索引，并设置分片和副本参数
$ curl -XPUT http://localhost:9200/elasticsearch/ -d '{
    "settings" : {
        "number_of_shards" : 2,
        "number_of_replicas" : 3
    }
}'

分布式（Distributed）

elasticsearch的一个最主要的功能就是对分布式的支持，索引能够分拆为多个分片，每个分片可以有0个或者多个副本，集群中的每个数据节点，都可以承载一个或者多个分片，并且充当协调和处理各种操作分发到合适的分片上去。再平衡（Rebalancing）和路由（routing）这一切都是自动进行的。