elasticsearch使用

最新推荐文章于 2024-08-19 08:36:18 发布
最新推荐文章于 2024-08-19 08:36:18 发布
阅读量8.6k 收藏
点赞数
分类专栏： java 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/earbao/article/details/47783489
版权


http://es.xiaoleilu.com/010_Intro/10_Installing_ES.html

http://www.ibm.com/developerworks/cn/java/j-javadev2-24/

http://www.elasticsearch.cn/

ps -aux | grep elasticsearch 查看进程

功能模块：

Elasticsearch: Store, Search, and Analyze

Shield: Security for Elasticsearch

Marvel: Manage, Monitor, and Optimize Elasticsearch

Kibana: Explore, Visualize and Share

Logstash: Collect, Enrich and Transport

Elasticsearch for Apache Hadoop

常用插件：

head

1、下载安装插件：

http://ju.outofmemory.cn/entry/50615

plugin --install <org>/<user/component>/<version>

 具体的<org>/<user/component>/<version>可参加各插件的使用说明。

如果网络不太顺畅，可以下载好插件的压缩包后以如下方式安装：

bin/plugin --url file://path/to/plugin --install plugin-name

Head可以查看索引情况，搜索索引，查看集群状态和分片分布等

plugin -install mobz/elasticsearch-head

查看：http://10.0.0.121:9200/_plugin/head/

BigDesk该插件可以查看集群的jvm信息，磁盘IO，索引创建删除信息等，适合查找系统瓶颈，监控集群状态等

plugin -install lukas-vlcek/bigdesk

查看：http://10.0.0.121:9200/_plugin/bigdesk/#nodes

 

Monitoring and Management Web Application for ElasticSearch instances and clusters.

plugin -install royrusso/elasticsearch-HQ

http://10.0.0.121:9200/_plugin/HQ/

http://localhost:9200/_plugin/HQ/

Marvel是Elasticsearch的管理和监控工具，在开发环境下免费使用。它包含了一个叫做Sense的交互式控制台，使用户方便的通过浏览器直接与Elasticsearch进行交互。

plugin -i elasticsearch/marvel/latest

查看：http://10.0.0.121:9200/_plugin/marvel/

http://10.0.0.121:9200/_plugin/marvel/sense/

Sense控制台：

http://localhost:9200/_plugin/marvel/sense/index.html

 

Kibana 新版本插件需要收费了？

Kibana是一个用于ElasticSearch分析和查询的仪表盘，生动的展示了数据的变化趋势、并提供查询能力。

以前Js版本安装方法:

http://my.oschina.net/pangyangyang/blog/339683

丢入tomcat目录，配置config.js文件，编辑“elasticsearch”字段指向你的es uri。

function (Settings) {

  return new Settings({

elasticsearch: "http://10.128.170.245:9200",

}）

}

Download: http://www.elastic.co/downloads/kibana

 

Run bin/kibana on unix, or bin\kibana.bat on Windows.

Visit http://localhost:5601


Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。

kibana 也是一个开源和免费的工具，他可以帮助您汇总、分析和搜索重要数据日志并提供友好的web界面。他可以为 Logstash 和 ElasticSearch 提供的日志分析的 Web 界面

https://github.com/elastic/logstash

历史版本下载：

https://www.elastic.co/downloads/past-releases

当前测试的版本：Elasticsearch v1.4.2


2、查看已经加载的插件：

http://10.0.0.120:9200/_nodes/plugin

指定实例：

http://10.0.0.121:9200/_nodes/10.0.0.120/plugin

 

3、ElasticSearch自动集群配置：

http://www.open-open.com/lib/view/open1398827529984.html

 

各个节点修改config/elasticsearch.yml文件，设置node.name的值

各个es服务同时启动起来，因为配置文件中均默认cluster.name=elasticsearch，所以这两台机器自动构建成一个集群，集群名字为elasticsearch。

 

http://www.searchtech.pro/articles/2013/02/18/1361194462828.html

 

如果是在局域网中运行elasticsearch集群也是很简单的，只要cluster.name设置一致，并且机器在同一网段下，启动的es会自动发现对方，组成集群。

 

4、elasticsearch插件大全（不断更新）

http://www.searchtech.pro/elasticsearch-plugins

 

其他相关资料：

elasticsearch使用jetty进行简单的权限控制

http://www.searchtech.pro/elasticsearch-security-with-jetty

 

5、Java客户端开发包和开发环境：

 

Java客户端开发包：jest:

https://github.com/searchbox-io/Jest

 

es官方教程：

http://www.elastic.co/guide/en/elasticsearch/client/java-api/current/index.html

Jest官方文档：

https://github.com/searchbox-io/Jest/tree/master/jest

下载完jest的官方maven工程：在单元测试类AbstractIntegrationTest修改es服务的连接路径：默认：http://localhost

自己编译的jest使用jdk8时javadoc.exe存在问题：换成jdk7即可:

set java_home=C:\Program Files (x86)\Java\jdk1.7.0_60

mvn install -Dmaven.test.skip=true 即可编译完成jest-0.1.6-SNAPSHOT.jar


Android版jest

https://github.com/searchbox-io/Jest/tree/master/jest-droid


其他语言客户端开发包大全：

http://www.searchtech.pro/elasticsearch-clients

 

6、基本操作：

查看集群健康值：

http://10.0.0.126:9200/_cluster/health?pretty

关闭集群：

http://10.0.0.126:9200/_cluster/nodes/_shutdown

查看集群中节点信息：

http://10.0.0.126:9200/_cluster/state/nodes/?pretty

 

查看集群中文档数量：

curl -i -XGET 'http://localhost:9200/_count?pretty' -d '{    "query": {        "match_all": {}    }}'

 

建立索引：

<pre>

curl -XPUT 'http://localhost:9200/twitter/user/kimchy' -d '{ "name" : "Shay Banon" }'

 

curl -XPUT 'http://localhost:9200/twitter/tweet/1' -d '

{

    "user": "kimchy",

    "postDate": "2009-11-15T13:12:00",

    "message": "Trying out Elasticsearch, so far so good?"

}'

 

curl -XPUT 'http://localhost:9200/twitter/tweet/2' -d '

{

    "user": "kimchy",

    "postDate": "2009-11-15T14:12:12",

    "message": "Another tweet, will it be indexed?"

}'

</pre>

查看索引：

Now, let's see if the information was added by GETting it:

 

<pre>

curl -XGET 'http://localhost:9200/twitter/user/kimchy?pretty=true'

curl -XGET 'http://localhost:9200/twitter/tweet/1?pretty=true'

curl -XGET 'http://localhost:9200/twitter/tweet/2?pretty=true'

</pre>

Demo:创建员工索引：

http://es.xiaoleilu.com/010_Intro/25_Tutorial_Indexing.html

 

在sense控制台中执行下面命令：

http://localhost:9200/_plugin/marvel/sense/index.html

 

PUT /megacorp/employee/1{    "first_name" : "John",    "last_name" :  "Smith",    "age" :        25,    "about" :      "I love to go rock climbing",    "interests": [ "sports", "music" ]}

/megacorp/employee/1

/_Index索引名/_type类型名/_id这个员工的ID

 

搜索数据：

GET /megacorp/employee/_search

条件查询：

GET /megacorp/employee/_search?q=last_name:Smith

使用DSL语句查询，传递查询请求体：

 

GET /megacorp/employee/_search

{

    "query" : {

        "match" : {

            "last_name" : "Smith"

        }

    }

}

GET /megacorp/employee/_search

{

    "query" : {

        "filtered" : {

            "filter" : {

                "range" : {

                    "age" : { "gt" : 30 } 

                }

            },

            "query" : {

                "match" : {

                    "last_name" : "smith" 

                }

            }

        }

    }

}

全文检索：

GET /megacorp/employee/_search{    "query" : {        "match" : {            "about" : "rock climbing"        }    }}

短语搜索：

GET /megacorp/employee/_search{    "query" : {        "match_phrase" : {            "about" : "rock climbing"        }    }}

 

高亮搜索：

GET /megacorp/employee/_search{    "query" : {        "match_phrase" : {            "about" : "rock climbing"        }    },    "highlight": {        "fields" : {            "about" : {}        }    }}

聚合（group by）：

GET /megacorp/employee/_search{  "aggs": {    "all_interests": {      "terms": { "field": "interests" }    }  }}

GET /megacorp/employee/_search{  "query": {    "match": {      "last_name": "smith"    }  },  "aggs": {    "all_interests": {      "terms": {        "field": "interests"      }    }  }}

 

GET /megacorp/employee/_search{    "aggs" : {        "all_interests" : {            "terms" : { "field" : "interests" },            "aggs" : {                "avg_age" : {                    "avg" : { "field" : "age" }                }            }        }    }}

 

查看集群健康信息：

GET /_cluster/health

主要分片(primary shard)和复制分片(replica shard)：

指定3个主分片和一个复制分片：

PUT /blogs

{

   "settings" : {

      "number_of_shards" : 3,

      "number_of_replicas" : 1

   }

}

 

 

7、理解eclasticsearch概念：

Elasticsearch集群可以包含多个索引(indices)（数据库），每一个索引可以包含多个类型(types)（表），每一个类型包含多个文档(documents)（行），然后每个文档包含多个字段(Fields)（列）。

几乎零配置：

像推荐、定位、渗透、模糊以及部分匹配等。但这也突出了构建高级搜索功能是多么的容易。无需配置，只需要添加数据然后开始搜索！

Elasticsearch为分布式而生，而且被设计为隐藏分布式环境中的复杂性。

Elasticsearch致力于隐藏分布式系统的复杂性，一些操作都是在底层自动完成的：

· 将你的文档分区到不同的容器或者分片(shards)中，它们可以存在于一个或多个节点中。

· 在集群的不同节点平衡分片，合理分布索引和搜索负载。

· 复制每个节点提供数据冗余，防止硬件故障造成的数据丢失。

· 在集群中的任意节点路由到你感兴趣的数据所在节点。

· 当你的集群需要扩展或者节点恢复再分配时做到无缝整合新节点。

Elasticsearch用于构建高可用和可扩展的系统。扩展的方式可以是购买更好的服务器(纵向扩展(vertical scale or scaling up))或者购买更多的服务器（横向扩展(horizontal scale or scaling out)）。

Elasticsearch能从更强大的硬件中获得更好的性能，但是纵向扩展也有一定的局限性。真正的扩展应该是横向的，它通过增加节点来传播负载和增加可靠性。

 

索引：

选择一个索引名。这个名字必须是全部小写，不能以下划线开头，不能包含逗号。让我们使用website做为索引名。

 

 

 

yunshouhu
关注
专栏目录
[ElasticSearch2.x]Java API 之 索引管理
SmartSi
10-11 9674
ElasticSearch为了便于处理索引管理（Indices administration）请求，提供了 org.elasticsearch.client.IndicesAdminClient接口。通过如下代码从 Client 对象中获得这个接口的实现： IndicesAdminClient indicesAdminClient = client.admin().indices();
ElasticSearch使用说明书 - 整合篇
04-14
Elasticsearch 使用说明书整合篇详细解析 Elasticsearch（ES）是一种分布式、RESTful风格的搜索和数据分析引擎，常用于大数据分析和实时搜索场景。它不依赖传统的SQL数据库语句，而是采用JSON文档格式和HTTP协议...
Elastic Search Java API 汇总
天方夜谭
08-03 431
常用的elastic search java API： 获取索引列表： public static List listIndex() { List list = new ArrayList<>(); GetIndexRequestBuilder builder = client.admin().indices().prepareGetIndex();
【搜索分析引擎】Elasticsearch
最新发布
在这里你大概率会有所收获，欢迎指错||纠正||建议||水评+点赞&&评论&&关注&&转发
08-19 2149
Elasticsearch（简称ES）是一个分布式、可扩展、实时的搜索与数据分析引擎，它基于Apache Lucene构建，提供了全文搜索、结构化搜索、数据分析、复杂的语言处理、地理位置和对象间关联关系等多种功能。
ElasticSearch 安装控制台
Tongyao
04-26 978
时，出现问题（没截图，大概是中间有一段卡了很久，最后说 phantomjs-2.1.1-windows.zip 什么的问题）。参考：https://blog.csdn.net/xyy1028/article/details/126948634。安装Grunt工具，否则项目起不来。解压到ES的安装目录下。安装vue等相关依赖。
ElasticSearch
YK
11-07 2398
官网：https://www.elastic.co/cn/ 下载地址：https://www.elastic.co/cn/start
Kibana
libiao1994libiao的博客
08-24 621
什么是kibana? Kibana 是一个免费且开放的用户界面，能够让您对 Elasticsearch 数据进行可视化，并让您在 Elastic Stack 中进行导航。您可以进行各种操作，从跟踪查询负载，到理解请求如何流经您的整个应用，都能轻松完成。 docker运行kibana 直接运行： # 本地没有镜像会自动下载 docker run -d --name kibana -p 5601:5601 kibana:tag 启动完成后访问： ip:5601 汉化 # 进入容器 docker exec -
ELASTICSEARCH使用手册pdf
07-19
后来成立了ElasticSearch公司，负责ES相关产品的开发及商用服务支持，ES依旧采用免费开源模式，但部分插件采用商用授权模式，例如Marvel插件(负责ES的监控管理)、Shield 插件(提供ES的授权控制)。
ElasticSearch使用一套全
08-27
ElasticSearch管理控制台Kibana压缩包，Kibana是ES提供的一个基于Node.js的管理控制台, 可以很容易实现高级的数据分析和可视化，以图标的形式展现出来。 ElasticSearch的可视化管理插件head，监视ES的状态 查看...
ElasticSearch讲解PPT
11-30
ElasticSearch简称es，es是一个开源的高扩展的分布式全文搜索引擎，它可以近乎实时的存储、检索数据，本身的扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。es也是用Java开发并使用Lucene作为核心来实现...
Blog.Core 5.0 开源框架 换掉ES 使用elasticsearch 。
02-14
在Blog.Core 5.0的更新中，开发团队决定替换原有的搜索引擎，从ES（Elasticsearch）转向了Elasticsearch，这是一个非常重要的决策，因为它涉及到大数据处理、全文检索以及搜索引擎优化等关键领域。 首先，Elastic...
es浏览器插件elasticsearch-head.zip
12-10
elasticsearch的浏览器插件，可以直接使用这个插件从浏览器直接查看es里面的内容，支持多条件检索，可以通过查看json的方式直接看到搜索数据，方便开发，下载后双击打开，添加到浏览器，修改为你的ip即可使用
elastic-job控制台
12-25
当当网开源项目elastic-job控制台，监控、编辑Job。将War直接放入Tomcat，启动Tomcat即可访问，用户名和密码默认为root。
elasticsearch-head360浏览器插件
04-27
elasticsearch-head360浏览器插件，可以快速连接elasticsearch进行查看数据，适用版本5.x,6.x都可以，亲测可用
alerting-kibana-plugin：Elastic为Elasticsearch Kibana Alerting插件打开发行版
02-03
Elasticsearch Alert Kibana的开放发行版 通过Open Distro for Elasticsearch警报Kibana插件，您可以管理自己的以监控数据并在满足特定条件时发送通知-全部来自Kibana。 强调 创建和调度监视器，这些监视器对Elasticsearch中的数据运行周期查询。 根据触发器评估查询结果，看它们是否符合特定条件。 如果满足触发条件，则生成警报并执行操作（例如，在Slack通道中发布消息）。 文献资料 请参阅我们的。 建立 下载Elasticsearch以查找与的匹配的。 下载并安装适当的。 下载您要设置的的Kibana源代码。 有关设置开发环境的更多说明，请参见《 》。 将您的节点版本更改为Kibana根目录内.node-version指定.node-version 。 cd进入Kibana源代码目录的plugins目录。 将此软件包从版本控制中检出到plugins目录中。 在kibana/plugins/alerting-kibana-plugin内运行yarn kbn bootstrap 。 最终，您的目录结构应如
elasticsearch -2.3.x head插件安装（windows系统）
yesicatt的博客
08-15 7638
1.进入命令行： home键+R 命令： > cd \elasticsearch根目录\bin\ > plugin  install  mobz/elasticsearch-head 2.运行es 3.打开http://localhost:9200/_plugin/head/   问题一：在线安装失败，如下图：   解决：这时我们可手动安装      1.下载head插件包
Elasticsearch 安装 head 插件
long的博客
04-17 682
elasticsearch
3. ElasticSearch head插件安装
Java学习博客
11-06 1651
文章目录简介docker方式安装chrom插件的安装连接elasticsearch 简介 head工具是一个单机的HTTP服务器，安装好后，可以通过浏览器的方式以图形界面的方式展示elasticsearch的集群中的分片，作为监控工具是最有用的。 docker方式安装 docker run -d --name es-head -p 9100:9100 mobz/elasticsearch-head:5 chrom插件的安装 head插件启动成功后，使用chrom浏览器连接时，无任何反应，这时，需要安装谷
kibana介绍部署使用
shy871的博客
07-10 1174
kibana介绍部署使用1. kibana简介2. kibana部署3. kibana使用二级目录三级目录 1. kibana简介 Kibana 是一个免费且开放的用户界面，能够对 Elasticsearch 数据进行可视化，并在 Elastic Stack 中进行导航。可以进行各种操作，从跟踪查询负载，到理解请求如何流经整个应用，都能轻松完成。 2. kibana部署 3. kibana使用 二级目录 三级目录 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值