Elasticsearch
文章平均质量分 72
u013063153
这个作者很懒,什么都没留下…
展开
-
ElasticSearch 简单入门 【已翻译100%】
原文链接:https://www.oschina.net/translate/elasticsearch-getting-started简介ElasticSearch是一个开源的分布式搜索引擎,具备高可靠性,支持非常多的企业级搜索用例。像Solr4一样,是基于Lucene构建的。支持时间时间索引和全文检索。官网:http://www.elasticsearch.org它转载 2016-12-15 21:40:08 · 705 阅读 · 0 评论 -
导入elasticsearch方法总结
1. 所需驱动和工具安装mssql和mysql的jdbc驱动请参考上一篇:elasticsearch环境搭建过程如果在windows下使用导elasticsearch的命令:推荐使用cygwin用kopf插件查看导数据进度,若导入中断或错误,也可使用kopf删除该索引,重新导入2. 导elasticsearch参数对应名称elasticsearch对应参数:转载 2017-03-10 19:05:47 · 6406 阅读 · 0 评论 -
使用Luence的分布式搜索引擎ElasticSearch搜索实例演示(Java API)
安装包下载当前最新版本为:0.20.6http://www.elasticsearch.org/download/ 官方视频教程http://www.elasticsearch.org/videos/Window环境下载完解开有以下个包:bin是运行的脚本,config是设置文件,lib是放依赖的包。启动解压目录下的bin名称的文件夹,双击e转载 2017-03-07 17:32:21 · 570 阅读 · 0 评论 -
搜索引擎选择: Elasticsearch与Solr
原文:http://i.zhcy.tk/blog/elasticsearchyu-solr/搜索引擎选型调研文档Elasticsearch简介*Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索,结构化搜索以及分析,当然你也可以将这三者进行组合。Elasticsearc转载 2017-06-05 22:27:35 · 342 阅读 · 0 评论 -
Elasticsearch—安装Marvel
Step 1: Install Marvel into Elasticsearch:bin/plugin install licensebin/plugin install marvel-agentStep 2: Install Marvel into Kibanabin/kibana plugin --install elasticsearch/m原创 2017-07-02 12:33:18 · 5126 阅读 · 0 评论 -
Elasticsearch—安装Kibana
解压安装,修改配置文件vi config/kibana.yml的Elasticsearch.url属性即可。原创 2017-07-02 12:28:09 · 667 阅读 · 0 评论 -
Elasticsearch集群安装
零配置,开箱即用没有繁琐的安装配置Java版本要求:最低1.7下载地址:https://www.elastic.co/downloads/启动cd /user/local/elasticserach-2.2.0./bin/elasticsearchbin/elasticsearch -d(后台运行)Elasticsearch安装后访问http://loc原创 2017-07-02 09:59:50 · 1202 阅读 · 0 评论 -
安装Elasticsearch-servicewrapper插件
(1)下载elasticsearch-servicewrappergit clone https://github.com/elasticsearch/elasticsearch-servicewrapper然后将目录下的service目录拷贝至ES_HOME/bin目录下。(2)简单配置jvm的内存修改ES_HOME/bin/service/elasticsearch.con原创 2017-07-02 10:31:02 · 2136 阅读 · 0 评论 -
Elasticsearch的基本操作CURL/PUT/POST/GET/DSL/MGET/HEAD/更新/删除/批量操作bulk/版本控制等等
CURL命令简单认为是可以在命令行下访问url的一个工具curl是利用URL语法在命令行方式下工作的开源文件传输工具,使用curl可以简单实现常见的get/post请求。curl-X 指定http请求的方法HEAD GET POST PUT DELETE-d 指定要传输的数据比如:curl -XHEAD 'https://www.baidu.com'CURL建立原创 2017-07-02 13:36:46 · 22130 阅读 · 4 评论 -
Elasticsearch的核心概念cluster/shards/replicas/recovery/gateway/discovery.zen/transport/settings/mapping等
cluster代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的。es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,你与任何一个节点的通信和与整个es集群通信是等价的。主节点的职责是负责管理集群状态,包括管理分片的状态和副本的状态,以及节点的发现和删除。只原创 2017-07-02 14:30:06 · 988 阅读 · 0 评论 -
Elasticsearch集成中文分词器ik
一、下载编译从地址https://github.com/medcl/elasticsearch-analysis-ik下载Elasticsearch中文分词器这里默认的是master的,但是master的项目需要gradle编译,这里选择1.8.0版本。而且从下面的介绍可以知道1.8.0正好对应Elasticsearch的2.2.0版本。下载后的压缩包解压后进去就是pom工程。原创 2017-07-02 17:23:26 · 933 阅读 · 0 评论 -
Elasticsearch的Java API/查询/分页等
添加Maven依赖。链接到ES集1.通过TransportClient这个接口,我们可以不启动节点就可以和es集群进行通信,它需要指定es集群中其中一台或多台机的ip地址和端口TransportClient client = new TransportClient().addTransportAddress(new InetSocketTransportAddress("host1",原创 2017-07-02 17:48:42 · 13021 阅读 · 1 评论 -
Elasticsearch分片/脑裂/优化
Elasticsearch分片默认是randomize across shards随机选取,表示随机的从分片中取数据_local:指查询操作会优先在本地节点有的分片中查询,没有的话再在其它节点查询。_primary:指查询只在主分片中查询_primary_first:指查询会先在主分片中查询,如果主分片找不到(挂了),就会在副本中查询。_only_node:指在指定id的节原创 2017-07-02 18:10:18 · 1725 阅读 · 0 评论 -
Elasticsearch概述
Elasticsearch是一个基于Lucene的实时的分布式搜索和分析引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装方便。基于RESTful接口。普通请求是...get?a=1rest请求是...get/a/1Elasticsearch VS Solr1.接口: 类似webservice的接口 REST风格的访问接口2.分布式存储原创 2017-07-01 15:48:34 · 500 阅读 · 0 评论 -
Elasticsearch DSL查询
原文:http://www.yiibai.com/elasticsearch/elasticsearch_query_dsl.html在Elasticsearch中,通过使用基于JSON的查询进行搜索。 查询由两个子句组成 -叶查询子句 - 这些子句是匹配,项或范围的,它们在特定字段中查找特定值。复合查询子句 - 这些查询是叶查询子句和其他复合查询的组合,用于提取所需的信息。E转载 2017-07-13 15:50:13 · 535 阅读 · 0 评论 -
Elasticsearch分片查询
原文:http://www.bubuko.com/infodetail-836737.htmlEs查询的时候默认是随机从一些分片中查询数据,可以通过配置让es从某些分片中查询数据1:_local指查询操作会优先在本地节点有的分片中查询,没有的话再在其它节点查询。 2:_primary:指查询只在主分片中查询3:_primary_fir转载 2017-07-17 09:54:30 · 2426 阅读 · 0 评论 -
Elasticsearch总结
Elasticsearch1、Elasticsearch概述1.1 Elasticsearch介绍1.1.1 Elasticsearch概念Elasticsearch是一个基于Lucene的实时分布式搜索和分析引擎。Elasticsearch是基于RESTFUL接口:普通的请求 get?a=1REST请求 get/a/1Lucene是单台机器的底层的API。S原创 2017-07-18 16:36:32 · 877 阅读 · 0 评论 -
Elasticsearch java api(五) Bulk批量索引
这篇博客介绍一下Elasticsearch对多个文档进行索引的简便方法。Bulk api的支持可以实现一次请求执行批量的添加、删除、更新等操作.Bulk操作使用的是UDP协议,UDP无法确保与ElasticSearch服务器通信时不丢失数据.一、Bulk API使用bulk命令时,REST API以_bulk结尾,批量操作写在json文件中,官网给出的语法格式:action_and转载 2017-03-10 15:54:20 · 941 阅读 · 0 评论 -
elasticsearch Java API Maven配置
Elasticsearch的jar包被托管在 MavenCentral 上.你可以在自己的maven项目中,在pom.xml中添加最新版的elasticsearch的jar配置:dependency> groupId>org.elasticsearchgroupId> artifactId>elasticsearchartifactId> version>${es转载 2017-03-10 15:52:17 · 4233 阅读 · 0 评论 -
spark-sql与elasticsearch整合&测试
1. 前置条件spark是1.4.1版本elasticsearch是1.7版本java是1.7版本2. 依赖jar包需要使用elasticsearch-Hadoop 下载地址:http://mvnrepository.com/artifact/org.elasticsearch/elasticsearch-hadoop/2.2.0-m13. 配置转载 2016-12-15 21:41:24 · 1778 阅读 · 0 评论 -
安装和使用Elasticsearch
机器 CentOS 6.5先去elasticsearch 官网 https://www.elastic.co/我下载的是1.6版 https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.6.0.tar.gz下载好后 直接解压tar -zxvf elas转载 2016-12-15 21:43:56 · 352 阅读 · 0 评论 -
使用Akka来优化Spark+ElasticSearch的准实时系统
假如有这样一个场景:系统每秒钟都会收到大量的事件,每个事件又包含很多参数,用户不仅需要准实时地还需要定期地判断每一种事件、事件的每一种参数值的组合是否超过了系统设定的阈值。面对这一场景,用户应该采用什么样的方案呢?最近,来自于 Premium Minds 的软件架构师 André Camilo 在博客上发表了一篇文章,介绍了他们是 如何使用Akka解决这一棘手问题的 。在该文章中André转载 2016-12-16 10:24:27 · 821 阅读 · 0 评论 -
Elasticsearch - 搜索引擎入门
Elasticsearch是一个分布式可扩展的实时搜索和分析引擎。它能帮助你搜索、分析和浏览数据,而往往大家并没有在某个项目一开始就预料到需要这些功能。Elasticsearch之所以出现就是为了重新赋予硬盘中看似无用的原始数据新的活力。Elasticsearch每一个独立的部分都不是新创的。比如全文搜索早就已经被实现,统计系统和分布式数据库也早已存在。但是革命之处在于能将这些独立转载 2016-10-25 10:50:13 · 1116 阅读 · 0 评论 -
MongoDB 数据自动同步到 ElasticSearch
我们产品中需要全文检索的功能,后端数据存储主要使用了 MySQL + MongoDB,而其中需要检索的内容是在 MongoDB 中的。MongoDB 本身是自带文本索引功能的,但是,不支持中文。术业有专攻,MongoDB 是数据存储应用,那么全文检索就使用专业的全文搜索引擎吧。预选的几个选手有:Solr、ElasticSearch、Xapian、Sphinx、XunSearch。由转载 2017-01-06 13:14:33 · 3808 阅读 · 0 评论 -
Linux下elasticsearch 安装、配置及示例
简介 开始学es,我习惯边学边记,总结出现的问题和解决方法。本文是在两台Linux虚拟机下,安装了三个节点。本次搭建es同时实践了两种模式——单机模式和分布式模式。条件允许的话,可以在多台机器上配置es节点,如果你机器性能有限,那么可以在一台虚拟机上完成多节点的配置。 如图,是本次3个节点的分布。虚拟机主机名IPes节点maste转载 2017-01-08 18:34:04 · 461 阅读 · 0 评论 -
Elasticsearch技巧指南
任务目标- 了解 Elasticsearch 的底层存储- 熟悉 HTTP 接口和 RESTful API- 了解 Elasticsearch 的调优与运维基本原理这部分内容虽然不一定对工程有立竿见影的帮助,但是知其然还知其所以然,才是高手的做事风格。那么问题来了写入的数据是如何变成 Elasticsearch 里可以被检索和聚合的索引内容的?转载 2017-01-17 15:41:32 · 3229 阅读 · 0 评论 -
elasticsearch写入数据存储的过程
es建索引写入数据,数据最先是存在内存buffer里的,然后再刷入到lucene的底层文件segment中;写入segment完毕后再执行refresh操作,refresh操作后,数据将commit到磁盘中。数据刷入到了磁盘,就可以执行查询操作了。 过程简单描述如下:内存buffer-->segment-->refresh-->磁盘转载 2017-01-17 15:42:48 · 13753 阅读 · 2 评论 -
elasticsearch建立索引操作的API
ElasticSearch-API-Index索引创建API允许初始化一个索引。ElasticSearch对多重索引提供了支持,包括跨多个索引执行操作。每个索引在创建时可以让一个特定的设置项与其关联。最简单的方式创建索引curl -XPUT ‘http://localhost:9200/twitter/'在创建索引的时候指定分片和副本数量,参数格式采用YAML格式转载 2017-01-17 15:44:20 · 13953 阅读 · 0 评论 -
Elasticsearch增删改查
增删改查增删改查是数据库的基础操作方法。ES 虽然不是数据库,但是很多场合下,都被人们当做一个文档型 NoSQL 数据库在使用,原因自然是因为在接口和分布式架构层面的相似性。虽然在 Elastic Stack 场景下,数据的写入和查询,分别由 Logstash 和 Kibana 代劳,作为测试、调研和排错时的基本功,还是需要了解一下 ES 的增删改查用法的。数据写入ES 的一大特点,就转载 2017-01-17 15:46:14 · 4987 阅读 · 0 评论 -
elasticsearch之es分布式集群初探
原文地址:http://www.cnblogs.com/huangfox/p/3543351.htmles有很多特性,分布式、副本集、负载均衡、容灾等。我们先搭建一个很简单的分布式集群(伪),在同一机器上配置三个es,配置分别如下:123456789101112转载 2016-10-13 14:47:43 · 6636 阅读 · 0 评论 -
ElasticSearch性能调优
elasticsearch性能调优集群规划独立的master节点,不存储数据, 数量不少于2数据节点(Data Node)查询节点(Query Node),起到负载均衡的作用Linux系统参数配置文件句柄Linux中,每个进程默认打开的最大文件句柄数是1000,对于服务器进程来说,显然太小,通过修改/etc/security/limits.conf来增大打开最大转载 2017-03-08 17:31:44 · 1706 阅读 · 0 评论 -
ElasticSearch:堆大小与swap设置
译自ES官方对于JVM参数的建议,原文见: https://www.elastic.co/guide/en/elasticsearch/guide/current/heap-sizing.html堆空间的配置方法ElasticSearch的默认设置中,给服务分配了1GB的堆空间。对于大多数实例来说,这个值都太小了。如果你使用默认的堆空间大小,那么你的集群配置是有问题的。有两种方转载 2017-03-08 17:32:45 · 4187 阅读 · 0 评论 -
Elasticsearch 批量导入数据
前言Elasticsearch 是一款非常高效的全文检索引擎。Elasticsearch 可以非常方便地进行数据的多维分析,所以大数据分析领域也经常会见到它的身影,生产环境中绝大部分新产生的数据可以通过应用直接导入,但是历史或初始数据可能会需要单独处理,这种情况下可能遇到需要导入大量数据的情况这里简单分享一下批量导入数据的操作方法与相关基础,还有可能会碰到的问题,详细内容可以参考 官方转载 2017-03-10 10:18:31 · 37655 阅读 · 4 评论 -
Elasticsearch增删改查 之 —— Delete删除
删除文档也算是常用的操作了...如果把Elasticsearch当做一款普通的数据库,那么删除操作自然就很常用了。如果仅仅是全文检索,可能就不会太常用到删除。Delete API删除API,可以根据特定的ID删除文档。$ curl -XDELETE 'http://localhost:9200/twitter/tweet/1'会返回下面的消息:{ "转载 2017-03-10 10:19:40 · 3413 阅读 · 0 评论 -
使用Hive读写ElasticSearch中的数据
原文链接:http://lxw1234.com/archives/2015/12/585.htm关键字:hive、elasticsearch、integration、整合ElasticSearch已经可以与YARN、Hadoop、Hive、Pig、Spark、Flume等大数据技术框架整合起来使用,尤其是在添加数据的时候,可以使用分布式任务来添加索引数据,尤其是在数据平台上,很转载 2017-03-07 11:32:03 · 13874 阅读 · 4 评论 -
正排索引和倒排索引
倒排索引(英语:Inverted index),也常被称为反向索引、置入档案或反向档案,被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。有两种不同的反向索引形式:一条记录的水平反向索引(或者反向档案索引)包含每个引用单词的文档的列表。一个单词的水平反向索引(或者完全反向索引)又包含每个单词在一个文档中的位置。后转载 2017-08-14 11:13:07 · 3335 阅读 · 0 评论