大数据-ElasticSearch
Sunny3096
社会闲散人员
展开
-
【大数据----ElasticSearch】Elasticsearch分片和副本无法挂载(分片移位)
【分片无法挂载】Elasticsearch分片和副本无法挂载(分片移位)部署说明硬件服务器两台:机器A:64G内存机器B:32G内存分片共12个节点2个查询节点,10个存储节点8个主分片1个复制分片(每个分片都有一个副本分布在不同的节点上面)每台机器都挂了6个机械盘每个盘都是不同的分区。部署环境用Dockerweave 来做 elasticsear...原创 2017-07-12 13:42:00 · 199 阅读 · 0 评论 -
【大数据----ElasticSearch】ElasticSearch IK 自动热更新原理与实现
一、热更新原理 elasticsearch开启加载外部词典功功能后,会每60s间隔进行刷新字典。具体原理代码如下所示:public void loadDic(HttpServletRequest req,HttpServletResponse response){ String eTag =req.getParameter("If-None-Match"); try {...原创 2019-06-03 08:55:00 · 992 阅读 · 0 评论 -
【大数据----ElasticSearch】Elasticsearch 深分页问题以及解决方法
本文主要参考:1、https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-scroll.html2、《Elasticsearch权威指南》好,下面上货。首先介绍一下,什么是深分页问题。当使用elasticsearch进行分页查询的时候我们使用的语法是这样的:PO...原创 2019-06-03 08:55:11 · 882 阅读 · 0 评论 -
【大数据----ElasticSearch】命令2
【命令2】elasticsearch的rest访问格式:curl -X<REST Verb> <Node>:<Port>/<Index>/<Type>/<ID>1、启动[es@vm1 bin]$ ./elasticsearch --cluster.name myes --node.name node1...原创 2019-06-03 08:52:32 · 148 阅读 · 0 评论 -
【大数据----ElasticSearch】Elasticsearch打分策略详解与explain手把手计算
一、目的一个搜索引擎使用的时候必定需要排序这个模块,一般情况下在不选择按照某一字段排序的情况下,都是按照打分的高低进行一个默认排序的,所以如果正式使用的话,必须对默认排序的打分策略有一个详细的了解才可以,否则被问起来为什么这个在前面,那个在后面不好办,因此对Elasticsearch的打分策略详细的看了下,虽然说还不是了解的很全部,但是大部分都看的差不多了,结合理论以及搜索的结果,做一个简单的...原创 2019-06-03 08:52:53 · 602 阅读 · 0 评论 -
【大数据----ElasticSearch】Elasticsearch之中文分词器插件es-ik的自定义词库
Elasticsearch之中文分词器插件es-ik 针对一些特殊的词语在分词的时候也需要能够识别 有人会问,那么,例如: 如果我想根据自己的本家姓氏来查询,如zhouls,姓氏“周”。 如果我想根据自己的公司名称来查询,如“好记性不如烂笔头感叹号博客园” 如果我想根据自己公司里的产品名称来查询,如“” ...原创 2019-06-03 08:53:12 · 625 阅读 · 0 评论 -
【大数据----ElasticSearch】ES的安装过程
1.安装ES首先我们需要去官网下载安装包 官方下载地址下载后不需要编译,直接解压解压后结构是这样的(2.5以上版本会有plugins目录,没有的需要手动创建)方式一:创建一个es用户(因为es不允许使用root用户启动)useradd es将该目录权限修改为es用户所有chown es:es -hR .所有要作为es节点的机器都要执行以上操作...原创 2019-06-03 08:53:28 · 1028 阅读 · 0 评论 -
【大数据----ElasticSearch】Elasticsearch通过reroute api重新分配分片
elasticsearch可以通过reroute api来手动进行索引分片的分配。不过要想完全手动,必须先把cluster.routing.allocation.disable_allocation参数设置为true,禁止es进行自动索引分片分配,否则你从一节点把分片移到另外一个节点,那么另外一个节点的一个分片又会移到那个节点。数据量很少的时候,可能影响不大,但是如果数据量很大,这个参数必须要...原创 2019-06-04 08:15:25 · 4052 阅读 · 0 评论 -
【大数据----ElasticSearch】控制Elasticsearch分片和副本的分配
ES集群中索引可能由多个分片构成,并且每个分片可以拥有多个副本。通过将一个单独的索引分为多个分片,我们可以处理不能在一个单一的服务器上面运行的大型索引,简单的说就是索引的大小过大,导致效率问题。不能运行的原因可能是内存也可能是存储。由于每个分片可以有多个副本,通过将副本分配到多个服务器,可以提高查询的负载能力。 为了进行分片和副本的操作,ES需要确定将这些分片和副本放到集群节点的哪个位...原创 2019-06-04 08:15:43 · 837 阅读 · 0 评论 -
【大数据----ElasticSearch】Elasticsearch中文分词器及自定义分词器
中文分词器在lunix下执行下列命令,可以看到本来应该按照中文”北京大学”来查询结果es将其分拆为”北”,”京”,”大”,”学”四个汉字,这显然不符合我的预期。这是因为Es默认的是英文分词器我需要为其配置中文分词器。curlHTTP://192.168.79.131:9200/shb01/_analyze?pretty=true -d'{"text":"北京大学"}'E...原创 2019-06-04 08:15:53 · 203 阅读 · 0 评论 -
【大数据----ElasticSearch】建表命令
【建表】ElasticSearch建表命令使用google插件Postman发送方式为PUT,url地址:192.168.2.11:9200/IndexName文本raw,数据为json格式{ "settings":{ "number_of_shards":5, "number_of_replicas":1 }, "m...原创 2017-09-11 13:41:00 · 7221 阅读 · 2 评论 -
【面试题----ElasticSearch】
【ElasticSearch】1.Elasticsearch是如何实现Master选举的?Elasticsearch的选主是ZenDiscovery模块负责的,主要包含Ping(节点之间通过这个RPC来发现彼此)和Unicast(单播模块包含一个主机列表以控制哪些节点需要ping通)这两部分; 对所有可以成为master的节点(node.master: true)根据nodeId字典排序...原创 2018-03-11 16:15:00 · 141 阅读 · 0 评论 -
【大数据----ElasticSearch】命令1
CURL命令curl -XPUT 'http://node1.sunny.cn:9200/index_name/'PUT/POST都可以CURL创建索引简单认为是可以在命令行下访问url的一个工具 curl是利用URL语法在命令行方式下工作的开源文件传输工具,使用 curl可以简单实现常见的get/post请求。 -x 指定http请求的方法 HEAD GET POST PUT...原创 2019-06-01 14:00:11 · 422 阅读 · 0 评论