ES开发
文章平均质量分 66
囧囧有神璐璐
天道酬勤
展开
-
elasticsearch5.4.0 java开发注意事项
1,集群配置1).node.master: true 指定该节点是否有资格被选举成为node,默认是true,es是默认集群中的第一台机器为master,如果这台机挂了就会重新选举master。 2).node.data: true 指定该节点是否存储索引数据,默认为true。 4.master和data同时配置会产生一些奇异的效果: 1) 当master为false,而data为原创 2017-07-10 15:58:43 · 2600 阅读 · 2 评论 -
ES搜索参考网站
http://www.sojson.com/tag_elasticsearch.htmlhttp://www.sojson.com/blog/176.html?ref=myread原创 2017-08-25 14:46:13 · 477 阅读 · 0 评论 -
用Elasticsearch构建电商搜索平台,一个极有代表性的基础技术架构和算法实践案例
随着互联网数据规模的爆炸式增长,如何从海量的历史,实时数据中快速获取有用的信息,变得越来越有挑战性。电商数据系统主要类型一个中等的电商平台,每天都要产生百万条原始数据,上亿条用户行为数据。一般来说,电商数据一般有3种主要类型的数据系统:关系型数据库 ,大多数互联网公司会选用mysql作为关数据库的主选,用于存储商品,用户信息等数据。 关系型数据库对于事务性非常高的OLT转载 2017-08-25 14:45:26 · 561 阅读 · 0 评论 -
分布式搜索elasticsearch中文分词集成
elasticsearch官方只提供smartcn这个中文分词插件,效果不是很好,好在国内有medcl大神(国内最早研究es的人之一)写的两个中文分词插件,一个是ik的,一个是mmseg的,下面分别介绍下两者的用法,其实都差不多的,先安装插件,命令行:安装ik插件:plugin -install medcl/elasticsearch-analysis-ik/1.1.0下载ik转载 2017-07-17 11:25:37 · 287 阅读 · 0 评论 -
用logstash导入ES且自定义mapping时踩的坑
问题发生背景: 1.本来我是使用logstash的默认配置向ES导入日志的。然后很嗨皮,发现一切OK,后来我开始对日志进行聚合统计,发现terms聚合时的key很奇怪,后来查询这奇怪的key,发现这些关键字都是源字符串的一段,而且全部复现场景都是出现"xxxx-xxxxxx"时就会截断,感觉像是分词器搞的鬼。所以想自己定制mapping。下面是原来的logstash配置output{elas转载 2017-07-17 11:24:46 · 7533 阅读 · 0 评论 -
查看ElasticSearch服务状态和结果的URL
1,查看es集群状态http://ip:port/_cat/health?v2,集群节点健康查看http://ip:port/_cat/nodes?v 3,列出集群索引http://ip:port/_cat/indices?v 索引相关URL说明/index/_search不解释原创 2017-07-17 11:24:22 · 18591 阅读 · 0 评论 -
ElasticSearch集群脑裂,怎么办?
1、什么是“脑裂”现象?由于某些节点的失效,部分节点的网络连接会断开,并形成一个与原集群一样名字的集群,这种情况称为集群脑裂(split-brain)现象。这个问题非常危险,因为两个新形成的集群会同时索引和修改集群的数据。2、产生“脑裂”的原因?(1)网络原因内网一般不会出现此问题,可以监控内网流量状态。外网的网络出现问题的可能性大些。(2)节点负载由于master节点转载 2017-07-17 11:24:02 · 1242 阅读 · 0 评论 -
生产环境使用elasticsearch遇到的一些问题以及解决方法(不断更新)
1.由gc引起节点脱离集群 因为gc时会使jvm停止工作,如果某个节点gc时间过长,master ping3次(zen discovery默认ping失败重试3次)不通后就会把该节点剔除出集群,从而导致索引进行重新分配。解决方法:(1)优化gc,减少gc时间。(2)调大zen discovery的重试次数(es参数:ping_retries)和超时时间(es参数:p转载 2017-07-14 13:09:48 · 1421 阅读 · 0 评论 -
分布式搜索elasticsearch java API 之(一)------与集群交互
这是关于elasticsearch java api的第一篇教程,陆续会把es的一些心得写出来。可以通过两种方式来连接到elasticsearch(简称es)集群,第一种是通过在你的程序中创建一个嵌入es节点(Node),使之成为es集群的一部分,然后通过这个节点来与es集群通信。第二种方式是用TransportClient这个接口和es集群通信。Node方式创建嵌入节点的转载 2017-07-14 11:23:32 · 495 阅读 · 0 评论 -
分布式搜索elasticsearch java API 之(二)------put Mapping定义索引字段属性
Mapping,就是对索引库中索引的字段名及其数据类型进行定义,类似于关系数据库中表建立时要定义字段名及其数据类型那样,不过es的mapping比数据库灵活很多,它可以动态添加字段。一般不需要要指定mapping都可以,因为es会自动根据数据格式定义它的类型,如果你需要对某些字段添加特殊属性(如:定义使用其它分词器、是否分词、是否存储等),就必须手动添加mapping。有两种添加mapping的方转载 2017-07-14 11:21:31 · 835 阅读 · 0 评论 -
分布式搜索elasticsearch配置文件详解
elasticsearch的config文件夹里面有两个配置文件:elasticsearch.yml和logging.yml,第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来记录日志的,所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。cluster.name: elas转载 2017-07-14 11:20:06 · 178 阅读 · 0 评论 -
分布式搜索elasticsearch java API 之(四)------删除索引数据
删除api允许从特定索引通过id删除json文档。有两种方法,一是通过id删除,二是通过一个Query查询条件删除,符合这些条件的数据都会被删除。一、通过id删除下面的例子是删除索引名为twitter,类型为tweet,id为1的文档:DeleteResponse response = client.prepareDelete("转载 2017-07-14 11:11:31 · 2933 阅读 · 0 评论 -
filebeat.yml中文配置详解
filebeat.yml(中文配置详解)转载 2017-07-11 13:30:31 · 10069 阅读 · 0 评论 -
elasticsearch中的API
elasticsearch中的APIes中的API按照大类分为下面几种:文档API: 提供对文档的增删改查操作搜索API: 提供对文档进行某个字段的查询索引API: 提供对索引进行操作查看API: 按照更直观的形式返回数据,更适用于控制台请求展示集群API: 对集群进行查看和操作的API文档APIIndex API: 创建并建立索引Get API: 获取文档DELETE A转载 2017-07-10 17:09:54 · 251 阅读 · 0 评论 -
从ELK到EFK,日志系统的高级玩法儿
作为中国最大的在线教育站点,沪江日志服务的用户包含沪江网校、交易、金融、CCtalk(直播平台) 等多个部门的多个产品的日志搜索分析业务,每日产生的各类日志有好十几种,每天处理约10亿条(1TB)日志,热数据保留最近7天数据,冷数据永久保存。转载 2017-10-19 15:25:44 · 1288 阅读 · 0 评论