搜索引擎
文章平均质量分 87
Cloud_N
这个作者很懒,什么都没留下…
展开
-
solr安装配置及简单使用
转自http://www.cnblogs.com/zhuxiaojie/p/5764680.html前言至于为什么要用solr5.5,因为最新的6.10,没有中文的分词器支持,这里使用的是ik分词器,刚好支持到5.5ik分词器下载地址 :https://github.com/EugenePig/ik-analyzer-solr5 , 下载完之后使用maven命令, mvn package 即可...转载 2018-03-11 22:09:16 · 210 阅读 · 0 评论 -
solr定时增量同步DB
问题导读1、如何增量导入MYSQL数据库中的数据?2、如何设置定时导入数据来做?3、我们怎样测试增量导入?本文接上一篇:Solr学习(四)DIH全量导入并索引数据(一)引言:前面我的文章 DIH全量导入 中已经学会了如何全量导入Oralce和MySQL的数据,大家都知道全量导入在数据量大的时候代价非常大,一般来说都会适用增量的方式来导入数据,下面介绍如何增量导入MYSQL数据库中的数据,以及如何设...转载 2018-03-12 16:36:42 · 515 阅读 · 0 评论 -
使用redis实现搜索引擎
场景大家如果是做后端开发的,想必都实现过列表查询的接口,当然有的查询条件很简单,一条 SQL 就搞定了,但有的查询条件极其复杂,再加上库表中设计的各种不合理,导致查询接口特别难写,然后加班什么的就不用说了(不知各位有没有这种感受呢~)。下面以一个例子开始,这是某购物网站的搜索条件,如果让你实现这样的一个搜索接口,你会如何实现?(当然你说借助搜索引擎,像 Elasticsearch 之类的,你完全可...转载 2018-03-21 22:36:13 · 10146 阅读 · 0 评论 -
ELK日志处理平台搭建
日志处理平台可以分成三个部分:shipper:日志收集 broker:中间件/队列 indexer:日志存储日志的功能侧重点:1.快速定位线上log,快速差错,2.对日志进行数据处理,提取整理日志中的重要数据3.提取用户请求整个访问流程的日志,便于分析 最开始考虑了几种架构方案elk+kafka或者reids+mongodb,但后来根据实际业务场景考虑了...原创 2018-05-04 16:14:52 · 569 阅读 · 0 评论 -
logstash使用es映射模板
在使用logstash收集日志的时候,我们一般会使用logstash自带的动态索引模板,虽然无须我们做任何定制操作,就能把我们的日志数据推送到elasticsearch索引集群中,但是在我们查询的时候,就会发现,默认的索引模板常常把我们不需要分词的字段,给分词了,这样以来,我们的比较重要的聚合统计就不准确了: 举个例子,假如有10台需要的监控的机器,他们的机器名如下: Java代码 search...转载 2018-05-11 14:39:14 · 6002 阅读 · 0 评论 -
优化ElasticSearch之合理分配索引分片
原文链接: https://qbox.io/blog/optimizi...转自segmentFault:https://segmentfault.com/a/1190000008868585大多数ElasticSearch用户在创建索引时通用会问的一个重要问题是:我需要创建多少个分片?在本文中, 我将介绍在分片分配时的一些权衡以及不同设置带来的性能影响. 如果想搞清晰你的分片策略以及如何优化,请...转载 2018-05-20 21:54:18 · 933 阅读 · 0 评论 -
ES实时索引原理
目录结构: data——nodes——indices——shade(lucence分片) 比如:/opt/search/elasticsearch-node1/data/elasticsearch/nodes/0/indices/logstash-custom-2018.07.27/0/index 这里第一个0即是ES的节点,indices是ES的索引,第二个0是两个主分片...原创 2018-08-05 13:05:47 · 2641 阅读 · 0 评论