ElasticSearch
文章平均质量分 67
阿拉斯加大闸蟹
JDcloud;ByteDance;XueQiu;YiChe;CATARC
展开
-
lucene的FST
关于Lucene的词典FST深入剖析 | 申艳超-博客原创 2021-10-09 10:54:55 · 7361 阅读 · 0 评论 -
日志平台-ES性能优化
一些旧的工具Ø elastic-hq:性能分析Ø cerebro:索引管理、settingsØ whatson:segment分析Ø es cat apiES慢日志https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-slowlog.html合理的控制indexhttps://www.elastic.co/guide/en/elasticsearch/reference/cu原创 2021-07-12 15:01:42 · 8309 阅读 · 0 评论 -
ES数据迁移
移除数据节点移除node前可以先exclude要移除的nodel cluster:cluster.routing.allocation.exclude._name : node1l Index:index.routing.allocation.exclude._name: node1index.routing.allocation.require.node_type: hot技巧:以上参数可根据_ip、_host等来进行配置 以上参数可实现hot-warn目标:迁移替换sto原创 2021-07-12 15:00:26 · 8297 阅读 · 0 评论 -
日志平台-ES架构设计
remote clusterhttps://www.elastic.co/guide/en/elasticsearch/reference/current/modules-remote-clusters.html冷热架构(等机器资源申请到位的时候)https://www.elastic.co/cn/blog/implementing-hot-warm-cold-in-elasticsearch-with-index-lifecycle-managementES Client Node什么原创 2021-07-12 14:32:29 · 7906 阅读 · 0 评论 -
日志平台-Index的管理
当前使用的是shell的定时任务 Mapping配置 索引生命周期 index配置 ILM的管理 index管理 方法 1: 使用在索引名称上带上时间的方法管理索引(这个是目前采用的方式) 方法 2: 使用 Rollover 管理索引 方法 3: 使用 ILM(Index Lifecycle Management ) 管理索引(这个使用跟graylog一样,就是被抛弃的原因之一,索引的名字目前在系统中是具有意义的) shard的管理 按照保留期限进行索引 每个索引和分原创 2021-07-12 14:26:14 · 7823 阅读 · 0 评论 -
Elasticsearch扩容文档
最终步骤0.SRE配置物理机环境,准备SSD磁盘,同步docker镜像1.在rolling上启动节点(检查是否正常启动,max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] 如果出现此错误,则需要SRE改下ulimit参数。2.如启动成功,则将 新加的 ip 加入 host 映射中nodes.es.snowballfinance.com,之后在 kibana...原创 2021-06-16 11:10:11 · 8497 阅读 · 0 评论 -
mongo从jdbc到springboot继承的template
http://distfiles.macports.org/mongodb/https://www.mongodb.com/download安装:cd ~open -e .bash_profile在打开的文件中添加:MONGODB_HOME=“解压地址”source .bash_profilecd “MongoDB的安装目录”mkdir datamkdir log验证:...原创 2016-07-01 11:56:40 · 5001 阅读 · 2 评论 -
MongoDB的基础nosql语句
db.runoob.insert({"name":"菜鸟教程"})db.createCollection("test", {capped:true, size:100000})db.test.insertOne({"site":"www.baidu.com"})db.test.insertOne({"site":"www.google.com","name":"Google"})db....原创 2016-06-22 17:15:32 · 2537 阅读 · 0 评论 -
ElasticSearch 常用的查询过滤语句
term 过滤term主要用于精确匹配哪些值,比如数字,日期,布尔值或 not_analyzed 的字符串(未经分析的文本数据类型):#完整的例子, hostname 字段完全匹配成 saaap.wangpos.com 的数据:{ "query": { "term": { "hostname": "saaap.wangpos.com" } ...原创 2018-12-11 10:21:12 · 1399 阅读 · 1 评论 -
ES处理冲突
https://github.com/singgel/BigData-SkillTree处理冲突编辑当我们使用indexAPI 更新文档,可以一次性读取原始文档,做我们的修改,然后重新索引整个文档。 最近的索引请求将获胜:无论最后哪一个文档被索引,都将被唯一存储在 Elasticsearch 中。如果其他人同时更改这个文档,他们的更改将丢失。很多时候这是没有问题的。也许我们的...原创 2018-07-25 17:20:43 · 1373 阅读 · 0 评论