Elasticsearch 初探

最新推荐文章于 2024-10-09 13:45:08 发布
最新推荐文章于 2024-10-09 13:45:08 发布
阅读量108 收藏
点赞数
分类专栏： Elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hjxisking/article/details/119451038
版权
本文详细介绍了如何在Linux环境下单机部署Elasticsearch 7.14.0，包括下载、解压、用户权限设置、系统资源限制调整等步骤。此外，还展示了如何配置`elasticsearch.yml`文件，并进行了复合聚合（composite aggregation）的使用示例，用于实现类似SQL的多字段分组查询。最后提到了安装和使用Elasticsearch Head插件的方法。
摘要由CSDN通过智能技术生成

单机部署

# 下载最新的ES，https://www.elastic.co/cn/downloads/elasticsearch
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.14.0-linux-x86_64.tar.gz
tar zxvf elasticsearch-7.14.0-linux-x86_64.tar.gz -C /opt

 由于ES是不允许root用户身份启动的，所以还需要单独创建一个用户用来运行ES

adduser elastic

# 给 elastic 用户赋予权限
chown -R elastic:elastic /opt/elasticsearch-7.14.0

增加系统资源的配置

# vim /etc/security/limits.conf，重新登录账号生效
*               soft    nofile          65536
*               hard    nofile          65536
*               soft    nproc           4096
*               hard    nproc           4096

# vim /etc/sysctl.conf，执行 sysctl -p 生效
vm.max_map_count=262144

简单配置ES，config/elasticsearch.yml

# vim /opt/elasticsearch-7.14.0/config/elasticsearch.yml
network.host: 0.0.0.0
discovery.seed_hosts: ["192.168.202.133"]
cluster.initial_master_nodes: ["192.168.202.133"]

启动ES

su - elastic -c "/opt/elasticsearch-7.14.0/bin/elasticsearch"

# start as daemon
su - elastic -c "/opt/elasticsearch-7.14.0/bin/elasticsearch -d"

安装head插件，见：https://github.com/mobz/elasticsearch-head

如果能翻墙，建议直接chrome扩展商店安装更方便 https://chrome.google.com/webstore/detail/elasticsearch-head/ffmkiejjmecolpfloofpjologoblkegm/related

如果不能，下载本地插件版：https://download.csdn.net/download/hjxisking/20814938

一些用法记录

1. composite，类似group by功能，官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-composite-aggregation.html

        composite是一个多桶聚合，它从不同的源创建复合桶，与其他多桶聚合不同，复合聚合可用于高效地对多级聚合中的所有桶进行分页。这种聚合提供了一种方法来流特定聚合的所有桶，类似于滚动对文档所做的操作。

        组合桶是由为每个文档提取/创建的值的组合构建的，每个组合被视为组合桶，就像类似sql中的多group by 多字段，可以对多个字段进行聚合

        比如SQL：SELECT countymd,platform,action_type, COUNT(action_type) as H11, COUNT(distinct(user_id)) as uu, SUM(platform) as PALL FROM user_access_log WHERE countymd = 20210806 AND countdate >= '2021-08-06 11:00:00' AND countdate <= '2021-08-06 11:59:59' GROUP BY countymd, platform, action_type ORDER BY countymd DESC，对应的Elasticsearch的DSL为

{
    "size": 0,
    "query": {
        "bool": {
            "filter": {
                "bool": {
                    "must": [
                        {"range":{"countdate":{"gt":"2021-08-05 11:00:00", "lt":"2021-08-05 11:59:59"}}}
                    ]
                }
            }
        }
    },
    "_source": false,
    "aggs": {
        "groupby": {
            "composite": {
                "sources": [
                    {"countymd": {"terms": {"field": "countymd", "order": "desc"}}},
                    {"platform": {"terms": {"field": "platform"}}},
                    {"action_type": {"terms": {"field": "action_type"}}}
                ]
            },
            "aggs": {
                "H11": {
                    "filter": {
                        "exists": {
                            "field": "action_type"
                        }
                    }
                },
                "uu": {
                    "cardinality": {
                        "field": "user_id"
                    }
                },
                "PALL": {
                    "stats": {
                        "field": "platform"
                    }
                }
            }
        }
    }
}

response：

{
    "took": 99,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 15,
            "relation": "eq"
        },
        "max_score": null,
        "hits": []
    },
    "aggregations": {
        "groupby": {
            "after_key": {
                "countymd": 20210805,
                "platform": 2,
                "action_type": "1002"
            },
            "buckets": [
                {
                    "key": {
                        "countymd": 20210806,
                        "platform": 2,
                        "action_type": "0104"
                    },
                    "doc_count": 3,
                    "uu": {
                        "value": 2
                    },
                    "PALL": {
                        "count": 3,
                        "min": 2.0,
                        "max": 2.0,
                        "avg": 2.0,
                        "sum": 6.0
                    },
                    "H11": {
                        "doc_count": 3
                    }
                },
                {
                    "key": {
                        "countymd": 20210805,
                        "platform": 2,
                        "action_type": "0103"
                    },
                    "doc_count": 2,
                    "uu": {
                        "value": 1
                    },
                    "PALL": {
                        "count": 2,
                        "min": 2.0,
                        "max": 2.0,
                        "avg": 2.0,
                        "sum": 4.0
                    },
                    "H11": {
                        "doc_count": 2
                    }
                },
                {
                    "key": {
                        "countymd": 20210805,
                        "platform": 2,
                        "action_type": "0104"
                    },
                    "doc_count": 3,
                    "uu": {
                        "value": 1
                    },
                    "PALL": {
                        "count": 3,
                        "min": 2.0,
                        "max": 2.0,
                        "avg": 2.0,
                        "sum": 6.0
                    },
                    "H11": {
                        "doc_count": 3
                    }
                },
                {
                    "key": {
                        "countymd": 20210805,
                        "platform": 2,
                        "action_type": "0705"
                    },
                    "doc_count": 2,
                    "uu": {
                        "value": 1
                    },
                    "PALL": {
                        "count": 2,
                        "min": 2.0,
                        "max": 2.0,
                        "avg": 2.0,
                        "sum": 4.0
                    },
                    "H11": {
                        "doc_count": 2
                    }
                },
                {
                    "key": {
                        "countymd": 20210805,
                        "platform": 2,
                        "action_type": "1001"
                    },
                    "doc_count": 1,
                    "uu": {
                        "value": 1
                    },
                    "PALL": {
                        "count": 1,
                        "min": 2.0,
                        "max": 2.0,
                        "avg": 2.0,
                        "sum": 2.0
                    },
                    "H11": {
                        "doc_count": 1
                    }
                },
                {
                    "key": {
                        "countymd": 20210805,
                        "platform": 2,
                        "action_type": "1002"
                    },
                    "doc_count": 4,
                    "uu": {
                        "value": 1
                    },
                    "PALL": {
                        "count": 4,
                        "min": 2.0,
                        "max": 2.0,
                        "avg": 2.0,
                        "sum": 8.0
                    },
                    "H11": {
                        "doc_count": 4
                    }
                }
            ]
        }
    }
}

        在返回结果集的buckets中，每一个group by的组合都会统计出其具体数量

hjxisking
关注
专栏目录
ES — — elasticsearch初探
7ruth0hn的博客
03-30 5406
文章目录ElasticSearch一、安装1、es 安装2、es-head 安装3、Kibana 安装4、es-analysis-ik 插件安装二、使用1、analysis-ik 的使用和配置2、四大操作：增删改查3、简单搜索4、复杂搜索结语感谢 ElasticSearch 一、安装 安装前最好更新一下npm： npm install -g npm 同时，要求jdk版本 >= 1.8 1、es 安装 我选择的是7.8.1版本，在官网下载自己需要的版本即可： 下载完解压，在bin目录下双击elas
ElasticSearch初探之所有初次使用记录（六）聚合Aggregation
王某的博客
05-17 2947
简介 1.聚合可以看作是对查询结果的汇总。aggregation的强大在于它能嵌套并实现多级汇总。通常分为四类聚类：metric、bucket、pipeline、matrix 2.bucket和SQL的group by作用类似，常于metric结合使用，bucket是可以嵌套的；metric是对bucket中的一些统计信息；matrix在多字段上进行操作，从请求的文档的字段中提取信息，返回矩阵...
Elasticsearch安装
代码的世界
01-19 142
环境信息： Centos 7.2 elasticsearch-6.5.4 host111: 192.168.100.111 host112: 192.168.100.112 提示： 生产环境中ES最少部署三个节点，我是做测试，只部署了两个节点 一、安装JDK mkdir -p /usr/java tar zxvf jdk-8u181-linux-x64.tar.gz -C /usr/java/ ...
Elasticsearch集群部署及使用
wuxingge的博客
06-20 3140
关键词 —> 文档的映射 把正向索引的结果重新构造成倒排索引。通过_update API方式单独更新对应的字段。文档 —> 关键词的映射过程（正向索引）根据单词集合和文档集合，得到一张表。通过_source获取指定的字段。创建索引library。
Elasticsearch启动脚本
yao_wen_yu的博客
10-24 1437
Elasticsearch启动脚本
linux shell 切换用户并执行命令
热门推荐
格赚
04-12 1万+
su - elastic -c "echo export JAVA_HOME=/home/auto_deploy/jdk1.8 >> ~/.bash_profile " ; su - elastic -c "echo export CLASSPATH=$JAVA_HOME/lib" >> ~/.bash_profile ; su - elastic -c "echo ex...
linux su命令参数及用法详解--linux切换用户命令
scoliver的专栏
02-08 3601
最近发现用“su root" 命令进入到root用户时，一些命令如shutdown、init、ifconfig等等不能被执行，上网一查发现用“su -root”竟然可以，看到下文之后，才明白了。 原文：http://www.linuxso.com/command/su.html 建议大家切换用户的时候 使用  su -  root  这样，否则可能发现某些命令执行不了 关于su
Elasticsearch初探
weixin_34403693的博客
03-21 101
2019独角兽企业重金招聘Python工程师标准>>> ...
Elasticsearch初探：分布式搜索引擎的魅力
## 1.1 介绍Elasticsearch的背景和概述 Elasticsearch是一个开源的分布式搜索引擎，最初由Shay Banon在2010年创建。它基于Lucene搜索库构建，提供了简单和可扩展的搜索和分析功能。Elasticsearch具有高性能、可扩展...
ElasticSearch初探之所有初次使用记录（八）关于ES集群master选举的几个关键参数的小测验
王某的博客
05-20 1万+
环境：5台安装elasticsearch-5.6.8centos6.9的机器 ~5节点的discovery.zen.minimum_master_nodes: 的值都设置为3时，依次启动每台机器，启动不了任何一个节点，因为最先启动的节点发觉它启动的时候没有master节点，即使是它有成为master的资格，但是因为此时集群中没有其他节点为它“投票”[非zookeeper实现]，所以启动失败；【但...
ElasticSearch初探之所有初次使用记录（三）复合查询及全文查询
王某的博客
05-05 1万+
must,must_not,should 关于bool query: must filter should must_not 综合 term与match的区别： match_all,match,match_phrase,match_phrase_prefix,multi_match，multi_mutch match_all match match_phrase match_phrase...
配置fluent将日志转储到elasticsearch
勤奋的猪
03-27 6703
概述前文，讲述了使用fluentd driver来管理docker的日志。尽管，docker的日志被导出了，或者采用fluent的集中收集方式将所有的agent的日志都集中到了集群中的某一台或者两台机器上，但是要从如果庞大的日志结合中过滤出有用的信息还是难度比较大的。 本文将介绍如何安装elasticsearch及配置fluent将日志转储到elasticsearch中。至于，elasticsea
Centos7.5中elasticsearch7.0.1安装及配置优化
Centos7.5中elasticsearch7.0.1安装及配置优化
05-21 1363
Centos7.5中elasticsearch7.0.1安装及配置优化服务器信息：创建 elastic 用户修改系统配置信息下载并解压：部署ES启动ESES 常用地址 简单讲述ES开箱即用，不用任何配置也能玩转搜索引擎，以下是在centos7.5中安装ES过程。 注意：下面的过程是在一台服务器上模拟的3个节点的集群搭建。 服务器信息： 服务器IP 安装路径 http端口 transpo...
elasticsearch设置中文分词
Su_若若的博客
09-26 4073
由于elasticsearch基于lucene，所以天然地就多了许多lucene上的中文分词的支持，比如 IK, Paoding, MMSEG4J等lucene中文分词原理上都能在elasticsearch上使用。当然前提是有elasticsearch的插件。 至于插件怎么开发，这里有一片文章介绍：http://log.medcl.net/item/2011/07/diving-into-elast
解决github每次pull push输入密码问题
m0_49448331的博客
10-09 291
然后你使用上述的命令配置好之后，再操作一次git pull，然后它会提示你输入账号密码，这一次之后就不需要再次输入密码了。然后你会在你本地生成一个文本，上边记录你的账号和密码。取消(删除)记录账号和密码。
Python知识点：如何使用Multiprocessing进行并行任务管理
bigorsmallorlarge的专栏
10-05 688
是Python的一个标准库，它允许你创建多个进程，从而实现真正的并行计算。与线程（threading模块）不同，每个进程都有自己的内存空间和Python解释器，这使得进程间不会受到全局解释器锁（GIL）的限制。模块是Python中实现并行计算的强大工具。通过创建多个进程，你可以充分利用多核处理器的能力，加速你的应用程序。使用进程池可以简化任务管理，而进程间通信则允许进程之间交换数据。正确使用可以显著提高你的程序性能。希望本文能帮助你了解如何在Python中使用进行并行任务管理。
windows 安装 ElasticSearch
最新发布
人生苦短，及时行乐
10-09 162
下载地址：ElasticSearch 目录结构如下：
Android Camera系列（四）：TextureView+OpenGL ES+Camera
xiaozhiwz的专栏
10-09 682
本文主要讲解了使用TextureView+OpenGL ES渲染Camera预览数据
Elasticsearch基础教程：快速掌握ES语法与索引概念
"这篇资源是针对初学者的Elasticsearch (ES) 语法基础入门教程，涵盖了ES的安装、基本特性和DSL语法，同时也讲解了Kibana的使用。此外，教程还深入介绍了搜索引擎和倒排索引的概念，旨在帮助初学者快速掌握搜索引擎...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值