Elastic：运用 Elastic Stack 对 Kubernetes 进行监控 （二）

于 2020-05-02 18:46:36 发布
阅读量1.2k 收藏 2
点赞数 1
分类专栏： Kubernetes Elastic 文章标签： elasticsearch kubernetes
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/UbuntuTouch/article/details/105886229
版权
Elastic 同时被 2 个专栏收录
1310 篇文章 836 订阅
订阅专栏
Kubernetes
11 篇文章 20 订阅
订阅专栏

在今天的文章中，我们将描述如何在 Kubernetes 中安装 Elasticsearch 及 Kibana，并利用它们来存储数据并可视化被监控的数据。

 

Elasticsearch 集群

如上一篇文章中所述，要使用 Elastic 技术设置监视堆栈，我们首先需要部署 Elasticsearch，它将充当数据库来存储所有数据（指标，日志和跟踪）。 该数据库将由三个可扩展的节点组成，这些节点按照建议的生产方式连接到一个群集中。

此外，我们将启用身份验证，以使堆栈对潜在的攻击者更加安全。

配置 Elasticsearch master 节点

我们将要设置的集群的第一个节点是主节点，它负责控制集群。

我们需要的第一个 k8s 对象是 ConfigMap，它描述了一个 YAML 文件，其中包含将 Elasticsearch 主节点配置到集群中并启用安全性所需的所有设置。

elasticsearch-master.configmap.yaml

# elasticsearch-master.configmap.yaml
---
apiVersion: v1
kind: ConfigMap
metadata:
  namespace: monitoring
  name: elasticsearch-master-config
  labels:
    app: elasticsearch
    role: master
data:
  elasticsearch.yml: |-
    cluster.name: ${CLUSTER_NAME}
    node.name: ${NODE_NAME}
    discovery.seed_hosts: ${NODE_LIST}
    cluster.initial_master_nodes: ${MASTER_NODES}

    network.host: 0.0.0.0

    node:
      master: true
      data: false
      ingest: false

    xpack.security.enabled: true
    xpack.monitoring.collection.enabled: true
---

其次，我们将部署一个服务，该服务定义对一组 Pod 的网络访问。 对于主节点，我们仅需要通过用于集群通信的端口9300进行通信。

elasticsearch-master.service.yaml

# elasticsearch-master.service.yaml
---
apiVersion: v1
kind: Service
metadata:
  namespace: monitoring
  name: elasticsearch-master
  labels:
    app: elasticsearch
    role: master
spec:
  ports:
  - port: 9300
    name: transport
  selector:
    app: elasticsearch
    role: master
---

最后，最后一部分是 Deployment，它描述了正在运行的服务（docker 映像，副本数量，环境变量和卷）。

elasticsearch-master.service.yaml

# elasticsearch-master.deployment.yaml
---
apiVersion: apps/v1
kind: Deployment
metadata:
  namespace: monitoring
  name: elasticsearch-master
  labels:
    app: elasticsearch
    role: master
spec:
  replicas: 1
  selector:
    matchLabels:
      app: elasticsearch
      role: master
  template:
    metadata:
      labels:
        app: elasticsearch
        role: master
    spec:
      containers:
      - name: elasticsearch-master
        image: docker.elastic.co/elasticsearch/elasticsearch:7.6.2
        env:
        - name: CLUSTER_NAME
          value: elasticsearch
        - name: NODE_NAME
          value: elasticsearch-master
        - name: NODE_LIST
          value: elasticsearch-master,elasticsearch-data,elasticsearch-client
        - name: MASTER_NODES
          value: elasticsearch-master
        - name: "ES_JAVA_OPTS"
          value: "-Xms256m -Xmx256m"
        ports:
        - containerPort: 9300
          name: transport
        volumeMounts:
        - name: config
          mountPath: /usr/share/elasticsearch/config/elasticsearch.yml
          readOnly: true
          subPath: elasticsearch.yml
        - name: storage
          mountPath: /data
      volumes:
      - name: config
        configMap:
          name: elasticsearch-master-config
      - name: "storage"
        emptyDir:
          medium: ""
---

现在，使用以下命令将配置应用于我们的 k8s 环境：

kubectl apply  -f elasticsearch-master.configmap.yaml \
                 -f elasticsearch-master.service.yaml \
                 -f elasticsearch-master.deployment.yaml
$ kubectl apply  -f elasticsearch-master.configmap.yaml \
>                  -f elasticsearch-master.service.yaml \
>                  -f elasticsearch-master.deployment.yaml
configmap/elasticsearch-master-config created
service/elasticsearch-master created
deployment.apps/elasticsearch-master created

使用以下命令检查所有内容是否正在运行：

kubectl get pods -n monitoring
$ kubectl get pods -n monitoring
NAME                                    READY   STATUS    RESTARTS   AGE
elasticsearch-master-7cb4f584cb-rbwv9   1/1     Running   2          95s

配置 Elasticsearch data 节点

我们将要设置的集群的第二个节点是 data 节点，该数据负责托管数据并执行查询（CRUD，搜索，聚合）。

像 master 节点一样，我们需要一个 ConfigMap 来配置我们的节点，该节点看上去与 master 节点相似，但略有不同（请参阅 node.data：true）

elasticsearch-data.configmap.yaml

# elasticsearch-data.configmap.yaml
---
apiVersion: v1
kind: ConfigMap
metadata:
  namespace: monitoring
  name: elasticsearch-data-config
  labels:
    app: elasticsearch
    role: data
data:
  elasticsearch.yml: |-
    cluster.name: ${CLUSTER_NAME}
    node.name: ${NODE_NAME}
    discovery.seed_hosts: ${NODE_LIST}
    cluster.initial_master_nodes: ${MASTER_NODES}

    network.host: 0.0.0.0

    node:
      master: false
      data: true
      ingest: false

    xpack.security.enabled: true
    xpack.monitoring.collection.enabled: true
---

该服务仅公开端口9300，以便与群集的其他成员通信。

elasticsearch-data.service.yaml

# elasticsearch-data.service.yaml
---
apiVersion: v1
kind: Service
metadata:
  namespace: monitoring
  name: elasticsearch-data
  labels:
    app: elasticsearch
    role: data
spec:
  ports:
  - port: 9300
    name: transport
  selector:
    app: elasticsearch
    role: data
---

最后，ReplicaSet 与部署类似，但涉及存储，您可以在文件底部标识一个 volumeClaimTemplates 来创建 20GB 的持久卷。

elasticsearch-data.replicaset.yaml

# elasticsearch-data.replicaset.yaml
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  namespace: monitoring
  name: elasticsearch-data
  labels:
    app: elasticsearch
    role: data
spec:
  serviceName: "elasticsearch-data"
  replicas: 1
  selector:
    matchLabels:
      app: elasticsearch-data
      role: data   
  template:
    metadata:
      labels:
        app: elasticsearch-data
        role: data
    spec:
      containers:
      - name: elasticsearch-data
        image: docker.elastic.co/elasticsearch/elasticsearch:7.6.2
        env:
        - name: CLUSTER_NAME
          value: elasticsearch
        - name: NODE_NAME
          value: elasticsearch-data
        - name: NODE_LIST
          value: elasticsearch-master,elasticsearch-data,elasticsearch-client
        - name: MASTER_NODES
          value: elasticsearch-master
        - name: "ES_JAVA_OPTS"
          value: "-Xms1024m -Xmx1024m"
        ports:
        - containerPort: 9300
          name: transport
        volumeMounts:
        - name: config
          mountPath: /usr/share/elasticsearch/config/elasticsearch.yml
          readOnly: true
          subPath: elasticsearch.yml
        - name: elasticsearch-data-persistent-storage
          mountPath: /data/db
      volumes:
      - name: config
        configMap:
          name: elasticsearch-data-config
  volumeClaimTemplates:
  - metadata:
      name: elasticsearch-data-persistent-storage
      annotations:
        volume.beta.kubernetes.io/storage-class: "standard"
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: standard
      resources:
        requests:
          storage: 20Gi
---

现在，让我们使用以下命令应用配置：

kubectl apply -f elasticsearch-data.configmap.yaml \
                -f elasticsearch-data.service.yaml \
                -f elasticsearch-data.replicaset.yaml
$ kubectl apply -f elasticsearch-data.configmap.yaml \
>                 -f elasticsearch-data.service.yaml \
>                 -f elasticsearch-data.replicaset.yaml
configmap/elasticsearch-data-config created
service/elasticsearch-data created
statefulset.apps/elasticsearch-data created

并检查一切是否正在运行：

kubectl get pods -n monitoring
$ kubectl get pods -n monitoring
NAME                                    READY   STATUS    RESTARTS   AGE
elasticsearch-data-0                    1/1     Running   0          87s
elasticsearch-master-7cb4f584cb-xndth   1/1     Running   0          112m

配置 Elasticsearch client 节点

集群的最后一个节点（但并非最不重要）是 client，该客户端负责公开 HTTP 接口并将查询传递给数据节点。

ConfigMap 再次非常类似于 master 节点：

elasticsearch-client.configmap.yaml

# elasticsearch-client.configmap.yaml
---
apiVersion: v1
kind: ConfigMap
metadata:
  namespace: monitoring
  name: elasticsearch-client-config
  labels:
    app: elasticsearch
    role: client
data:
  elasticsearch.yml: |-
    cluster.name: ${CLUSTER_NAME}
    node.name: ${NODE_NAME}
    discovery.seed_hosts: ${NODE_LIST}
    cluster.initial_master_nodes: ${MASTER_NODES}

    network.host: 0.0.0.0

    node:
      master: false
      data: false
      ingest: true

    xpack.security.enabled: true
    xpack.monitoring.collection.enabled: true
---

客户端节点公开了两个端口：9300，用于与集群的其他节点通信；以及9200，用于 HTTP API。

elasticsearch-client.service.yaml

# elasticsearch-client.service.yaml
---
apiVersion: v1
kind: Service
metadata:
  namespace: monitoring
  name: elasticsearch-client
  labels:
    app: elasticsearch
    role: client
spec:
  ports:
  - port: 9200
    name: client
  - port: 9300
    name: transport
  selector:
    app: elasticsearch
    role: client
---

描述 client 节点容器的 Deployment：

elasticsearch-client.deployment.yaml

# elasticsearch-client.deployment.yaml
---
apiVersion: apps/v1
kind: Deployment
metadata:
  namespace: monitoring
  name: elasticsearch-client
  labels:
    app: elasticsearch
    role: client
spec:
  replicas: 1
  selector:
    matchLabels:
      app: elasticsearch
      role: client
  template:
    metadata:
      labels:
        app: elasticsearch
        role: client
    spec:
      containers:
      - name: elasticsearch-client
        image: docker.elastic.co/elasticsearch/elasticsearch:7.6.2
        env:
        - name: CLUSTER_NAME
          value: elasticsearch
        - name: NODE_NAME
          value: elasticsearch-client
        - name: NODE_LIST
          value: elasticsearch-master,elasticsearch-data,elasticsearch-client
        - name: MASTER_NODES
          value: elasticsearch-master
        - name: "ES_JAVA_OPTS"
          value: "-Xms256m -Xmx256m"
        ports:
        - containerPort: 9200
          name: client
        - containerPort: 9300
          name: transport
        volumeMounts:
        - name: config
          mountPath: /usr/share/elasticsearch/config/elasticsearch.yml
          readOnly: true
          subPath: elasticsearch.yml
        - name: storage
          mountPath: /data
      volumes:
      - name: config
        configMap:
          name: elasticsearch-client-config
      - name: "storage"
        emptyDir:
          medium: ""
---

应用每个文件来部署 client 节点：

kubectl apply  -f elasticsearch-client.configmap.yaml \
                 -f elasticsearch-client.service.yaml \
                 -f elasticsearch-client.deployment.yaml
$ kubectl apply  -f elasticsearch-client.configmap.yaml \
>                  -f elasticsearch-client.service.yaml \
>                  -f elasticsearch-client.deployment.yaml
configmap/elasticsearch-client-config created
service/elasticsearch-client created
deployment.apps/elasticsearch-client created

并验证一切是否正常运行：

kubectl get pods -n monitoring
$ kubectl get pods -n monitoring
NAME                                    READY   STATUS    RESTARTS   AGE
elasticsearch-client-55769c87ff-gbdcd   1/1     Running   0          53s
elasticsearch-data-0                    1/1     Running   0          9m31s
elasticsearch-master-7cb4f584cb-xndth   1/1     Running   0          120m

几分钟后，集群的每个节点应协调一致，master节点应记录以下语句： Cluster health status changed from [YELLOW] to [GREEN]。

kubectl logs -f -n monitoring \
>   $(kubectl get pods -n monitoring | grep elasticsearch-master | sed -n 1p | awk '{print $1}') \
>   | grep "Cluster health status changed from \[YELLOW\] to \[GREEN\]"

$ kubectl logs -f -n monitoring \

>   $(kubectl get pods -n monitoring | grep elasticsearch-master | sed -n 1p | awk '{print $1}') \

>   | grep "Cluster health status changed from \[YELLOW\] to \[GREEN\]"

{"type": "server", "timestamp": "2020-05-02T09:58:35,653Z", "level": "INFO", "component": "o.e.c.r.a.AllocationService", "cluster.name": "elasticsearch", "node.name": "elasticsearch-master", "message": "Cluster health status changed from [YELLOW] to [GREEN] (reason: [shards started [[.monitoring-es-7-2020.05.02][0]]]).", "cluster.uuid": "MM4ERegSQBS0NP-38oikxQ", "node.id": "PIVWXmPCQVWX9JwMNXBRGQ"  }

生成密码并存储在 k8s secret 中

我们启用了 xpack 安全模块以保护我们的集群，因此我们需要初始化密码。 执行以下命令，该命令在 client 节点容器（任何节点均可工作）中运行程序 bin/elasticsearch-setup-passwords 以生成默认用户和密码。

kubectl exec $(kubectl get pods -n monitoring | grep elasticsearch-client | sed -n 1p | awk '{print $1}') \
    -n monitoring \
    -- bin/elasticsearch-setup-passwords auto -b
$ kubectl exec $(kubectl get pods -n monitoring | grep elasticsearch-client | sed -n 1p | awk '{print $1}') \
>     -n monitoring \
>     -- bin/elasticsearch-setup-passwords auto -b
Changed password for user apm_system
PASSWORD apm_system = A7zRhBjDLZTSQo3D2hQN

Changed password for user kibana
PASSWORD kibana = fRWNTqNENUhZbmhddqsz

Changed password for user logstash_system
PASSWORD logstash_system = 8bDIJzF6fcnoNnEDaAmq

Changed password for user beats_system
PASSWORD beats_system = QhFlfb8q1MmC1ccn9aSx

Changed password for user remote_monitoring_user
PASSWORD remote_monitoring_user = k4l3YnFi0nIzlCS1F0rN

Changed password for user elastic
PASSWORD elastic = HvWqpeKSs6BznGG8aall

请注意 elastic 用户密码及添加它到 k8s secret 中，使用如下的命令：

kubectl create secret generic elasticsearch-pw-elastic \
    -n monitoring \
    --from-literal password=HvWqpeKSs6BznGG8aall

为了验证我们的 Elasticsearch 是否已经正常工作，我们使用如下的命令：

kubectl get svc -n monitoring
$ kubectl get svc -n monitoring
NAME                   TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)             AGE
elasticsearch-client   ClusterIP   10.111.73.231    <none>        9200/TCP,9300/TCP   9m12s
elasticsearch-data     ClusterIP   10.100.68.53     <none>        9300/TCP            9m46s
elasticsearch-master   ClusterIP   10.107.146.210   <none>        9300/TCP            12m

上面显示有一个叫做 elasticsearch-client 的服务，我们可以通过如下的方法来得到它的 url:

minikube service elasticsearch-client --url -n monitoring
$ minikube service elasticsearch-client --url -n monitoring
🏃  Starting tunnel for service elasticsearch-client.
|------------|----------------------|-------------|--------------------------------|
| NAMESPACE  |         NAME         | TARGET PORT |              URL               |
|------------|----------------------|-------------|--------------------------------|
| monitoring | elasticsearch-client |             | http://127.0.0.1:59481         |
|            |                      |             | http://127.0.0.1:59482         |
|------------|----------------------|-------------|--------------------------------|
http://127.0.0.1:59481
http://127.0.0.1:59482
❗  Because you are using docker driver on Mac, the terminal needs to be open to run it.

上面显示有两个 url 可以访问 Elasticsearch client。我们打开浏览器，并在浏览器中输入：http://127.0.0.1:59481

我们输入elastic及上面所得到的密码，然后点击Sign In：

上面显示我们的 Elasticsearch 是已经正常工作了。

Kibana 安装

本文的第二部分包括部署 Kibana，它是 Elasticsearch 的数据可视化插件，提供了管理 ElasticSeach 集群和可视化所有数据的功能。

在 k8s 中的设置方面，这与 Elasticsearch 非常相似，我们首先使用 ConfigMap 为我们的部署提供具有所有必需属性的配置文件。 这尤其包括对配置为环境变量的 Elasticsearch （主机，用户名和密码）的访问。

kibana.configmap.yaml

# kibana.configmap.yaml
---
apiVersion: v1
kind: ConfigMap
metadata:
  namespace: monitoring
  name: kibana-config
  labels:
    app: kibana
data:
  kibana.yml: |-
    server.host: 0.0.0.0

    elasticsearch:
      hosts: ${ELASTICSEARCH_HOSTS}
      username: ${ELASTICSEARCH_USER}
      password: ${ELASTICSEARCH_PASSWORD}
---

该 Service 将 Kibana 默认端口5601暴露给环境，并使用 NodePort 还将端口直接暴露在静态节点 IP 上，以便我们可以从外部访问它。

kibana.service.yaml

# kibana.service.yaml
---
apiVersion: v1
kind: Service
metadata:
  namespace: monitoring
  name: kibana
  labels:
    app: kibana
spec:
  type: NodePort
  ports:
  - port: 5601
    name: webinterface
  selector:
    app: kibana
---

最后，Deployment 部分描述了容器，环境变量和卷。 对于环境变量ELASTICSEARCH_PASSWORD，我们使用 secretKeyRef 从机密中读取密码。

kibana.deployment.yaml

# kibana.deployment.yaml
---
apiVersion: apps/v1
kind: Deployment
metadata:
  namespace: monitoring
  name: kibana
  labels:
    app: kibana
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kibana
  template:
    metadata:
      labels:
        app: kibana
    spec:
      containers:
      - name: kibana
        image: docker.elastic.co/kibana/kibana:7.6.2
        ports:
        - containerPort: 5601
          name: webinterface
        env:
        - name: ELASTICSEARCH_HOSTS
          value: "http://elasticsearch-client.monitoring.svc.cluster.local:9200"
        - name: ELASTICSEARCH_USER
          value: "elastic"
        - name: ELASTICSEARCH_PASSWORD
          valueFrom:
            secretKeyRef:
              name: elasticsearch-pw-elastic
              key: password
        volumeMounts:
        - name: config
          mountPath: /usr/share/kibana/config/kibana.yml
          readOnly: true
          subPath: kibana.yml
      volumes:
      - name: config
        configMap:
          name: kibana-config
---

现在，让我们应用这些文件来部署 Kibana：

kubectl apply  -f kibana.configmap.yaml \
                 -f kibana.service.yaml \
                 -f kibana.deployment.yaml
$  kubectl apply  -f kibana.configmap.yaml \
>                  -f kibana.service.yaml \
>                  -f kibana.deployment.yaml
configmap/kibana-config created
service/kibana created
deployment.apps/kibana created

几分钟后，检查状态 Status changed from yellow to green：

kubectl logs -f -n monitoring $(kubectl get pods -n monitoring | grep kibana | sed -n 1p | awk '{print $1}') \
     | grep "Status changed from yellow to green"

$ kubectl logs -f -n monitoring $(kubectl get pods -n monitoring | grep kibana | sed -n 1p | awk '{print $1}') \

>      | grep "Status changed from yellow to green"

{"type":"log","@timestamp":"2020-05-02T10:23:26Z","tags":["status","plugin:elasticsearch@7.6.2","info"],"pid":6,"state":"green","message":"Status changed from yellow to green - Ready","prevState":"yellow","prevMsg":"Waiting for Elasticsearch"}

一旦日志显示为 “green”，您就可以从浏览器访问 Kibana。

minikube ip
$ minikube ip
127.0.0.1

还要运行以下命令以查找在哪个外部端口上映射了 Kibana 的端口5601

kubectl get service kibana -n monitoring
$ kubectl get service kibana -n monitoring
NAME     TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
kibana   NodePort   10.108.208.162   <none>        5601:31285/TCP   4m25s

我们通过如下的方式找到 Kibana 服务的外部链接：

minikube service kibana --url -n monitoring
$ minikube service kibana --url -n monitoring
🏃  Starting tunnel for service kibana.
|------------|--------|-------------|------------------------|
| NAMESPACE  |  NAME  | TARGET PORT |          URL           |
|------------|--------|-------------|------------------------|
| monitoring | kibana |             | http://127.0.0.1:59869 |
|------------|--------|-------------|------------------------|
http://127.0.0.1:59869
❗  Because you are using docker driver on Mac, the terminal needs to be open to run it.

在浏览器中输入以上地址：http://127.0.0.1:59869

我们把上面获得的 Kibana 的密码 HvWqpeKSs6BznGG8aall 输入进去（在上一节中可以找到这个密码。这个和 Elasticsearch 是一样的密码）：

在继续之前，我建议您忘记 elastic 用户（仅用于跨服务访问），并创建一个专用用户来访问 Kibana。 转到 Management>Security>User，然后单击 Create User：

点击 Create User:

点击 Create User 按钮：

我们接着点击 Stack Monitoring 来查看我们的集群的健康状况：

总而言之，我们现在拥有一个随时可用的 Elasticsearch + Kibana 堆栈，可用于存储和可视化我们的基础架构和应用程序数据（指标，日志和跟踪）。

下一步

在接下来的文章中，我们将学习如何安装并配置 Metricbeat：通过 Metricbeat 收集指标信息并监控 Kubernetes。请详细参阅 “运用 Elastic Stack 对 Kubernetes 进行监控 （三）”。

Elastic 中国社区官方博客
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
博客
Elastic 线下 Meetup 将于 2024 年 4 月 27 号在重庆举办
04-12 1344
2024 Elastic Meetup 重庆站活动，由 Elastic、新智锦绣联合举办，现诚邀广大技术爱好者及开发者参加。
博客
Elasticsearch：ES|QL 动手实践
11-14 1562
在我之前的文章 “”，我对 Elasticsearch 的最新查询语言 ES|QL 做了一个简单的介绍。在今天的文章中，我们详细来使用一些例子来展示 ES|QL 强大的搜索与分析功能。
博客
Elastic：如何成为一名 Elastic 认证工程师，Elastic 认证分析师及 Elastic 认证可观测性工程师
10-28 2万+
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
博客
Elastic：开发者上手指南
02-25 14万+
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster, n..........................................................
博客
Elastic：培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全
01-06 1万+
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...............
博客
Elasticsearch 简介
08-08 16万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
博客
从 Elastic 的 Go APM 代理迁移到 OpenTelemetry Go SDK
04-19 576
正如，Elastic 致力于帮助 OpenTelemetry（OTel）取得成功，这意味着在某些情况下构建语言 SDK 的分发版本。Elastic 在观察性和安全数据收集方面战略性地选择了 OTel 标准。此外，Elastic 承诺与 OTel 社区合作，成为观察性生态系统中最佳的数据收集基础设施。Elastic 正在加深与 OTel 的合作关系，超越了最近将（invokedynamic）以及。
博客
Elasticsearch：使用向量化和 FFI/madvise 加速 Lucene
04-18 694
在 Lucene 领域，我们一直热切地采用新版本 Java 的功能。这些功能使 Lucene 更接近 JVM 和底层硬件，从而提高了性能和稳定性。这使得 Lucene 保持现代化和具有竞争力。Lucene 的下一个主要版本，Lucene 10，将需要至少 Java 21。让我们看看我们为什么要这样做以及它将如何惠及 Lucene。
博客
Elasticsearch：简化 KNN 搜索
04-18 2103
在这篇博客文章中，我们将深入探讨我们为了使 KNN 搜索的入门体验变得更加简单而做出的努力！我们在 Elastic 处理 knn 搜索的方式在不断进化，我们持续引入新功能和改进，因此这些参数和整体评估很可能很快就会过时！我们总是在密切关注，一旦发生变化，我们将确保跟进并相应调整我们的配置！需要记住的一件重要事情是，这些值仅作为简化入门体验和非常通用用例的合理默认值。用户可以轻松地在自己的数据集上进行实验，并根据自己的需求进行相应调整（例如，在某些情况下，召回率可能比延迟更重要）。
博客
追溯历史：SIEM 中的生成式人工智能革命
04-17 910
网络安全领域仿佛是现实世界的一个映射，安全运营中心（security operation center - SOC）就像是你的数字警察局。网络安全分析师就像是警察，他们的工作是阻止网络犯罪分子对组织发起攻击，或者在他们尝试攻击时将其阻止。当发生攻击时，类似于数字侦探的事件响应人员会从多个不同的来源收集线索，以确定事件的顺序和细节，然后制定补救计划。为了实现这一目标，团队需要将许多（有时是数十个）产品结合起来，以确定攻击的全貌并识别如何在业务遭受损失和损害之前停止威胁。
博客
Elasticsearch：如何将 MongoDB 数据引入 Elastic Cloud
04-17 1243
​Elastic Cloud 是由 Elastic 提供的基于云的托管服务。Elastic Cloud 允许客户在亚马逊网络服务 (AWS)、谷歌云平台 (GCP) 和微软 Azure 上部署、管理和扩展他们的 Elasticsearch 集群。MongoDB 是一种流行的 NoSQL 文档导向数据库，它以类似 JSON 的文档形式存储数据。以下是使用 Elastic MongoDB 连接器将数据从 MongoDB 数据库导入并同步到 Elasticsearch 的逐步指南。
博客
Elasticsearch .NET 客户端的演变
04-16 880
在 .NET 世界中，与 Elasticsearch 的集成长期以来一直由 NEST 库提供支持，该库作为开发人员与 Elasticsearch 强大的搜索和分析功能进行交互的强大接口。NEST 是出于对 Elasticsearch 本地 .NET 客户端的需求而诞生的，由于其丰富的功能集和无缝的集成能力，很快就受到了开发人员的欢迎。在的近 14 年时间里，NEST 一直忠实地跟踪 Elasticsearch 的发布。
博客
RAG (Retrieval Augmented Generation) 结合 LlamaIndex、Elasticsearch 和 Mistral
04-16 1245
在这篇文章中，我们将讨论如何使用 RAG 技术（检索增强生成）和 Elasticsearch 作为向量数据库来实现问答体验。我们将使用 LlamaIndex 和本地运行的 Mistral LLM。
博客
向量数据库与图数据库：理解它们的区别
04-16 1080
向量数据库将数据组织成广阔的、多维空间中的点，而不是行和列。每个点代表一条数据，其位置反映了它相对于其他数据的特征。可以将其想象成一个宇宙，其中每颗行星都是一条数据，它们被组织成与相似的行星更近，与相似度较低的行星更远的方式。它通过将数据存储为高维向量来实现这一点，这些向量是数据特征的数值表示。这些向量捕捉了它们所代表的数据的本质，这就是它们如何能够在多维空间内进行编码和组织的原因。在多维空间中，两个点越接近，它们的基础数据就越相似。这就是为什么向量数据库擅长相似性搜索的原因。
博客
NLP vs. LLMs: 理解它们之间的区别
04-15 8422
随着人工智能持续发展并在无数行业解决问题，技术的一个关键部分是能够无缝地桥接人类语言和机器理解之间的差距。这就是自然语言处理（NLP）和大型语言模型（LLMs）的用武之地。它们提供了独特而专业的方法，将人类沟通的力量与软件和机器连接起来。简单来说，NLP 和 LLMs 使我们能够与软件进行类似人类的对话。NLP 是翻译者，基于定义的规则和结构分析和操作人类语言。这使得机器能够理解语法、句法和上下文的细微差别，从而能够计算情感、提取信息和进行机器翻译。LLMs 则是大脑。通过大量的文本数据驱动，它
博客
改进 Elastic Agent 和 Beats 中的事件队列
04-15 1628
​在 8.12 版本中，我们引入了性能预设 —— 一种更简单的方法，用于调整 Elastic Agent 和 Beats 以适应各种场景。这提高了常见环境的性能，而过去通常需要进行详细调整。从 8.13 版本开始，我们专注于改进我们的内部库，以更好地支持这些预设。其结果是我们的内部事件队列进行了重写，为所有 Beats 带来了降低的内存使用。在我们的内部基准测试套件中，Filebeat 8.13 在所有预设上显示出大约 20% 的内存减少。在这篇文章中，我们将探讨如何实现这一点。
博客
ChatGPT 和 Elasticsearch：使用 Elastic 数据创建自定义 GPT
04-14 6207
​ChatGPT Plus 订阅者现在有机会创建他们自己的定制版 ChatGPT，称为 GPT，这替代了之前博客文章中讨论的插件。基于本系列的第一部分的基础 —— 我们深入探讨了在 Elastic Cloud 中设置 Elasticsearch 数据和创建向量嵌入 —— 这篇博客将指导你完成开发一个定制的 GPT 的过程，该 GPT 旨在与你的 Elasticsearch 数据无缝交互。
博客
在 Elasticsearch 中扩展 ML 推理管道：如何避免问题并解决瓶颈
04-13 1432
是时候考虑语义搜索运营了吗？无论你是一位经验丰富的搜索工程师，希望探索新的人工智能功能，还是一位机器学习专家，希望更多地利用搜索基础设施来增强语义相似性模型 —— 充分利用这些领域的交集可能需要熟悉一些新概念。虽然 Elasticsearch 提供了一些快速启动指南，比如（或者对于本地的 Elasticsearch, 你可以参考 “”），但当你希望扩展推理过程时，会引入更多的配置选项。
博客
Elasticsearch：从 ES|QL 到 PHP 对象
04-10 2509
​从 elasticsearch-php v8.13.0 开始，你可以执行 ES|QL查询并将结果映射到 stdClass 或自定义类的 PHP 对象。我们可以使用 esql()->query() 端点在 PHP 中执行 ES|QL 查询。该查询的结果是一个表数据结构。这是使用 columns 和 valuse 字段以 JSON 形式表示的。在 columns 字段中，我们有 name 和 type 定义。]);
博客
Elastic 现在提供 OpenTelemetry SDK 的发行版
04-10 1089
OpenTelemetry 是一个厂商中立的可观测性框架和工具包，支持在应用程序和分布式微服务架构中的跟踪、指标和日志等遥测信号。OpenTelemetry 是由一系列标准推动的，旨在提供一致的方法来监测和观察应用程序行为。OpenTelemetry 是在云原生计算基金会（CNCF）的保护伞下孵化的项目，目前是第二活跃的项目，仅次于 Kubernetes。你可以在OpenTelemetry 网站上阅读更多关于采用 OpenTelemetry 的概念、术语和技术的内容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值