ELK日志分析平台(一)—elasticsearch的安装和配置

最新推荐文章于 2024-04-29 23:08:33 发布
最新推荐文章于 2024-04-29 23:08:33 发布
阅读量603 收藏
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch elk 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41056224/article/details/126747214
版权

一、ELK简介

        ELK是elasticsearch、logstash、kibana的组合简称。其中elasticsearch主要用来存储检索数据和数据处理；logstash主要用来数据采集和过滤然后给es；kibana主要从es里面加载数据然后展示。

        Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎，它具有一般用于：信息检索、日志分析、业务数据分析、数据库加速、运维指标监控。具有如下特点：

    一个分布式的实时文档存储，每个字段可以被索引与搜索；

    一个分布式实时分析搜索引擎；

    能胜任上百个服务节点的扩展，并支持 PB 级别（pb指petabyte，它是较高级的存储单位）的结构化或者非结构 化数据。

Elasticsearch的基础模块包括：

        cluster: 管理集群状态,维护集群层面的配置信息；

        alloction: 封装了分片分配相关的功能和策略；

        discovery: 发现集群中的节点,以及选举主节点；

        gateway: 对收到master广播下来的集群状态数据的持久化存储；

        indices: 管理全局级的索引设置；

        http: 允许通过JSON over HTTP的方式访问ES的API；

        transport: 用于集群内节点之间的内部通信；

        engine: 封装了对Lucene的操作及translog的调用。

二、安装elasticsearch

官网：免费且开放的搜索：Elasticsearch、ELK 和 Kibana 的开发者 | Elastic

环境说明：使用三台机器做集群架构，每台2G内存（有锁定内存）

安装：Installing Elasticsearch | Elasticsearch Guide [8.4] | Elastic

软件包下载：下载中心 - Elastic 中文社区

##可以选择直接下载安装，也可以选择下载好安装包后安装---->我们选后者
##安装7.6版本-->该版本中含有jdk的软件包，不需要再次安装
rpm -ivh elasticsearch-7.6.1-x86.rmp

##配置主配置文件：vim /etc/elasticsearch/elasticsearch.yml
----------------------------------------------------------
cluster.name:myes                     --集群名字
node.name: server1                    --节点名字
path.data: /var/lib/elasticsearch     --数据目录；
path.logs: /var/log/elasticsearch     --日志目录
network.host: 0.0.0.0.0               --监听本机所有接口
http.port: 9200                       --http的服务端口：9200
discover.seed_hosts:["server1","server2","server3"]  --设定集群中的主节点
cluster.initial_master_nodes: ["server1"]            --集群引导时的初始节点
----------------------------------------------------------

##vm.option是一些程序里边的java的配置参数的一个集合，jvm.options文件里面设定了锁定内存为1G
-----------------------------------------------------------------
-Xms1g
-Xmx1g
-----------------------------------------------------------------

##修改系统限制 vim /etc/security/limits.conf，设定最大打开文件数和进程数
-----------------------------------------------------------------
elasticsearch    soft memlock unlimited
elasticsearch    hard memlock unlimited
elasticsearch - nofile 65536
elasticsearch - nproc 4096
-----------------------------------------------------------------

[注]：max-file：表示系统级别的能够打开的文件句柄①的数量

        文件句柄：在 Linux 环境中，任何事物都是用文件来表示，设备是文件，目录是文件，socket 也是文件。用来表示所处理对象的接口和唯一接口就是文件。应用程序在读/写一个文件时，首先需要打开这个文件，打开的过程其实质就是在进程与文件之间建立起连接，句柄的作用就是唯一标识此连接。此后对文件的读/写时，目标文件就由这个句柄作为代表。最后关闭文件其实就是释放这个句柄的过程，使得进程与文件之间的连接断开。

##查看系统本身的信息
sysctl -a | grep file

##修改systemd启动文件vim /usr/lib/systemd/system/elasticsearch.service
--------------------------------------------
[service]
 LimitMEMLOCK=infinity
--------------------------------------------

##刷新设置
systemctl daemon-reload

##关闭交换分区：关闭所有配置文件的交换空间
swapoff -a 

##设置elasticsearch开机自己，
systemctl enable --now elasticsearch.service

##网页访问:http://192.168.19.71:9200

 三、搭建elasticsearch集群

在server2\3上分别操作

##安装软件包
rpm -ivh elasticsearch-7.6.1-x86.rmp

##主配置文件修改
scp /etc/elasticsearch/elasticsearch.yml server2:/etc/elasticsearch/elasticsearch.yml
-------------------------------------------
node.name: server2   --其他均不变
-------------------------------------------

##修改server2、server3的系统安全限制 ：/etc/security/limits.conf 
-----------------------------------------------------------------
elasticsearch    soft memlock unlimited
elasticsearch    hard memlock unlimited
elasticsearch - nofile 65536
elasticsearch - nproc 4096
-----------------------------------------------------------------
##修改systemd启动文件vim /usr/lib/systemd/system/elasticsearch.service
--------------------------------------------
[service]
 LimitMEMLOCK=infinity
--------------------------------------------

##刷新设置
systemctl daemon-reload

##关闭交换分区：关闭所有配置文件的交换空间
swapoff -a 

##重启服务
systemctl enable --now elasticsearch

##访问测试页:http://192.168.19.71:9200

 四、elasticsearch的图形化界面

4.1 cerebro

        cerebro是镜像，需要docker的引擎。但是红帽8自带podman，所以在真机导入镜像：podman run -d --name cerebro -p 9000:9000 lmenezes/cerebro（加-d有可能会出现问题）运行该镜像，默认开放9000端口。然后访问网页即可：http://192.168.19.71:9200

##通过压缩包进行配置
wget https://github.com/lmenezes/cerebro/releases/download/v0.8.1/cerebro-0.8.1.tgz
tar xzf cerebro-0.8.1.tgz

##启动
cerebro-0.8.1/bin/cerebro
[info] play.api.Play - Application started (Prod)
[info] p.c.s.AkkaHttpServer - Listening for HTTP on /0:0:0:0:0:0:0:0:9000

##指定端口
bin/cerebro -Dhttp.port=8080

##配置服务器--非必须：如果经常使用的话，可以先在conf/application.conf中配置好ElasticSearch服务器地址
--------------------------------------------
hosts = [
  {
    host = "http://192.168.19.71:9200"
    name = "Some Cluster"
  },
  # Example of host with authentication
  #{
  #  host = "http://some-authenticated-host:9200"
  #  name = "Secured Cluster"
  #  auth = {
  #    username = "username"
  #    password = "secret-password"
  #  }
  #}
]
--------------------------------------------

##使用：浏览器打开连接http://192.168.58.101:9000

4.2 header

        下载elasticsearch-head插件，官网点击，head插件本质上是一个nodejs的工程，因此需要安装nodejs，点击

##获取安装包，并安装
wget https://github.com/mobz/elasticsearch-head/archive/master.zip
wget https://mirrors.tuna.tsinghua.edu.cn/nodejs-release/v9.11.2/node-v9.11.2-linux-x64.tar.gz

yum install -y unzip   --解压master.zip
unzip master.zip
tar zxf node-v9.11.2-linux-x64.tar.gz

##安装elasticsearch的插件
##更换npm源安装--进入解压目录elasticsearch-head-master，由于npm慢，所以更换为cnpm源。查看版本号
cd elasticsearch-head-master/
npm install -g cnpm --registry=https://registry.nmp.taobao.org
cnmp -v 

##安装bzip2 -->cnmp的依赖
yum  install bzip2
##修改配置
##修改ES主机ip和端口: vim _site/app.js
------------------------------------------------------
修改主机的IP和端口：
192.168.19.71：9200
------------------------------------------------------

##启动head
cnmp run start &

##通过网页可以访问：http：//192.168.19.71:9100

##vim /etc/elasticsearch/elasticsearch.yml
-------------------------------------------
##修改为跨域支持
http.cors.enabled: true         ----是否支持跨域
http.cors.allow-origin: “*”     ----表示支持所有域名
-------------------------------------------

##重启服务
systemctl restart elasticsearch.service

##网页再次访问：192.168.19.71：9100
##网页监控：192.168.19.71：9200

五、elasticsearch的节点角色

分类作用
Master        主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader
Data Node        主要负责集群中数据的索引和检索，一般压力比较大
coordinating Node        原来的Client node的，主要功能是来分发请求和合并结果的。所有节点默认就是Coordinating node，且不能关闭该属性
Ingest Node        专门对索引的文档做预处理

        在生产环境中，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。

   角色属性的控制：--默认情况下这些属性的值都是true

    node.master：这个属性表示节点是否具有成为主节点的资格（注意：此属性的值为true，并不意味着这个节点就是主节点，只意味着有成为主节点的资格。因为真正的主节点，是由多个具有主节点资格的节点进行选举产生的）；

   node.data：这个属性表示节点是否存储数据；

   node.ingest： 是否对文档进行预处理；

   search.remote.connect： 是否禁用跨集群查询；

##配置server1只做master节点
##vim /etc/elasticsearch/elasticsearch.yml
------------------------------------------------
noda.data: false
------------------------------------------------

##因为之前启动过，所以节点上有数据，此时还需要清理数据：cat /var/log/elasticsearch/my.es.log
##查看Elasticsearch安装目录
rpm -ql elasticsearch        

##清理    ---之前的数据会同步到其他节点
cd /usr/share/elasticsearch/bin
./elasticsearch-node repurpose

##启动elasticsearch服务
systemctl restart elasticsearch.service

参考文章：https://www.jianshu.com/p/433d821f9667

Hemi Fate
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELK日志分析平台搭建全过程
02-24
当生产环境有很多服务器、很多业务模块的日志需要每时每刻查看时系统：centos6.5JDK：1.8Elasticsearch-5.0.0Logstash-5.0.0kibana-5.0.01、安装JDK下载JDK：...将安装包拷贝至安装服务器/usr/local目录[root@localhost...
EKL日志分析平台-kibana数据可视化
weixin_60551759的博客
12-27 1174
简介 kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。 ...
【网络摘抄】开源日志解决方案ELK
the_fool_的博客
10-16 294
--原文地址 ELK简介： ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。 Elasticsearch 是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，
企业级日志分析平台（八）：ELKStack之极速入门（上）
anp4077的博客
07-23 515
一，EKL介绍 1.1 需求背景 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一...
springboot整合log4j2
小白向上爬的博客
12-22 664
springboot+log4j2 1：maven下载jar包 <!-- log4j2--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-log4j2</artifactId> </dependency>
elk之elasticsearch安装与配置
daiyudong2020的博客
04-07 1510
1.术语讲解 cluster：集群 Node:节点 Index:类似mysql的database Type:类似mysql的table Doccument:内容 Shard:数据分片，shard的最大默认Doccument数是2,147,483,519 Replicas:数据副本数，查询时也会用到，不仅仅是备份 2.安装 (a)logstash运行依赖jr
ELKF之elasticsearch安装配置
细细的小破砖
07-18 594
ELKF之elasticsearch安装配置 第三方依赖 下载安装 配置 配置系统参数 配置环境变量 配置 启动管理ELKF之elasticsearch安装配置第三方依赖 java运行环境 java8及以上（ Java 1.8.0_73 以上） 下载安装 官方下载地址 https://www.elastic.co/downloads/elasticsearch 普通用户安装es5.5 root
【Elasticsearch7.0】之日志配置(转载)
Mrerlou的博客
09-10 1545
前言 最近发现线上的es集群日志数量有点多，且过于冗余。于是今天对es的日志的配置重新配置一下。 我这边的配置就是参考了下文。参考链接：http://www.chaiguanxin.com/articles/2019/05/30/1559202725366.html 日志配置 es使用log4j2来处理日志。可以在log4j2.properties文件里面修改日志的一些配置。es提供了3个属性，分别是：${sys:es.logs.base_path}, ${sys:es.logs.cluster_name}
Elasticsearch慢查询日志配置
weixin_30952535的博客
09-26 767
Elasticsearch慢查询日志配置https://blog.csdn.net/donghaixiaolongwang/article/details/79208457 转载于:https://www.cnblogs.com/ytys/p/9706478.html
elk日志平台搭建——elasticsearch6.3.2安装配置
草莓甜甜圈的博客
08-22 2111
本文部分内容引用参考http://www.linuxe.cn/post-295.html ELK平台全套搭建可参考此帖https://blog.csdn.net/qq_39626154/article/details/82109107 什么是ELK STACK： ELK Stack是Elasticserach、Logstash、Kibana三种工具组合而成的一个栈。ELK可以将我们的系统日志...
ELK(ElasticSearch,Logstash,Kibana)搭建实时日志分析平台
01-29
在搜索ELK资料的时候，发现这篇文章比较好，于是摘抄一小段： 以下内容来自：http://baidu.blog.51cto.com/71938/1676798日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器...
使用ELK搭建日志集中分析平台实践
01-27
Elasticsearch+Logstash+Kibana（ELK）是一套开源的日志管理方案，分析网站的访问情况时我们...Logstash：负责日志的收集，处理和储存Elasticsearch：负责日志检索和分析Kibana：负责日志的可视化ELK(Elasticsearch+
elasticsearch做为日志中心的配置及优化
哇哦~
11-10 1181
Hot-warm-cold architecture with Elasticsearchhttps://ptran32.github.io/2020-08-08-hot-warm-cold-elasticsearch/ Implementing Hot-Warm-Cold in Elasticsearch with Index Lifecycle Management | Elastic Bloghttps://www.elastic.co/blog/implementing-hot-warm-co
ELK日志分析监控平台
热门推荐
派大星的不眠博客
02-21 1万+
日志对于分析系统、应用的状态十分重要，但一般日志的量会比较大，并且比较分散。 如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。
elk(elasticsearch+logstash+kibana)搭建日志监控平台
who_I_am__的博客
11-05 3608
基于 ELK（Elasticsearch、Logstash、Kibana）技术栈搭建了一个日志监控平台。
ELK日志分析系统搭建
mwx17630337353的博客
03-07 1340
奶妈级ELK日志分析系统搭建
ELK日志分析平台 1 （elasticsearch的安装与配置）
qq_38664479的博客
12-22 968
目录一、日志分析系统ELK实战1. elasticsearch 简介2. 基础模块3. elasticsearch应用场景二、elasticsearch安装与配置 一、日志分析系统ELK实战 ELK是elasticsearch、logstash、kibana的组合简称。安装时，需要注意：三个软件的版本需要匹配。 其中elasticsearch主要用来存储检索数据和数据处理；logstash主要用来数据采集和过滤然后给es；kibana主要从es里面加载数据然后展示。 1. elasticsearch 简介
Elasticsearch - 配置详解
kfcman的专栏
11-27 100
1.1. 基本配置 elasticsearch 的config文件夹里面有两个配置文 件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配 置文件，es也是使用log4j来记录日 志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下 elasticsearch.yml这个文件中可配置的东西。 clu...
Elasticsearch中【文档查询】DSL语句以及对应的Java实现
最新发布
m0_69594200的博客
04-29 688
Elasticsearch提供了基于JSON的DSL（）来定义查询。：查询出所有数据，一般测试用。例如：match_all：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。例如：：根据精确词条值查找数据，一般是查找keyword、数值、日期、boolean等类型字段。例如：idsrangeterm：根据经纬度查询。例如：：复合查询可以将上述各种查询条件组合起来，合并查询条件。例如：bool。
elk流量分析平台搭建步骤
09-08
搭建ELK（Elasticsearch, Logstash, Kibana）流量分析平台的步骤如下： 步骤1：安装Elasticsearch - 下载并安装Elasticsearch，根据操作系统的不同，安装过程可能会有所不同。 - 配置Elasticsearch的相关参数，如...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值