linux—ELK

最新推荐文章于 2021-02-25 11:24:07 发布
最新推荐文章于 2021-02-25 11:24:07 发布
阅读量223 收藏
点赞数
分类专栏： Linux 文章标签： ELKstack Elasticsearc Logstash Kibana
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FYRXP/article/details/106796587
版权

一、elasticsearch实战

1. elasticsearch简介

  • Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。
  • Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎：
  • 一个分布式的实时文档存储，每个字段 可以被索引与搜索
  • 一个分布式实时分析搜索引擎
  • 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据

基础模块：

  • cluster：管理集群状态，维护集群层面的配置信息。
  • alloction：封装了分片分配相关的功能和策略。
  • discovery：发现集群中的节点，以及选举主节点。
  • gateway：对收到master广播下来的集群状态数据的持久化存储。
  • indices：管理全局级的索引设置。
  • http：允许通过JSON over HTTP的方式访问ES的API。
  • transport：用于集群内节点之间的内部通信。
  • engine：封装了对Lucene的操作及translog的调用。

elasticsearch应用场景 :

  • 信息检索
  • 日志分析
  • 业务数据分析
  • 数据库加速
  • 运维指标监控

2. elasticsearch安装与配置

软件下载：

https://elasticsearch.cn/download/

安装软件：

rpm -ivh jdk-8u171-linux-x64.rpm 
rpm -ivh elasticsearch-7.6.1.rpm    //7.6版本以上自带jdk

设置服务自启： 

systemctl daemon-reload 
systemctl enable elasticsearch

修改配置文件： 

vim /etc/elasticsearch/elasticsearch.yml

修改系统限制： 

vim /etc/security/limits.conf 


vim /etc/elasticsearch/jvm.options

注：Xms设置不超过物理RAM的50%，以确保有足够的物理RAM留给内核文件系统缓存，但不要超过32G。 

修改systemd启动文件：

vim /usr/lib/systemd/system/elasticsearch.service ##在service模块添加

启动：

systemctl daemon-reload
systemctl start elasticsearch

 测试访问:

3. elasticsearch插件安装

下载elasticsearch-head插件

wget https://github.com/mobz/elasticsearch-head/archive/master.zip 
unzip elasticsearch-head-master.zip

head插件本质上是一个nodejs的工程，因此需要安装node：

wget \
https://mirrors.tuna.tsinghua.edu.cn/nodesource/rpm_9.x/el/7/x86_64/nodejs-9.11.2-1nodesource.x86_64.rpm   ##下载
rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm


node -v 
npm -v  ##查看版本，确定安装成功

更换npm源安装：

cd elasticsearch-head-master/ 
npm install  --registry=https://registry.npm.taobao.org

下载phantomjs并解压:

将文件复制到bin目录下:

执行npm install:

修改ES主机ip和端口： 

vim ~/elasticsearch-head/_site/app.js

启动head插件： 

npm run start &

修改ES跨域主持： 

vim /etc/elasticsearch/elasticsearch.yml

重启ES服务 :

systemctl restart elasticsearch.service

访问head插件服务： 

head插件默认监听9100端口（可修改elasticsearch-head下Gruntfile.js文件）

4. elasticsearch分布式部署

以相同的方法再安装两个ES节点(只安装elasticsearch)，配置如下：

node2:

node3:

 

查看节点状态:

5. elasticsearch节点角色

Master：

    主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。

Data Node：

    主要负责集群中数据的索引和检索，一般压力比较大。

Coordinating Node：

    原来的Client node的，主要功能是来分发请求和合并结果的。所有节点默认就是Coordinating node，且不能关闭该属性

Ingest Node：

    专门对索引的文档做预处理

 6. elasticsearch节点优化

    在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。
    默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。

节点角色是由以下属性控制：

node.master:  false|true      

    这个属性表示节点是否具有成为主节点的资格     注意：此属性的值为true，并不意味着这个节点就是主节点。     因为真正的主节点，是由多个具有主节点资格的节点进行选     举产生的。  

node.data:  true|false

    这个属性表示节点是否存储数据

node.ingest:  true|false

    是否对文档进行预处理。

search.remote.connect: true|false  

    是否禁用跨集群查询

默认情况下这些属性的值都是true。

第一种组合：（默认）

node.master: true

node.data: true

node.ingest:  true

search.remote.connect: true

这种组合表示这个节点即有成为主节点的资格，又存储数据。 如果某个节点被选举成为了真正的主节点，那么他还要存储数据，这样对于这个节点的压力就比较大了。 测试环境下这样做没问题，但实际工作中不建议这样设置。

第二种组合：（Data node）

node.master: false

node.data: true

node.ingest: false

search.remote.connect: false

这种组合表示这个节点没有成为主节点的资格，也就不参与选举，只会存储数据。 这个节点称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。

第三种组合：（master node）

node.master: true

node.data: false

node.ingest: false

search.remote.connect: false

这种组合表示这个节点不会存储数据，有成为主节点的资格，可以参与选举，有可能成为真正的主节点。 这个节点我们称为master节点。

第四种组合：（Coordinating Node）

node.master: false

node.data: false

node.ingest: false

search.remote.connect: false

这种组合表示这个节点即不会成为主节点，也不会存储数据， 这个节点的意义是作为一个协调节点，主要是针对海量请求的时候可以进行负载均衡。

第五种组合：（Ingest Node）

node.master: false

node.data: false

node.ingest: true

search.remote.connect: false

这种组合表示这个节点即不会成为主节点，也不会存储数据， 这个节点的意义是ingest节点，对索引的文档做预处理。

生产集群中可以对这些节点的职责进行划分:

  •     建议集群中设置3台以上的节点作为master节点，这些节点只负责成为主节点，维护整个集群的状态。
  •     再根据数据量设置一批data节点，这些节点只负责存储数据，后期提供建立索引和查询索引的服务，这样的话如果用户请求比较频繁，这些节点的压力也会比较大。
  •     所以在集群中建议再设置一批协调节点，这些节点只负责处理用户请求，实现请求转发，负载均衡等功能。

各类节点对资源的需求:

master节点：普通服务器即可(CPU、内存 消耗一般)

data节点：主要消耗磁盘、内存。 path.data: data1,data2,data3     这样的配置可能会导致数据写入不均匀，建议只指定一个数据路径，磁盘可以使用raid0阵列，而不需要成本高的ssd。

Coordinating节点：对cpu、memory要求较高。

二、logstash数据采集

1. Logstash简介

  • Logstash是一个开源的服务器端数据处理管道。
  • logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（大多都是 Elasticsearch。）
  • Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。

 

输入：

    采集各种样式、大小和来源的数据  Logstash 支持各种输入选择 ，同时从众多常用来源捕捉事件。 能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

过滤器：

    实时解析和转换数据 数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。     利用 Grok 从非结构化数据中派生出结构     从 IP 地址破译出地理坐标     将 PII 数据匿名化，完全排除敏感字段     简化整体处理，不受数据源、格式或架构的影响

输出：

    选择您的存储库，导出您的数据  尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。 Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。

2. Logstash安装与配置

软件下载:

https://elasticsearch.cn/download/

推荐  https://mirrors.tuna.tsinghua.edu.cn/elasticstack/yum/elastic-7.x/7.7.1/

logstash安装:

rpm -ivh jdk-8u201-linux-x64.rpm

rpm -ivh logstash-7.7.1.rpm 

ln -s /usr/share/logstash/bin/logstash /usr/bin/  ##软连接

标准输入到标准输出:

logstash -e 'input { stdin { } } output { stdout {}

3. file输出插件

标准输入到文件:

vim /etc/logstash/conf.d/file.conf

指定配置文件运行:

ogstash -f /etc/logstash/conf.d/file.conf

在标准输入中键入"hi linux"后可以查看：

cat /tmp/logstash.txt

4. elasticsearch输出插件

标准输入到es主机：  

vim /etc/logstash/conf.d/es.conf


 input {
         stdin { }
 }
 output {
         elasticsearch {
 #       输出到的ES主机与端口
                 hosts => "192.168.1.101:9200"
 #        定制索引名称
                 index => "logstash-%{+YYYY.MM.dd}"
         }
 }
logstash -f /etc/logstash/conf.d/es.conf

查看es状态 :

5. file输入插件 

把文件内容输出到es主机:

vim /etc/logstash/conf.d/es.conf


logstash -f /etc/logstash/conf.d/es.conf

查看es:

logstash如何区分设备、文件名、文件的不同版本  

logstash会把进度保存到sincedb文件中

find / -name .sincedb* 
cd /usr/share/logstash/data/plugins/inputs/file/ 
cat .sincedb_452905a167cf4509fd08acb964fdb20c 
ls -i /var/log/messages

sincedb文件内容解释:

sincedb文件一共6个字段:

  1. inode编号
  2. 文件系统的主要设备号
  3. 文件系统的次要设备号
  4. 文件中的当前字节偏移量
  5. 最后一个活动时间戳（浮点数）
  6. 与此记录匹配的最后一个已知路径

6. Syslog输入插件

logstash可以伪装成日志服务器，直接接受远程日志 

vim /etc/logstash/conf.d/syslog.conf   ##日志采集端口定义为514

指定配置文件运行:

logstash -f /etc/logstash/conf.d/syslog.conf


netstat -antulp |grep :514

配置客户端传入日志:

vim /etc/rsyslog.conf   

systemctl restart rsyslog

查看logstash输出:

7. 多行过滤插件

多行过滤可以把多行日志记录合并为一行事件 

vim /etc/logstash/conf.d/multiline.conf  

 input {
         stdin {
         codec => multiline {
                 pattern => "^EOF"    ##以EOF为结束
                 negate => true
                 what => previous
                 }
         }
 }
 
 output {
         stdout {}
 }

指定配置文件运行:

logstash -f /etc/logstash/conf.d/multiline.conf

查看输出:

8. grok过滤插件

grok过滤

vim /etc/logstash/conf.d/grok.conf

指定配置文件运行:

logstash -f /etc/logstash/conf.d/grok.conf

查看输出:

apache服务日志过滤实战 :

vim /etc/logstash/conf.d/apache.conf

 input {
         file {
                 path => "/var/log/httpd/access_log"
                 start_position => "beginning"
         }
 }
 filter{
         grok {
                 match => { "message" => "%{HTTPD_COMBINEDLOG}" }
         }
 }
 output {
         elasticsearch {
                 hosts => "192.168.1.101:9200"
                 index => "apachelog-%{+YYYY.MM.dd}"
         }
 }

安装启动httpd

yum install -y httpd
systemctl start httpd.service 
curl 127.0.0.1  ##本地访问两次，生成点日志

指定配置文件运行 :

logstash -f /etc/logstash/conf.d/apache.conf

查看输出 :

可以看到两条访问记录，且是本机通过curl访问

在物理即通过浏览器访问一次再看

 可以看到访问日志，虽然我只访问了一次，但实际上有三次请求（包括一些资源加载等等）

三、kibana可视化

1. kibana简介

Kibana 核心产品搭载了一批经典功能：柱状图、线状图、饼图、旭日图，等等。

 

将地理数据融入任何地图

 

精选的时序性 UI，对Elasticsearch 中的数据执行高级时间序列分析。

利用 Graph 功能分析数据间的关系

Kibana 开发工具为开发人员提供了多种强大方法来帮助其与 Elastic Stack 进行交互。

2. kibana安装与配置

kibana下载:

https://elasticsearch.cn/download/

https://mirrors.tuna.tsinghua.edu.cn/elasticstack/yum/elastic-7.x/7.7.1/

安装:

rpm -ivh kibana-7.7.1-x86_64.rpm

kibana配置：  

vim /etc/kibana/kibana.yml

 启动kibana服务:

systemctl enable --now kibana.service 
netstat -antlp|grep :5601

访问kibana:

3. kibana使用

创建索引匹配:

基于ES索引创建可视化:

访问量可视化:

 

创建仪表盘（dashboard）

4. 启用xpack安全验证

集群模式需要先创建证书：

cd /usr/share/elasticsearch/ 
bin/elasticsearch-certutil ca 

bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 

cp elastic-certificates.p12 elastic-stack-ca.p12 /etc/elasticsearch 
cd /etc/elasticsearch 
chown elasticsearch elastic-certificates.p12 elastic-stack-ca.p12

配置所有的elasticsearch集群节点： 

vim /etc/elasticsearch/elasticsearch.yml

 

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/elastic-certificates.p12

 ES集群重启正常后，设置用户密码：

设置kibana连接ES的用户密码：  

vim /etc/kibana/kibana.yml

设置Logstash连接ES用户密码:  

vim /etc/logstash/conf.d/apache.conf 

logstash -f /etc/logstash/conf.d/apache.conf

 

head访问：

添加参数到es配置:

http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type

浏览器访问http://192.168.1.101:9100/?auth_user=elastic&auth_password=redhat

利用ab压力测试工具测试访问 :

ab -c 2 -n 1000 http://192.168.1.104/

再次查看 :

在node3访问:

刷新 

 

 

 

 

 

 

 

 

                                                                                                                                                                    

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

FYRXP
关注
专栏目录
Linux之ELK
Rainable
06-15 290
一、elasticsearch实战 1.elasticsearch简介 2.elasticsearch安装与配置 3.elasticsearch插件安装 4.elasticsearch分布式部署 5.elasticsearch节点角色 6.elasticsearch节点优化 二、logstash数据采集 1.lLogstash简介 2.Logstash安装与配置 3.file输出插件 ...
Linux 安装elk
最新发布
Chihirozy的博客
07-11 738
elk部署
让Logstash每次都从头读文件
很多时候，你缺少的不是知识而是热情
03-02 1万+
input { file { path => ["/data/test.log"] start_position => "beginning" sincedb_path => "/dev/null" } } output { stdout { codec => rubydebug } } 要点就在这行
Logstash6.5.4的sincedb文件存放路径
Coding Farmer的博客
01-14 4356
由于测试玩耍，读取日志文件之后就不重新读取，需要每次把sincedb文件删除了，才会重新读取日志文件 低版本的Logstash2.4.0默认的sincedb文件目录在home目录下，通过ll -a就可以查看到 但是：Logstash6.5.4在home目录下没有找到 使用：find / -name .sincedb_* 查看到sincedb文件在 /usr/local/logstash-...
Logstash之sincedb问题记录
davinciyxw的专栏
10-17 4044
作为ELK中重要的一个组成部分，logstash既可以作为indexer解析日志，又可以作为shipper采集日志。但是由于logstash是java应用，占用资源较大，启动慢，所以有了filebeat来代替logstash作为日志采集代理。但是filebeat使用golang编写，跨平台支持还不够，比如在AIX环境下不能允许。因此研究了logstash在AIX上的运行，使用jdk1.7的情况下，
ELK6 收集不同来源的日志并做区分
weixin_34061042的博客
02-10 860
https://blog.csdn.net/u010871982/article/details/79035317使用filebeat替代logstash进行日志采集 https://blog.csdn.net/weixin_43116910/article/details/86324634 LogStash多来源日志收集配置（单logstash收集，没有filebeat） https://...
ELK(6)——logstash数据采集
weixin_21583810的博客
06-11 169
文章目录1.logstash简介2.软件下载3.file输出插件4.logstash如何区分设备、文件名、文件的不同版本 1.logstash简介 Logstash是一个开源的服务器端数据处理管道。 logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（大多都是 Elasticsearch。） Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。 输入：采集各种样式、大小和来源的数据 Logstash 支持各种输入选
linux kafka+elk7.9.1搭建所需要的的包.rar
09-17
Linux环境下，ELK（Elasticsearch、Logstash、Kibana）和Kafka以及Zookeeper是构建高效日志管理和分析系统的必备组件。这个压缩包包含了这些工具的最新稳定版本，旨在简化安装过程，提高效率。 首先，让我们详细...
linux elk filebeat和logstash
04-30
ELK是指Elasticsearch、Logstash和Kibana，是一套常用的开源日志分析解决方案。Filebeat和Logstash是ELK中的两个组件。 Filebeat是一个开源的日志数据收集器，它可以帮助我们从各种源（如文件、系统日志等）中收集...
Linux下搭建ELK集群
mada26
11-15 447
搭建说明： 1：该安装步骤使用的是work用户（非root用户）安装，root用户安装会有问题，需另外创建非root用户再安装。 搭建步骤： 1.安装jdk1.8 https://blog.csdn.net/mada26/article/details/85322131 2.安装elasticsearch-2.4.6.tar.gz cd /opt/sof......
linux部署ELK
dgmhj的博客
02-25 152
ELK部署一、Elasticsearch部署二、Kibana部署1.解压并配置kibana.yml2.启动以及测试三、Logstash部署 ELK包下载地址：ELK官网 上传版本一致的Elasticsearch、Logstash、Kibana到服务器内。 elasticsearch-7.9.3-linux-x86_64.tar.gz kibana-7.9.3-linux-x86_64.tar.gz logstash-7.9.3.tar.gz 检查是否安装并配置好了jdk环境变量没有安装jdk先进行jdk的安
Logstash配置详解（不断更新）
热门推荐
hushukang的博客
11-27 1万+
1. Input Plugin 1.1 从文件输入 从文件读取数据，如常见的日志文件。文件读取通常要解决几个问题： No. 问题 解决办法 1 文件内容如何只被读取一次？即重启Logstash时，从上次读取的位置继续 sincedb 2 如何即时读取到文件的新内容 定时检查文件是否有更新 3 如何发现新文件并进行读取 定时检查是否有新文件生成 4 如何文件发生了归档（r...
Openssh 服务的部署及安全优化
FYRXP的博客
02-01 2185
Table of Contents 一. Openssh功能介绍 1.Openssh是ssh（Secure SHell）协议的免费开源软件 二. ssh 命令的用法 三. Openssh 服务的key认证 1. 加密方法 2.关于Openssh的文件 四.Openssh 服务的安全优化 一. Openssh功能介绍 1.Openssh是ssh（Secure SHell）协议...
Linux 下的进程管理
FYRXP的博客
02-02 1897
Table of Contents 一. 什么是进程 1. 进程（Process） 2. 进程状态 二. 进程查看 1.pstree查看进程树 2. ps 3. pgrep 4. pidof 5. top 三. 进程优先级 1. 按照资源占用划分进程类型 2. 优先级范围 3.NICE直 四. 进程前后台调用 1. 进程前后台调用相关命令 五. 信号 1. ...
python (7)
FYRXP的博客
04-20 941
列表生成式 练习 给定一个正整数，编写程序计算有多少对质数的和等于输入的这个正整数，>并输出结果。输 入值小于1000。 如，输入为10, 程序应该输出结果为2。（共有两对质数的和为10,分别为(5,5),(3,7)） # [2,3,5,7] - 输入描述: 输入包括一个整数n,(3 ≤ n < 1000) - 输出描述: 输出对数 - 示例1 : ``` 输入: 10 ...
ansible自动化运维(5)
FYRXP的博客
05-01 853
##处理任务失败 通常playbook遇到错误会中止执行，但是有时我们想要失败时也继续执行 ##忽略任务失败 关键字：ignore_errors #举例 [root@workstationcode]#cat ignore.yml --- - name: Test hosts: webservers tasks: - name: Install package yum...
python (5)
FYRXP的博客
04-20 595
栈的工作原理 入栈 append 出栈 pop 栈顶元素 栈的长度 len 栈是否为空 len == 0 zip&enumerate zip函数将两个字符串元素一一对应拆分合并成键值对 enumerate函数将一个字符串拆开并按照顺序从0开始对元素编号形成一个对象 tuple 例; Users = ('root','westos','redhat...
Linux 下权限的设定
FYRXP的博客
01-08 441
Table of Contents 一.如何查看及读取权限信息 1.查看文件权限信息 2.查看目录权限信息 3. 权限信息各字段的解释 二.文件拥有者及拥有组 1.用户对于文件的身份划分 2.更改文件拥有者及拥有组的方法 三.文件权限的理解 1.文件权限划分 2.权限类型： 四.文件权限设定方式 1.字符方式 2.数字方式 3.权限复制 五.系统预留权限阀直...
Linux——自动安装脚本
FYRXP的博客
02-25 408
一.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值