Elastic Stack（三）：Logstash介绍及安装

1 Logstash介绍

1.1 组件介绍

Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。

Logstash注意有三部分

• 输入：采集各种样式、大小和来源的数据

  • 数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从你的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

• 过滤器：实时解析和转换数据

  • 数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。

• 输出：选择你的存储，导出你的数据

Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响：

• 1、利用 Grok 从非结构化数据中派生出结构
• 2、从 IP 地址破译出地理坐标
• 3、将 PII 数据匿名化，完全排除敏感字段
• 4、整体处理不受数据源、格式或架构的影响

尽管 Elasticsearch 是首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。Logstash 提供众多输出选择，你可以将数据发送到你要指定的地方。

1.2 Logstash 工作原理

Logstash 有两个必要元素：input 和 output ，一个可选元素：filter。 这三个元素，分别代表 Logstash 事件处理的三个阶段：输入 > 过滤器 > 输出

Input负责从数据源采集数据。
filter 将数据修改为你指定的格式或内容。
output 将数据传输到目的地。

在实际应用场景中，通常输入、输出、过滤器不止一个。Logstash 的这三个元素都使用插件式管理方式，可以根据应用需要，灵活的选用各阶段需要的插件，并组合使用。

• 常用input模块：Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，可从日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
  • file：从文件系统上的文件读取
  • syslog：在众所周知的端口514上侦听系统日志消息，并根据RFC3164格式进行解析
  • redis：从redis服务器读取，使用redis通道和redis列表。 Redis经常用作集中式Logstash安装中的“代理”，它将接收来自远程Logstash“托运人”的Logstash事件排队。
  • beats：处理由Filebeat发送的事件。
• 常用的filter模块：过滤器是Logstash管道中的中间处理设备。可以将条件过滤器组合在一起，对事件执行操作。
  • grok：解析和结构任意文本。 Grok目前是Logstash中将非结构化日志数据解析为结构化和可查询的最佳方法。
  • mutate：对事件字段执行一般转换。可以重命名，删除，替换和修改事件中的字段。
  • drop：完全放弃一个事件，例如调试事件。
  • clone：制作一个事件的副本，可能会添加或删除字段。
  • geoip：添加有关IP地址的地理位置的信息
• 常用output模块
  • elasticsearch：将事件数据发送给 Elasticsearch（推荐模式）。
  • file：将事件数据写入文件或磁盘。
  • graphite：将事件数据发送给 graphite（一个流行的开源工具，存储和绘制指标， http://graphite.readthedocs.io/en/latest/）。
  • statsd：将事件数据发送到 statsd （这是一种侦听统计数据的服务，如计数器和定时器，通过UDP发送并将聚合发送到一个或多个可插入的后端服务）。
• 常用code插件
  • json：以JSON格式对数据进行编码或解码。
  • multiline：将多行文本事件（如java异常和堆栈跟踪消息）合并为单个事件。

2 Logstash安装

2.1 logstash-源码包安装8.1.0

1、logstash安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-8.1.0-linux-x86_64.tar.gz
tar zxvf logstash-8.1.0-linux-x86_64.tar.gz
ln -s logstash-8.1.0 logstash
# 测试
./bin/logstash  -e 'input { stdin { } } output { stdout {} }' 
# 执行后会提示input，手动输入：input，则会有输出，过程如下：

2、创建配置文件

# 在logstash目录下执行
mkdir /root/logstash-8.1.0/config/certs
scp root@192.168.92.10:/usr/local/elasticsearch-8.1.0/config/certs/http.p12 /root/logstash-8.1.0/config/certs/http.p12


vim pipe.conf

input {
    opensearch {
        hosts       => ["http://192.168.92.11:9200"]
        #user        => "admin"
        #password    => "admin"
        #index       => "logstash-logs-%{+YYYY.MM.dd}"
        query       => '{ "query": { "match_all": {} } }'
    }
}

output {
  stdout{
        codec => rubydebug
  }
  elasticsearch {
    hosts => ["https://192.168.92.10:9200"]
    index => "opensearch-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "ZuyB*Pt9-nbg-UjmnI0u"
    ssl_certificate_verification => true
    truststore => "/root/logstash-8.1.0/config/certs/http.p12"
    truststore_password => ""
  }
}

参数解释：

• ssl_certificate_verification => true代表启用SSL
• truststore配置的elasticsearch首次启动生成的证书，它是一个使用PKCS＃12（公钥密码标准＃12）加密的数字证书，存放在elasticsearch主目录下的config/certs目录
• ruststore_password是truststore的密码，可以采用bin目录下的elasticsearch-keystore工具获取到

注意：

• 1.如果logstash和elasticsearch不在同一个服务器上面，需要把elasticsearch上的http.p12复制logstash上面
• 2.如果在生成http.p12时使用密码，可参考如下方式获取：

[elastic@node1 elasticsearch-8.4.3]$ ./bin/elasticsearch-keystore list
warning: ignoring JAVA_HOME=/usr/local/jdk-17.0.5; using bundled JDK
keystore.seed
xpack.security.http.ssl.keystore.secure_password
xpack.security.transport.ssl.keystore.secure_password
xpack.security.transport.ssl.truststore.secure_password
[elastic@node1 elasticsearch-8.4.3]$ ./bin/elasticsearch-keystore show xpack.security.http.ssl.keystore.secure_password
warning: ignoring JAVA_HOME=/usr/local/jdk-17.0.5; using bundled JDK
EDkicmcvTIaby_aFALRl3w

3、启动

# 启动测试：
./bin/logstash -f pipe.conf --config.reload.automatic

 # --config.reload.automatic：会自动加载配置文件，不需要重复启动logstash进程

4、配置快速启动文件

# 关掉上面的测试进程，配置快速启动文件
vim /usr/lib/systemd/system/logstash.service
[Unit]
Description=logstash
After=network.target
[Service]
Type=simple
#LimitNOFILE=100000
#LimitNPROC=100000
Restart=no
ExecStart=/root/logstash-8.1.0/bin/logstash -f /usr/local/logstash-8.1.0/pipe.conf
PrivateTmp=true
[Install]
WantedBy=multi-user.target

# 启动
sudo systemctl daemon-reload 
sudo systemctl start logstash.service