安装 logstash

最新推荐文章于 2022-06-06 09:02:44 发布
最新推荐文章于 2022-06-06 09:02:44 发布
阅读量344 收藏 1
点赞数
文章标签： es
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45337104/article/details/107798648
版权

安装 logstash

1、修改主机名
[root@localhost ~]# hostnamectl set-hostname logstash
2、同步时间
[root@logstash ~]# yum install -y chrony.x86_64
[root@logstash ~]# systemctl restart chronyd.service  
[root@logstash ~]# chronyc sources -v
3、安装jdk

软件包：https://pan.baidu.com/s/1p0-R7eiTZCd8QVzxS2WPaQ
密码：d5ft

[root@logstash ~]# tar -xvf jdk-13.0.2_linux-x64_bin.tar.gz -C /usr/local/
[root@logstash ~]# cd /usr/local/
[root@logstash ~]#  ln -s jdk-13.0.2/  java
# 添加 java 环境变量
[root@logstash ~]# vim /etc/profile
export JAVA_HOME=/usr/local/java
export PATH=$JAVA_HOME/bin:$PATH
# 重载环境变量
[root@logstash ~]# source /etc/profile
4、修改文件限制
[root@logstash ~]# cat >>/etc/security/limits.conf <<-EOF
* soft nofile 65536
* hard nofile 65536
* soft nproc 32000
* hard nproc 32000
elk soft memlock unlimited
elk hard memlock unlimited
EOF

[root@logstash ~]# cat >>/etc/systemd/system.conf<<-EOF
DefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity
EOF

[root@logstash ~]# cat  >>/etc/sysctl.conf<<-EOF
vm.max_map_count=655360
fs.file-max=655360
vm.swappiness=0
EOF
5、给elk添加免密
[root@es-master ~]# useradd elk
[root@es-master ~]# visudo
elk        ALL=(ALL)       NOPASSWD: ALL
6、创建 logstash 环境
[root@logstash ~]# su - elk
[elk@logstash ~]$  sudo mkdir /usr/local/elkapp  && sudo mkdir -p /usr/local/elkdata/logstash/{data,logs} && chown -R elk:elk /usr/local/elkapp && sudo chown -R elk:elk /usr/local/elkdata
7、安装Logstash
[elk@logstash ~]$ sudo cd /usr/local/src  && sudo tar -xvf logstash-7.8.0.tar.gz -C /usr/local/elkapp && sudo ln -s /usr/local/elkapp/logstash-7.8.0 /usr/local/elkapp/logstash && sudo chown -R elk:elk /usr/local/elkapp && sudo chown -R elk:elk /usr/local/elkdata
8、配置Logstash
[elk@logstash ~]$ sudo vim /usr/local/elkapp/logstash-7.8.0/config/logstash.yml
path.data: /usr/local/elkdata/logstash/data
path.logs: /usr/local/elkdata/logstash/logs
9、配置输入输出
[elk@logstash ~]$ sudo vim /usr/local/elkapp/logstash-7.8.0/config/input-output.conf
input {
  redis {
    data_type => "list"
    key => "logstash"
    host => "10.11.66.189"
    port => 6379
    threads => 5
    codec => "json"
  }
}
filter {
}
output {
  elasticsearch {
    h1osts => ["10.11.66.180:9200","10.11.66.181:9200","10.11.66.182.139:9200"]
    index => "logstash-%{type}-%{+YYYY.MM.dd}"
    document_type => "%{type}"
  }
  stdout {
  }
}
10、配置 pipelines.yml
[elk@logstash ~]$ sudo cp /usr/local/elkapp/logstash-7.8.0/configpipelines.yml{,.bak}
[elk@logstash ~]$ sudo vim /usr/local/elkapp/logstash-7.8.0/config/pipelines.yml

- pipeline.id: id1
  pipeline.workers: 1
  path.config: "/usr/local/elkapp/logstash-7.8.0/config/input-output.conf"
11、配置开机启动
[elk@logstash ~]$ sudo vim /etc/systemd/system/logstash.service
# 内容如下
[Unit]
Description=logstash
[Service]
User=elk
Group=elk
LimitMEMLOCK=infinity
LimitNOFILE=100000
LimitNPROC=100000
ExecStart=/usr/local/elkapp/logstash/bin/logstash
[Install]
WantedBy=multi-user.target

[elk@logstash ~]$ sudo systemctl daemon-reload
[elk@logstash ~]$ sudo systemctl start logstash
12、测试 logstash

1、查看9600端口状态

[elk@logstash ~]$ ss -anput | grep 9600
tcp    LISTEN     0      50     ::ffff:127.0.0.1:9600                 :::*                   users:(("java",pid=6263,fd=84))
13、logstash 演示用法

先停止服务

[elk@logstash  conf.d]$ sudo systemctl stop logstash.service

1、示例1：标准输入输出

配置文件

[elk@logstash  conf.d]$ vim test.conf
input {
        stdin {}
}

output {
        stdout {
                codec => rubydebug
        }
}

测试

[elk@logstash config]$ logstash -f ./conf.d/test.conf 

/usr/local/elkapp/logstash-7.8.0/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated
{
          "host" => "logstash",
      "@version" => "1",
       "message" => "haha wql",
    "@timestamp" => 2020-07-08T13:53:51.695Z
}

安装kibana

软件包：https://pan.baidu.com/s/1p0-R7eiTZCd8QVzxS2WPaQ
密码：d5ft

1、安装
[elk@logstash elkapp]$ cd /usr/local/src
[elk@logstash elkapp]$ sudo tar -xvf kibana-7.8.0-linux-x86_64.tar.gz -C /usr/local/elkapp
[elk@logstash elkapp]$ cd /usr/local/elkapp/
[elk@logstash elkapp]$ sudo ln -s kibana-7.8.0-linux-x86_64/  kibana
[elk@logstash elkapp]$ sudo chown -R elk.elk /usr/local/elk*
2、配置Kibana
[root@logstash ~]# vim /usr/local/elkapp/kibana-7.8.0-linux-x86_64/config/kibana.yml

server.port: 5601
server.host: "10.11.66.195"
elasticsearch.hosts: ["http://10.11.66.180:9200"]
3、配置开机启动
[root@logstash ~]# vim /etc/systemd/system/kibana.service

[Unit]
Description=kibana
[Service]
User=elk
Group=elk
LimitMEMLOCK=infinity
LimitNOFILE=100000
LimitNPROC=100000
ExecStart=/usr/local/elkapp/kibana/bin/kibana
[Install]
WantedBy=multi-user.target

[root@logstash ~]# systemctl daemon-reload
[root@logstash ~]# systemctl start kibana 
[root@logstash ~]# systemctl status kibana
4、测试
[root@logstash ~]# ps aux | grep kibanaelk       24414  106 13.4 1362348 412304 ?      Ssl  08:15   0:22 /usr/local/elkapp/kibana/bin/../node/bin/node /usr/local/elkapp/kibana/bin/../src/cli
root      24782  0.0  0.0 112708   972 pts/0    S+   08:16   0:00 grep --color=auto kibana
[root@logstash ~]# ss -anput | grep 5601
tcp    LISTEN     0      128    10.11.66.195:5601                  *:*                   users:(("node",pid=25316,fd=18))
5、汉化 Kibana
[root@logstash ~]# vim /usr/local/elkapp/kibana/config/kibana.yaml
i18n.locale: "zh-CN"
6、图形界面

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dkO8LB8i-1596544798207)(C:assets\1594216682889.png)]

安装 Redis

软件包：https://pan.baidu.com/s/1p0-R7eiTZCd8QVzxS2WPaQ
密码：d5ft

1、安装环境依赖
[root@redis ~]# yum install gcc gcc-c++ -y
[root@redis ~]# cd /usr/local
[root@redis ~]# tar -xvf redis-5.0.5.tar.gz
[root@redis ~]# cd redis-5.0.5
[root@redis ~]# make
[root@redis ~]# make install
2、设置开机启动
[root@redis ~]# ./utils/install_server.sh
3、启动
[root@redis ~]# systemctl daemon-reload
[root@redis ~]# systemctl start redis_6379
[root@redis ~]# systemctl status redis_6379.service
[root@redis ~]#  vim /etc/redis/6379.conf

bind 0.0.0.0
protected-mode no
[root@redis ~]#  systemctl restart redis_6379

Cerebro Elasticsearch监控

1、创建用户
[root@redis ~]# useradd -s /sbin/nologin cerebro
2、安装 jdk

软件包：https://pan.baidu.com/s/1p0-R7eiTZCd8QVzxS2WPaQ
密码：d5ft

[root@redis ~]# tar xf jdk-8u201-linux-x64.tar.gz -C /usr/local/
[root@redis ~]# cd /usr/local/
[root@redis ~]# ln -s jdk1.8.0_201/ java
[root@redis ~]# vim /etc/profile
export JAVA_HOME=/usr/local/java
export PATH=$JAVA_HOME/bin:$PATH
[root@redis ~]# source /etc/profile
[root@redis ~]# java -version
3、安装Cerebro

软件包：https://pan.baidu.com/s/1p0-R7eiTZCd8QVzxS2WPaQ
密码：d5ft

[root@redis ~]# mkdir /opt/cerebro
[root@redis ~]# tar -xvf cerebro-0.9.2 .tgz -C /opt/cerebro
[root@redis ~]# ln -s /opt/cerebro/cerebro-0.9.2 /opt/cerebro/current
[root@redis ~]# chown -R cerebro.cerebro /opt/cerebro
4、配置
[root@redis ~]# mkdir /home/cerebro/data
[root@redis ~]# chown -R cerebro.cerebro /home/cerebro
[root@redis ~]# mv /opt/cerebro/current/conf/application.conf{,.bak}
[root@redis ~]# vim /opt/cerebro/current/conf/application.conf
secret="ki:s:[[@=Ag?QI`W2jMwkY:eqvrJ]JqoJyi2axj3ZvOv^/KavOT4ViJSv?6YY4[N"
basePath="/"
pidfile.path="/opt/cerebro/current/cerebro.pid"
data.path="/home/cerebro/data/cerebro.db"
es={
    gzip=true
}
auth={
    type: basic
    settings: {
        username="admin"
        password="1234.com"
    }
}
hosts=[
  {
    host="http://10.11.66.180:9200"
    name="es_log"
  }
]
5、启动
[root@redis ~]# /opt/cerebro/cerebro-0.9.2/bin/cerebro
6、创建system启动
[root@redis ~]# vim /etc/systemd/system/cerebro.service 
[Unit]
Description=Cerebro
After=network.target

[Service]
Type=folking
PIDFile=/opt/cerebro/current/cerebro.pid
User=cerebro
Group=cerebro
LimitNOFILE=65535
ExecStart=/opt/cerebro/current/bin/cerebro -Dconfig.file=/opt/cerebro/current/conf/application.conf
Restart=on-failure
WorkingDirectory=/opt/cerebro/current

[Install]
WantedBy=multi-user.target

[root@redis ~]# systemctl daemon-reload
[root@redis ~]# systemctl start cerebro
[root@redis ~]# systemctl status cerebro
7、访问
[root@redis ~]# vim /etc/systemd/system/cerebro.service
http = {
    port = "9000"
    address = "10.11.66.184"
}

在这里插入图片描述

安装 Filebeat

软件包：https://pan.baidu.com/s/1p0-R7eiTZCd8QVzxS2WPaQ
密码：d5ft

1、下载 tar 安装
[root@redis ~]# cd /usr/local/src
[root@redis src~]# tar -xf filebeat-7.8.0-linux-x86_64.tar.gz -C /usr/local/
[root@redis src]# cd /usr/local/filebeat-7.8.0-linux-x86_64
[root@redis local]# ln -s filebeat-7.8.0-linux-x86_64/ filebeat
[root@redis filebeat-7.8.0-linux-x86_64]# ./filebeat -e -c filebeat.yml
2、设置开机启动
[root@redis ~]# vim /etc/systemd/system/filebeat.service 
[Unit]
Description=filebeat server daemon
Documentation= /usr/local/filebeat/filebeat -help
Wants=network-online.target
After=network-online.target

[Service]
User=root
Group=root
Environment="BEAT_CONFIG_OPTS=-c /usr/local/filebeat/filebeat.yml"
ExecStart= /usr/local/filebeat/filebeat $BEAT_CONFIG_OPTS
Restart=always

[Install]
WantedBy=multi-user.target

[root@redis ~]# systemctl daemon-reload	
[root@redis ~]# systemctl start filebeat   
[root@redis ~]# systemctl status filebeat
3、配置filebeat
[root@redis ]# touch /usr/local/access-filebeat-test.log
[root@redis ]#  echo "zhuyong  is  pig"  >> /usr/local/access-filebeat-test.log
4、配置filebeat写入redis
[root@redis ~]# vim /usr/local/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
    - /var/log/httpd/access_log
output.redis:
  hosts: ["192.168.152.169"]
  password: "123.com"
  key: "httpdlogs"
  datatype: "list"
  db: 0
  enable: true
  worker: 1
  loadbalance: true
5、配置filebeat写入es
[root@redis ~]# vim /usr/local/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
    - /var/log/httpd/access_log
    
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["10.11.66.180:9200","10.11.66.181:9200","10.11.66.182:9200"]
6、启动服务
[root@redis ~]# systemctl restart filebeat.service
7、生成日志
[root@redis ~]# yum install httpd
[root@redis ~]# systemctl start httpd
[root@redis ~]# echo 'Home Page' > /var/www/html/index.html
[root@redis ~]# for i in {1..20}; do echo "Test Page ${i}" > /var/www/html/test${i}.html; done
[root@redis ~]# for i in {1..200}; do j=$(($i %20+1)); curl http://10.11.66.184:80/test$j.html; done
8、测试

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Bo90mkim-1596544798222)(C:assets/1594257145151.png)]

[root@redis ~]# systemctl restart filebeat.service
7、生成日志
[root@redis ~]# yum install httpd
[root@redis ~]# systemctl start httpd
[root@redis ~]# echo 'Home Page' > /var/www/html/index.html
[root@redis ~]# for i in {1..20}; do echo "Test Page ${i}" > /var/www/html/test${i}.html; done
[root@redis ~]# for i in {1..200}; do j=$(($i %20+1)); curl http://10.11.66.184:80/test$j.html; done
8、测试

在这里插入图片描述

Long--King
关注
CentOS7和8下安装Logstash
邓邓子的博客
12-21 1394
1、下载 下载地址：https://www.elastic.co/cn/downloads/logstash 2、解压 tar xzvf logstash-7.16.2-linux-x86_64.tar.gz 3、将解压包移至/usr/local mv logstash-7.16.2 /usr/local/ 4、修改配置文件 vi config/logstash.yml api.http.host: 0.0.0.0 api.http.port: 4560 vi config/logstash-sampl
CentOS7 安装 Logstash
jeikerxiao
11-23 1万+
CentOS7 安装 Logstash修改配置文件验证配置文件设置数据源日志输出启动Logstash输出日志到 ElasticsearchLogstash收集Nginx日志验证配置文件配置Nginx日志启动 Logstash 修改配置文件 进入配置文件目录 ➜ cd /opt/software/logstash/config 查看配置文件 ➜ ls jvm.options log...
logstash安装
sprita1的专栏
10-31 198
1、与ES版本保持一致 2、获取源代码 执行以下命令，获取Logstash软件包。 wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.4.tar.gz 3、 配置编译环境 要求Java的OpenJDK为“1.8.0”以上，可以执行以下命令安装： yum install java-1.8.0-openjd...
logstash 安装
u011192622的博客
06-06 265
在官网下载和elasticsearch相同版本的logstash上传到对应目录 解压 3.集成elasticsearch 创建配置文件 我放在config 目录下 配置文件内容如下 4.启动 我这里是 然后可以到相关插件查看数据是否导入成功 我这里用的是cerebro，相关安装可以看上一章节...
LogStash安装
热门推荐
Fisher3652的博客
03-13 1万+
目录1. 下载安装报2. 上传到服务器3. 启动 Logstash4. 连接 Elasticsearch 1. 下载安装报 这里选择7.14.0版本，下载地址 2. 上传到服务器 解压 tar -zxvf logstash-7.14.0-linux-x86_64.tar.gz 3. 启动 Logstash Logstash 的启动命令位于安装路径的 bin 目录中，直接运行 logstash 不行， 需要按如下方式提供参数: ./logstash -e "input {stdin {
Logstash安装
盲目的拾荒者的博客
07-28 1685
 前提Logstash需要依赖elasticsearch，所以在安装Logstash之前先安装elasticsearch 官方地址     https://www.elastic.co/guide/en/logstash/current/installing-logstash.html    指向当前版本 针对6.3版本 Logstash需要Java 8.不支持Java 9。 使用官方Or...
rpm离线安装logstash-6.2.4和logstash-output-jdbc插件
08-03
centos7下安装rpm离线安装logstash-6.2.4和logstash-output-jdbc插件 内含logstash rpm包和已打包好的logstash-output-jdbc插件
centos7.9安装Logstash
最新发布
08-23
centos7.9安装Logstash
安装logstash
11-18
以下是在CentOS 7下安装Logstash的步骤： 1.下载Logstash的RPM包，可以使用引用中提供的离线安装包，也可以在官网下载最新版本的RPM包。 2.使用以下命令安装Logstash： ```shell sudo rpm -ivh logstash-6.2.4.rpm...
最新版windows logstash-7.8.0.zip
06-19
最新版windows logstash-7.8.0.zip
最新版windows logstash-7.8.1.zip
07-28
最新版windows logstash-7.8.1.zip最新版windows logstash-7.8.1.zip
最新版linux logstash-7.12.0-linux-x86_64.tar.gz
03-30
最新版linux logstash-7.12.0-linux-x86_64.tar.gz最新版linux logstash-7.12.0-linux-x86_64.tar.gz
最新版linux logstash-7.10.0-linux-x86_64.tar.gz
11-12
最新版linux logstash-7.10.0-linux-x86_64.tar.gz最新版linux logstash-7.10.0-linux-x86_64.tar.gz
安装 logstash
正怒月神的博客
02-22 6455
宗旨： 我们今天，使用logstash同步一下数据库，mysql-->ES 废话不多说，直接上 一，下载logstash 下载地址：Logstash 7.17.0 | Elastic PS: es，kibana，logstash 三个版本一定要一致（包括ik分词器） 前面我用的都是 7.17.0的版本。 下载完，解压 二，安装ruby环境 下载地址:Downloads 无脑下一步 三，修改pipelines.yml 位置： 把注释去掉（保...
Logstash安装教程
sinat_34241861的博客
01-08 646
安装
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值