ELK大规模搜索引擎详解

最新推荐文章于 2023-11-28 16:06:29 发布
最新推荐文章于 2023-11-28 16:06:29 发布
阅读量367 收藏 1
点赞数
分类专栏： 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22193519/article/details/89397398
版权

实验环境

192.168.170.8   node1 kibana
192.168.170.9   node2 els
192.168.170.10 node3 logstash1
192.168.170.11 node4 redis
192.168.170.12 node5 logstash2
192.168.170.22 node6 haproxy+web

实验拓扑：

安装redis服务

下载redis包编译安装，编辑配置文件

[root@node4 src]# wget http://download.redis.io/releases/redis-5.0.3.tar.gz
[root@node4 src]# tar -zxvf redis-5.0.3.tar.gz
[root@node4 src] cd redis-5.0.3
[root@node4 redis-5.0.3]# make
[root@node4 redis-5.0.3]# ln -sv /usr/local/src/redis-5.0.3 /usr/local/redis
[root@node4 redis-5.0.3]# cp src/redis-server  src/redis-cli /usr/bin/
[root@node4 redis]#
[root@node4 redis]# vi redis.conf 
bind 0.0.0.0
daemonize yes #关闭持久缓存功能
#关闭持久化功能
#save 900 1
#save 300 10
#save 60 10000
requirepass 123456

启动服务查看接口状态

[root@node4 redis]# redis-server /usr/local/redis/redis.conf 
13577:C 13 Apr 2019 20:45:48.109 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
13577:C 13 Apr 2019 20:45:48.109 # Redis version=5.0.3, bits=64, commit=00000000, modified=0, pid=13577, just started
13577:C 13 Apr 2019 20:45:48.109 # Configuration loaded
[root@node4 redis]# ss -tunlp
Netid State      Recv-Q Send-Q               Local Address:Port                              Peer Address:Port              
udp   UNCONN     0      0                        127.0.0.1:323                                          *:*                   users:(("chronyd",pid=3545,fd=1))
udp   UNCONN     0      0                              ::1:323                                         :::*                   users:(("chronyd",pid=3545,fd=2))
tcp   LISTEN     0      128                              *:6379                                         *:*                   users:(("redis-server",pid=13578,fd=6))
tcp   LISTEN     0      128                              *:22                                           *:*                   users:(("sshd",pid=812,fd=3))
tcp   LISTEN     0      100                      127.0.0.1:25                                           *:*                   users:(("master",pid=1032,fd=13))
tcp   LISTEN     0      128                             :::22                                          :::*                   users:(("sshd",pid=812,fd=4))
tcp   LISTEN     0      100                            ::1:25                                          :::*                   users:(("master",pid=1032,fd=14))
[root@node4 redis]#

redis登录测试

[root@node4 redis]# redis-cli 
127.0.0.1:6379> AUTH 123456
OK
127.0.0.1:6379> ping
PONG
127.0.0.1:6379>

logstash2配置示例：

[root@node5 ~]# vim /etc/logstash/conf.d/syslog.conf
#logstash收集日志,通过rsyslog接收日志：
input{
	syslog {
  	type => "system-rsyslog"
  	port => "5140"
  }
}
#输出到redis中去，并把日志保存在/tmp/nginx.conf中
output{
  stdout{
  	codec => rubydebug
  }
  redis {
  	data_type => "list"
  	key => "system-rsyslog"   #创建key为system-syslog
  	host => "192.168.170.11"
  	port => "6379"
  	db => "0"
  	password => "123456"
  }
}

测试logstash语法是否正确 

[root@node5 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/syslog.conf  -t
WARNING: Could not find logstash.yml which is typically located in $LS_HOME/config or /etc/logstash. You can specify the path using --path.settings. Continuing using the defaults
Could not find log4j2 configuration at path /usr/share/logstash/config/log4j2.properties. Using default config which logs errors to the console
[WARN ] 2019-04-13 21:14:31.536 [LogStash::Runner] multilocal - Ignoring the 'pipelines.yml' file because modules or command line options are specified
Configuration OK
[INFO ] 2019-04-13 21:14:34.324 [LogStash::Runner] runner - Using config.test_and_exit mode. Config Validation Result: OK. Exiting Logstash

重启logstash服务，查看5140端口是否启动 

[root@node5 conf.d]# systemctl restart logstash
[root@node5 conf.d]# ss -tunlp | grep 5140
udp    UNCONN     0      0         *:5140                  *:*                   users:(("java",pid=9486,fd=81))
tcp    LISTEN     0      50       :::5140                 :::*                   users:(("java",pid=9486,fd=78))
[root@node5 conf.d]#

安装HAproxy

下载haproxy包，解压编译安装

[root@node6 ~]# wget http://www.haproxy.org/download/1.8/src/haproxy-1.8.10.tar.gz
[root@node6 ~]# tar xvf haproxy-1.8.10.tar.gz
[root@node6 ~]# cd haproxy-1.8.10
[root@node6 haproxy-1.8.10]# yum install gcc pcre pcre-devel openssl openssl-devel –y
[root@node6 haproxy-1.8.10]# make TARGET=linux2628 USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 PREFIX=/usr/local/haproxy
[root@node6 haproxy-1.8.10]# make install PREFIX=/usr/local/haproxy
[root@node6 haproxy-1.8.10]# /usr/local/haproxy/sbin/haproxy -v #确认版本

编辑写启动配置文件 

[root@node6 haproxy-1.8.10]# vi /usr/lib/systemd/system/haproxy.service
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target

[Service]
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID

[Install]
WantedBy=multi-user.target

创建haproxy启动配置文件夹及配置文件

[root@node6 haproxy-1.8.10]# vi /etc/haproxy/haproxy.cfg
global
maxconn 100000
chroot /usr/local/haproxy
uid 99
gid 99
daemon
nbproc 1
pidfile /usr/local/haproxy/run/haproxy.pid
log 127.0.0.1 local6 info

defaults
option http-keep-alive
option forwardfor
maxconn 100000
mode http
timeout connect 300000ms
timeout client 300000ms
timeout server 300000ms

listen stats
 mode http
 bind 0.0.0.0:9999
 stats enable
 log global
 stats uri	/haproxy-status
 stats auth haadmin:123456

#frontend web_port
frontend web_port
	bind 0.0.0.0:8008
	mode http
	option httplog
	log global     
	option forwardfor
###############ACL Setting###################
	acl pc 		   hdr_dom(host)	-i www.elk.com
	acl mobile	 hdr_dom(host)	-i m.elk.com
###############USE ACL###################
	use_backend	 pc_host	      if   pc
	use_backend	 mobile_host    if   mobile
backend pc_host
	mode 	http
	option httplog
	log global 
	balance source
	server web1 192.168.170.22:80 check inter 2000 rise 3 fall 2 weight 1

backend mobile_host
	mode 	http
	option httplog
	log global 
	balance source
	server web1 192.168.170.22:80 check inter 2000 rise 3 fall 2 weight 1

编辑服务器rsyslog配置文件：

[root@node6 ~]# vim /etc/rsyslog.conf 
local6.* @@192.168.170.12:5140 #接收日志的logstash服务器IP:PORT，local6对应haproxy的日志级别
haproxy服务器配置rsyslog服务：
$ModLoad imudp
$UDPServerRun 514
$ModLoad imtcp
$InputTCPServerRun 514
local6.* /var/log/haproxy.log

重启rsyslog服务，查看

[root@node6 ~]# systemctl restart haproxy

客户端浏览器访问haproxy，本地查看是否有日志

[root@node5 nginx]# tail /var/log/haproxy.log 
Apr 14 14:52:14 localhost haproxy[16236]: 172.17.1.98:53891 [14/Apr/2019:14:52:14.105] web_port web_port/<NOSRV> -1/-1/-1/-1/774 503 212 - - SC-- 0/0/0/0/0 0/0 "GET / HTTP/1.1"
Apr 14 14:52:14 localhost haproxy[16236]: 172.17.1.98:53891 [14/Apr/2019:14:52:14.105] web_port web_port/<NOSRV> -1/-1/-1/-1/774 503 212 - - SC-- 0/0/0/0/0 0/0 "GET / HTTP/1.1"
Apr 14 14:52:16 localhost haproxy[16236]: 172.17.1.98:53893 [14/Apr/2019:14:52:15.250] web_port web_port/<NOSRV> -1/-1/-1/-1/838 503 212 - - SC-- 0/0/0/0/0 0/0 "GET /favicon.ico HTTP/1.1"
Apr 14 14:52:16 localhost haproxy[16236]: 172.17.1.98:53893 [14/Apr/2019:14:52:15.250] web_port web_port/<NOSRV> -1/-1/-1/-1/838 503 212 - - SC-- 0/0/0/0/0 0/0 "GET /favicon.ico HTTP/1.1"
Apr 14 14:52:19 localhost haproxy[16236]: 172.17.1.98:53895 [14/Apr/2019:14:52:19.172] web_port web_port/<NOSRV> -1/-1/-1/-1/41 503 212 - - SC-- 0/0/0/0/0 0/0 "GET / HTTP/1.1"
Apr 14 14:52:19 localhost haproxy[16236]: 172.17.1.98:53895 [14/Apr/2019:14:52:19.172] web_port web_port/<NOSRV> -1/-1/-1/-1/41 503 212 - - SC-- 0/0/0/0/0 0/0 "GET / HTTP/1.1"
[root@node5 nginx]#

收集rsyslog日志到logstash2

配置本地host解析

[root@node6 ~]#vi /etc/hosts
192.168.170.22 www.elk.com
192.168.170.22 m.elk.com

测试logstash语法，访问haproxy页面，看在本地是否有log日志输出：

[root@node5 ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/syslog.conf
{
          "priority" => 182,
    "facility_label" => "local6",
    "severity_label" => "Informational",
          "severity" => 6,
              "host" => "192.168.170.22",
        "@timestamp" => 2019-04-14T07:05:44.000Z,
           "program" => "haproxy",
         "timestamp" => "Apr 14 15:05:44",
               "pid" => "16236",
         "logsource" => "localhost",
          "facility" => 22,
           "message" => "172.17.1.98:53937 [14/Apr/2019:15:05:44.205] stats stats/<NOSRV> 196/-1/-1/-1/196 503 212 - - SC-- 0/0/0/0/0 0/0 \"GET /favicon.ico HTTP/1.1\"\n",
              "type" => "system-rsyslog",
          "@version" => "1"
}
{
          "priority" => 182,
    "facility_label" => "local6",
    "severity_label" => "Informational",
          "severity" => 6,
              "host" => "192.168.170.22",
        "@timestamp" => 2019-04-14T07:05:44.000Z,
           "program" => "haproxy",
         "timestamp" => "Apr 14 15:05:44",
               "pid" => "16236",
         "logsource" => "localhost",
          "facility" => 22,
           "message" => "172.17.1.98:53936 [14/Apr/2019:15:05:44.205] stats stats/<NOSRV> 2/-1/-1/-1/2 503 212 - - SC-- 1/1/0/0/0 0/0 \"GET / HTTP/1.1\"\n",
              "type" => "system-rsyslog",
          "@version" => "1"
}
{
          "priority" => 182,
    "facility_label" => "local6",
    "severity_label" => "Informational",
          "severity" => 6,
              "host" => "192.168.170.22",
        "@timestamp" => 2019-04-14T07:05:44.000Z,
           "program" => "haproxy",
         "timestamp" => "Apr 14 15:05:44",
               "pid" => "16236",
         "logsource" => "localhost",
          "facility" => 22,
           "message" => "172.17.1.98:53937 [14/Apr/2019:15:05:44.205] stats stats/<NOSRV> 196/-1/-1/-1/196 503 212 - - SC-- 0/0/0/0/0 0/0 \"GET /favicon.ico HTTP/1.1\"\n",
              "type" => "system-rsyslog",
          "@version" => "1"
}

验证redis是否接收到数据

[root@node4 ~]# redis-cli
127.0.0.1:6379> AUTH 123456
OK
127.0.0.1:6379> KEYS *
1) "system-rsyslog"
127.0.0.1:6379>

收集tcp日志到logstash2

编辑logstash配置文件：

[root@node5 ~]# vim /etc/logstash/conf.d/tcp.conf
input {
	tcp {
		port => "5500"
		type => "tcp-syslog"
		mode => "server"
}}
output {
	redis {
	data_type => "list"
	key => "tcp-syslog"
	host => "192.168.170.11"
	port => "6379"
	db => "15"
}}

测试logstash语法并启动服务： 

[root@node5 ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/tcp.conf -t
[root@node5 ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/tcp.conf

在web测试日志收集：

使用nc命令：

[root@node6 ~]# yum install nc –y
[root@node6 ~]#  echo "nc test" | nc 10.10.0.16 5500
[root@node6 ~]#  nc 10.10.0.16 5500 < /root/anaconda-ks.cfg

在redis查看是否有数据收到：

[root@node4 ~]# redis-cli 
127.0.0.1:6379> AUTH 123456
OK
127.0.0.1:6379> KEYS *
1) "tcp-syslog"
2) "system-rsyslog"
127.0.0.1:6379>

logstash1服务器

配置另一台logstash从redis取日志并写入到elasticsearch：

[root@node6 ~]# vi /etc/logstash/conf.d/redis2.conf
input {
    redis {
        data_type => "list"
        host => "192.168.170.11"
        port => "6379"
        key => "tcp-syslog"
        db => "0"
        password => "123456"
    }
    redis {
        data_type => "list"
        host => "192.168.170.11"
        port => "6379"
        key => "system-rsyslog"
        db => "0"
        password => "123456"
    }
}
output {
    if [type] == "tcp-syslog" {
         elasticsearch {
                hosts => ["192.168.170.9:9200"]
                index => "tcp-syslog-%{+YYYY.MM.dd}"
        }
    }
    if [type] == "system-rsyslog" {
         elasticsearch {
                hosts => ["192.168.170.9:9200"]
                index => "system-rsyslog-%{+YYYY.MM.dd}"
        }
    }
}

 elasticsearch配置

验证elasticsearch数据目录是否有数据，或通过浏览器查看是否有tcp-syslog和system-rsyslog信息http://192.168.170.9:9100

kibana配置

浏览器输入http://kibana1013.test.com，在kibana界面添加index并确认有数据

注意：部分配置都是根据上次实验，所以省略了。

trouble is trouble
关注
专栏目录
【微服务】springboot集成ELK使用详解
congge
01-28 1万+
springboot集成ELK使用详解
ELK学习总结（2）——ELK 原理介绍及实践详解
科技D人生
09-20 4791
一、需求背景 业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志 开发人员排查问题，需要到服务器上查日志，不方便 运营人员需要一些数据，需要我们运维到服务器上分析日志 二、为什么要用到ELK 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大也就是日志量多而复杂的场景中，此...
搜索引擎（ELK）
weixin_34010949的博客
04-07 771
2019独角兽企业重金招聘Python工程师标准>>> ...
ELK之搜索引擎介绍(一)
weixin_34092370的博客
06-04 464
大家都知道搜索搜引擎是什么，例如我们接触比较多的 百度、Google、必应、360搜索、淘宝搜索、京东搜索等等很多只要能搜索就可以被称为搜索引擎。以下是比较官方的说法。 搜索引擎（Search Engine）是根据一定的策略、运用特定的计算机程序去搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的一套系统。 搜索引擎的组成 搜索引擎...
ELK数据搜索引擎搭建
veujs的博客
08-01 437
ELK数据搜索引擎搭建 1. 简介 模块的主要功能有： Filebeat: 读取数据、日志等文件，并将数据传输给Logstash Logstash: 收集Filebeat传递的数据，经过filter格式化、过滤后，输出到Elasticsearch Elasticsearch：获取Logstash传递的数据，存储到设定好的索引中，方便使用API、Kibana进行查询、分析等 Kibana：可视化...
ELK(elasticsearch+kibana+logstash)搜索引擎(一)： 环境搭建
weixin_34148456的博客
04-09 272
1.ELK简介 　　这里简单介绍一下elk架构中的各个组件，关于elk的详细介绍的请自行百度 Elasticsearch是个开源分布式搜索引擎，是整个ELK架构的核心 Logstash可以对数据进行收集、过滤，存储到ELasticsearch中 Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助...
ELK日志集中搜索引擎
麦兜爱说谎
05-21 610
日志集中搜索引擎 一、简介 ELK由Elasticsearch、Logstash和Kibana三部分组件组成。 Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等 Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析、过滤、清洗 Kibana 是一个开源和免费...
ELK安装文档，ElasticSearch、Logstash 和 Kibana
04-22
- **Elasticsearch**: 是一款基于Lucene的开源搜索引擎，它提供了一套完整的解决方案，包括数据的收集、分析和存储。 - **Logstash**: 主要用于日志数据的收集、解析和发送。Logstash具有强大的插件生态，能够通过...
【教你通透ELK】elk 自定义日志采集
走向CTO的路上...
08-03 597
（1）Logstash：Logstash 是一个开源的数据收集引擎，它可以从各种来源收集数据，如日志文件、TCP/UDP、JMX 等，然后将数据转换为统一的格式，并将其发送到 Elasticsearch 或其他目的地。（2）Elasticsearch：Elasticsearch 是一个分布式的搜索和分析引擎，它可以存储和索引大量的数据，并提供实时的搜索和分析功能。（1）配置 Logstash：在 Logstash 中配置输入插件、过滤器插件和输出插件，以定义日志数据的采集、处理和存储方式。
ELK日志分析系统
04-30
- **Elasticsearch**：一个基于Lucene的分布式搜索引擎，提供了丰富的API接口和高度可扩展性，能够快速地索引和检索大规模数据集。 - **Logstash**：一款强大的数据流处理器，能够高效地采集、转换和发送数据到...
ELK大规模日志实时处理系统理论分析一
码云仓库地址：https://gitee.com/lance-gyq
04-19 2433
1.核心组成 ELK是一个应用套件，由Elasticsearch（快速检索）、Logstash（收集过滤日志）和Kibana（基于web可视化平台）三部分组成，简称ELK。 特点：开源免费、功能强大的日志分析管理系统。 作用：ELK可以将我们的系统日志、网站日志、应用系统日志等各种日志进行收集、过滤、清洗，然后进行集中存放并可用于实时检索、分析。 这三款软件都是开源软件，通常是配合使用，而且又先后归于Elastic.co公司名下，故又被简称为ELK Stack。 如下图： ...
ELK（搜索与分析技术栈）
weixin_53455615的博客
12-07 1726
ELK其实并不是一款软件，而是一整套解决方案，是三个软件产品的首字母缩写，Elasticsearch，Logstash 和 Kibana。这三款软件都是开源软件，通常是配合使用，而且又先后归于 Elastic.co 公司名下，故被简称为ELK技术栈。Elasticsearch：Elasticsearch是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎Apache Lucene基础上的搜索引擎，使用Java语言编写。Kibana：Kibana是一个免费且开放
01 ELK——搜索引擎及Lucene基础
weixin_43812198的博客
03-22 208
01 ELK——搜索引擎及Lucene基础。
ELK大规模日志实时处理系统应用简介
春天的道路依然充满泥泞！
10-26 747
系统采用的架构方案：其中 Filebeat 部署在具体的业务机器上，通过定时监控的方式获取增量的日志，并转发 push 到 Redis 的一个 list 对象中暂存。Redis 以高读写性能以及拥有支持 push/pop 操作的 list 数据结构的特征，作为一个缓冲队列的角色，接收所有从 Filebeat 收集转发过来的日志。1. 下载并配置 Filebeat，开启日志增量监控
大数据技术ELK实时检索
weixin_38620636的博客
04-28 2191
修改/opt/elasticsearch-6.6.0/plugins/ik/config/中的IKAnalyzer.cfg.xml> < properties > < comment > IK Analyzer 扩展配置
中间件系列 - ELK高级搜索，深度详解ElasticStack技术栈(上篇)
最新发布
知行
11-28 2209
ELK（Elasticsearch、Logstash、Kibana）是一套强大的开源数据分析平台，主要用于日志管理、实时监控、安全分析和业务数据分析。Elasticsearch提供分布式搜索和分析功能，Logstash负责数据收集、处理和传输，而Kibana则提供交互式数据可视化和查询功能。ELK帮助用户集中管理和分析大规模数据，快速发现问题并做出响应，支持实时监控和预警系统，广泛应用于IT运维、安全分析和业务决策等多个领域，提升运营效率和数据驱动决策能力。
微服务03 分布式搜索引擎 elasticsearch ELK kibana RestAPI 索引库 DSL查询 RestClient 黑马旅游
我亦无他，唯手熟尔
02-20 1009
什么是elasticsearch？一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能什么是elastic stack（ELK）？是以elasticsearch为核心的技术栈，包括beats、Logstash、kibana、elasticsearch什么是Lucene？是Apache的开源搜索引擎类库，提供了搜索引擎的核心API分词器的作用是什么？创建倒排索引时对文档分词用户搜索时，对输入的内容分词IK分词器有几种模式？ik_smart：智能切分，粗粒度。
ELK高级搜索二Elasticsearch使用
yangyanping20108的博客
07-09 738
Elasticsearch学习Elasticsearch介绍Elasticsearch概念Elasticsearch启动Elasticsearch集群配置Head插件安装创建索引查询索引信息添加数据term 查询 Elasticsearch介绍 百度百科 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索
ELK是什么？
qq_44694453的博客
10-18 2505
ELK是什么？
ELK Stack搭建与日志分析详解
随着业务扩展和日志数据的增加，ELK堆栈成为解决大规模日志管理的有效工具。它允许集中收集、传输、存储和分析日志，同时提供警告和监控功能。现在还包括了Beats，作为轻量级的日志收集代理，进一步增强了ELK的能力...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值