Kibana安装与使用 、 Logstash配置扩展插件 、 总结和答疑

 

 

kibana安装与配置

kibana是什么

-数据可视化平台工具

 特点：

-灵活的分析和可视化平台

-实时总结流量和数据的图标

-为不同的用户显示直观的界面

-即时分享和嵌入的仪表盘

 

kibana安装

 

[root@kibana ~]# vim /opt/kibana/config/kibana.yml
  2 server.port: 5601        
//若把端口改为80，可以成功启动kibana，但ss时没有端口，没有监听80端口，服务里面写死了，不能用80端口，只能是5601这个端口
  5 server.host: "0.0.0.0"        //服务器监听地址
15 elasticsearch.url: http://192.168.1.51:9200    
//声明地址，从哪里查，集群里面随便选一个
23 kibana.index: ".kibana"    //kibana自己创建的索引
26 kibana.defaultAppId: "discover"    //打开kibana页面时，默认打开的页面discover
53 elasticsearch.pingTimeout: 1500    //ping检测超时时间
57 elasticsearch.requestTimeout: 30000    //请求超时
64 elasticsearch.startupTimeout: 5000    //启动超时

除了elasticsearch.url需要配置为我们ES集群的地址以外，其他保持默认值

 

 

 

案例

 

kibana部分

 

 

 

Logstash是什么

是一个数据采集、加工处理以及传输的工具

特点

-所有类型的数据集中处理

-不同模式和格式数据化的正常化

-自定义日志格式的迅速扩展

-为自定义数据源轻松添加插件

 

Logstash安装

Logstash安装

-Logstash依赖Java环境，需要安装java-1.8.0-openjdk

-Logstash没有默认的配置文件，需要手动配置

-Logstash安装在/opt/logstash目录下

简单理解：数据源》输入》处理》输出

 

Logstash里面的类型

 

启动并验证：[root@logstash bin]# /opt/logstash/bin/logstash -f /etc/logstash/logstash.conf

 

查看插件的方法是：

 

官方手册：

https://www.elastic.co/guide/en/logstash/current/index.html

查询插件的步骤

1.访问官方手册：https://www.elastic.co/guide/en/logstash/current/index.html

2.查询要用的模块

 

 

插件及文档地址：

 

 

常用插件：

codec

 

练习

 

input file插件

类似监视文件的插件

path必须有，被监视文件位置

 

start_position

• 值可以是以下任何一种：beginning, end
• 默认值是"end"

设置为beginning后可以记录关闭logstash后所记录的信息

选择Logstash最初开始读取文件的位置：开始或结束。默认行为将文件视为活动流，因此在结束时开始。如果您有要导入的旧数据，请将其设置为开始.

此选项只修改“第一次联系人”的情况，在这种情况下，一个文件是新的，以前看不到的，即没有当前位置记录在Logstash读取的自定义文件中的文件。如果以前见过一个文件，则此选项没有任何效果，并且将使用自定义文件中记录的位置。

 

sincedb_path

将写入磁盘的CONEDB数据库文件的路径(跟踪监视日志文件的当前位置)。默认情况下，从edb文件到<path.data>/plugins/inputs/file注意：它必须是文件路径，而不是目录路径。

 

 

logstash所有变量：/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns/grok-patterns

 

 

 

sed '([0-5]+).*'   \1 \2    #匿名分组

(?<name>regexp)  #命名分组，name为名字 

安装Apache服务，用filebeat收集Apache服务器的日志，并存入elasticsearch

1）在之前安装了Apache的主机上面安装filebeat

1. [root@se5 ~]# yum -y install filebeat
2. [root@se5 ~]# vim/etc/filebeat/filebeat.yml
3. paths:
4.     - /var/log/httpd/access_log //日志的路径，短横线加空格代表yml格式
5. document_type: apachelog //文档类型
6. elasticsearch:        //加上注释
7. hosts: ["localhost:9200"]                //加上注释
8. logstash:                    //去掉注释
9. hosts: ["192.168.1.57:5044"]     //去掉注释,logstash那台主机的ip
10. [root@se5 ~]# systemctl start filebeat

 

用户访问elb负载均衡,elb分配到web，文本数据给logstash,logstash处理数据，传给elasticsearch（数据库），由kibana监控查看

 

如何获取来访者的真实IP？

https://support.huaweicloud.com/elb_faq/elb_faq_0090.html

 

案例