ELK
zhiliang-chen
大数据工程师
展开
-
logstash 插件使用介绍
logstash 插件使用介绍logstash 的配置有input,filter,output三个区;其中input负责从外部读取数据,转换为logstash事件;logstash事件,json格式的数据结构,json的key即为"字段";filter区,对input后的事件进行数据处理,匹配"字段"处理数据;output区,将事件输入到目标设备;实例input { std...原创 2019-10-23 09:35:50 · 261 阅读 · 0 评论 -
logstash 读取mysql,写入hdfs
环境centos 6.5JDK 8Logstash 6.8logstash安装,参见Logstash RPM安装mysql-connector安装$ cd /var/tmp$ wget https://mirrors.tuna.tsinghua.edu.cn/mysql/downloads/Connector-J/mysql-connector-java-5.1.48.zip$...原创 2019-10-22 18:10:33 · 832 阅读 · 0 评论 -
kibana RPM 安装
环境centos 7.2JKD 11elasticsearch 7.4.0国内镜像https://mirrors.tuna.tsinghua.edu.cn/elasticstack/安装$ cd /var/tmp//# 下载wget https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.4.0/kibana...原创 2019-10-17 17:37:07 · 1513 阅读 · 0 评论 -
Elasticsearch RPM安装
环境centos 7.2JKD 11elasticsearch 7.4.0国内镜像https://mirrors.tuna.tsinghua.edu.cn/elasticstack/安装$ cd /var/tmp/# 下载$ wget https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.4.0/elasti...原创 2019-10-17 17:36:02 · 1107 阅读 · 0 评论 -
logstash tcp input插件
logstash tcp input插件环境centos 7.2JDK 11logstash 7.4logstash安装,参见 Logstash RPM安装从TCP端口读取事件;可以从客户端或服务端读取;参数默认值说明port必填监听的端口或连接的端口host“0.0.0.0”监听的地址或要连接的地址mode“server”/“cl...原创 2019-10-17 17:26:42 · 2753 阅读 · 0 评论 -
logstash 读取nginx Access日志
logstash 读取nginx Access日志nginx Access日志默认格式,参见 nginx Access日志格式grok内置的正则,参见 grok httpd正则nginx默认日志格式的示例192.168.1.186 - - [06/Aug/2018:09:57:51 +0800] "GET /Public/Css/plugins/morris/morris-0.4.3.mi...原创 2019-10-17 17:18:12 · 721 阅读 · 0 评论 -
grok 正则
环境centos 7.2JDK 11logstash 7.4 rpmlogstash rpm安装,参见Logstash RPM安装语法grok的正则,是在通用的正则基础上,加了正则表达的名称(变量名),这样就可以在其他的正则里调用了;通用的正则,参见正则表达式grok调用正则的语法为%{PATTERN_NAME}%{PATTERN_NAME:OUTPUT_FIELD_NAM...原创 2019-10-17 16:03:11 · 1220 阅读 · 0 评论 -
Logstash RPM安装
环境centos 7.2JKD 11Logstash 7.4国内镜像https://mirrors.tuna.tsinghua.edu.cn/elasticstack/安装$ cd /var/tmp//# 下载wget https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.4.0/logstash-7.4....原创 2019-10-17 15:48:53 · 1527 阅读 · 0 评论