![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 83
xiaoxaoyu
小小鱼
展开
-
flume+Tomcat日志收集
文章目录一、日志生成环境模拟二、flume任务配置1、任务脚本文件配置2、执行flume任务错误1:错误2:错误3:错误4:错误5:错误6:一、日志生成环境模拟Tomcat安装:新建一台虚拟机作为webserver,安装jdk和Tomcat,把二者安装包传入至虚拟机中[root@slave02 spark]# tar -zxf apache-tomcat-8.5.63.tar.gz -C /opt/software/spark/[root@slave02 spark]# mv apache-tom原创 2021-03-11 00:42:37 · 882 阅读 · 0 评论 -
Flume架构原理
文章目录1、Flume架构1.1 Agent:1.2 Event:1.3 Client:2、Flume特性2.1 可靠性2.2 可恢复性2.3 可靠性保证(面试)2.3.1 故障转移2.3.2 负载均衡2.3.3 多层代理2.3.4 多路复用3、Flume原理3.1主要组件及其作用3.2 各组件作用如下3.2.1 Source相关3.2.2 Channel相关3.2.3 Sink相关3.3 Flume工作流程3.3.1Source->Channel3.3.2 Channel->Sink3.3.3原创 2021-01-18 10:34:45 · 663 阅读 · 0 评论 -
Flume安装和测试案例
1、Flume安装1.1 解压将下载的 flume 包,解压到software/hadoop等自定义目录中1.2 配置jdk关联复制 conf/ flume-env.sh.template 为 flume-env.sh ,修改flume-env.sh 配置文件,主要是 JAVA_HOME 变量设置。1.3 验证是否安装成功./bin/flume-ng version1.4 测试数据收集1.4.1、编写配置文件重命名 conf/flume-conf.properties.template原创 2021-01-16 03:40:56 · 1623 阅读 · 0 评论