flume
无发可脱丶
一起学习使我快乐,哈哈哈
展开
-
Flume监控Hive日志并上传到HDFS
一、 实时监控单个追加文件1.需求:实时监控Hive日志,并上传到HDFS2.实现步骤:(1)上传Hadoop相关jar包到flume/lib目录下flume相关jar包https://blog.csdn.net/Dj_hanhan/article/details/110097742(2)进入usr/flume/job目录,创建flume-file-hdfs.conf 文件# Name the components on this agenta2.sources = r2a2.sinks原创 2020-11-24 22:21:06 · 1170 阅读 · 0 评论 -
Flume监听端口数据
2.1 监控端口数据实例(1)需求:使用Flume监听一个端口,收集该端口数据并打印。(2)实现步骤:1.安装netcat工具yum install nc #安装netcat工具如果无法下载并报错"正在尝试其他镜像…”使用yun clean all 和rpm --rebuilddb 应该可以解决。2.判断端口是否被占用netstat -tunpl | grep 44444如果报错-bash netstat找不到命令安装net-tools即可`yum install ne原创 2020-11-24 22:02:14 · 946 阅读 · 0 评论 -
flume-安装部署
1.1 Flume定义Flume是Choudera提供的一个高可用,高可靠的,分布式海量日志采集,聚合和传输的系统。Flume基于流式架构,灵活简单。Flume作用:实时读取服务器本地磁盘的数据,将数据写到HDFS。1.2 Flume的优点1.可以和任意存储进程集成2.输入的数据速率大于写入目的存储的速率,flume会进行缓冲,减小hdfs的压力3.flume中的事务基础channel,使用了两个事务模型(sender+receiver),确保消息被可靠发送Flume使用两个独立的事务分别负责原创 2020-11-24 21:41:55 · 258 阅读 · 0 评论