flume学习笔记（一）：安装flume

已于 2022-12-01 11:42:28 修改
阅读量455 收藏 1
点赞数
分类专栏： hadoop大数据 文章标签： flume 学习 大数据
于 2022-12-01 10:56:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41765352/article/details/128128122
版权

flume学习笔记（一）：安装flume

Logo
这是本人近期学习flume的笔记，供和我一样投身大数据技术海洋的小白有个参考。
本笔记使用的flume版本：flume1.9

一、下载

登录flume官网：https://flume.apache.org

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
下载完成后，将软件包上传到服务器，并解压缩，我的解压路径为：/opt/project/

#解压
tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/project/

二、官方案例演示：捕获本地端口44444的消息

1、在flume安装目录下创建job目录，在job目录下新建flume-nc-logger.conf文件，添加如下官方文档内容：

最低0.47元/天 解锁文章
疯狂码农8385
关注
专栏目录
flume学习笔记.pptx
09-23
flume学习笔记 ===亲测===== 笔记中所有demo都已由本人实现
大数据之Flume搭建与使用
Java搜索工程技术栈
05-29 189
1 搭建 1.1 解压 tar-zxf/opt/software/apache-flume-1.9.0-bin.tar.gz-C/opt/module/ mv/opt/module/apache-flume-1.9.0-bin /opt/module/flume 1.2 删除不兼容包 rm /opt/module/flume/lib/guava-11.0.2.jar 1.3 测试 1.3.1、安装nc yum install-ync 1.3.2、创建agent配置文件 ...
强大的socat工具，可创建虚拟串口、在串口/网口间转发数据等，基本上无所不能的工具
最新发布
哦，原来你也在这里。
01-20 1316
socat，一个强大的工具，串口工具
flume传输数据给kafka
959
04-19 1014
文章目录1.相关知识2.系统环境3.任务内容4.任务步骤 1.相关知识 Flume是一个海量日志采集、聚合和传输的日志收集系统。 Kafka是一个可持久化的分布式的消息队列。 由于采集和处理数据的速度不一定同步，所以使用Kafka这个消息中间件来缓冲，如果你收集了日志后，想输出到多个业务方也可结合Kafka，Kafka支持多个业务来读取数据。 上图中Kafka生产的数据，是由Flume提供的，这...
flume实验:kafka生产者端通过flume发送信息到HDFS
m0_62171314的博客
04-18 1840
WARN [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:452) - HDFS IO error：这是一个警告信息，表示Flume在进行HDFS输出时出现了IO错误。根据异常信息分析，可能是因为缺少com.ctc.wstx.io.InputBootstrapper类和org.codehaus.stax2.XMLInputFactory2类导致的异常。
Flume的详细使用
qq_44002865的博客
08-09 2059
Flume 文章目录Flume1、简介2、快速入门安装3、配置及简单使用配置source配置（常用）sink配置（常用）channel配置（常用）使用监控端口数据到控制台（netcat-memeory-logger）实时监控单个追加文件到控制台（exec-memeory-logger）实时监控单个追加文件到HDFS（exec-memeory-hdfs）实时监控目录下多个新文件（spooldir-memory-hdfs）实时监控目录下的多个追加文件（taildir-memory-hdfs）Flume对接Kaf
flume学习笔记更新版20190927.pptx
09-27
更新flume笔记文档 其中包括flume安装，flume监控文件、目录等并保存数据 还包含flume启动脚本
Flume笔记.zip
04-04
《Flume：大数据实时数据采集详解》 Apache Flume 是一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的系统。它设计简洁，易于配置，是大数据环境中进行实时数据流处理的重要工具。Flume 的核心概念包括...
IT十八掌_Flume阶段学习笔记(知识点总结)
09-03
IT十八掌第三期配套课堂笔记! 1、安装和执行机制的分析 2、操作引入 3、常见工具对比 4、flume起源 5、flume概念 6、flume简介和实际应用操作 7、flume的几种配置 8、知识点的总结
大数据技术之Flume笔记
04-17
在实际的大数据环境中，Flume 常用于收集Web服务器日志、应用程序日志、社交媒体数据等，为后续的数据分析、挖掘和机器学习任务提供原始数据。结合Hadoop、Spark等工具，Flume 可以构建出强大的实时数据流处理系统。...
非常好用的端口转发工具PortTunnel
05-11
功能非常好用的端口转发工具,注册版. 可用于TCP/UDP端口数据的转发,对于建立本地服务器特别方便.
端口数据转发工具
12-10
工具介绍：http://blog.csdn.net/btlong520/article/details/50251651
Flume 将8888端口接收的数据存入hive中
GX_0824的博客
09-21 245
（2）拷贝hive的jar依赖包到flume安装目录的lib路径下，避免启动hive sink时失败。# 定义这个agent中三大组件Source、Channel、Sink的名称。（4）启动Hadoop、MySQL、HiveMetaStore。一、a1.sinks.s1.type = hive。二、a1.sinks.sk1.type=hdfs。（3）修改hive配置文件，使其支持事务处理。# 配置Sink组件：数据存储为Hive。# hive元存储的url。启动hive元数据服务。# hive数据库名。
Flume-监控端口数据案例，实时监控单个追加文件案例
一个写湿的程序猿
08-09 683
文章目录监控端口数据官方案例实时监控单个追加文件 监控端口数据官方案例 1）案例需求： 使用Flume监听一个端口，收集该端口数据，并打印到控制台。 2）需求分析： 3）实现步骤： （1）安装netcat工具 [qinjl@hadoop102 software]$ sudo yum install -y nc （3）创建Flume Agent配置文件netcat-flume-logger.conf 在flume目录下创建job文件夹并进入job文件夹。 [qinjl@hadoop102 flume]
Flume数据传输及多端口转发
qq_43923588的博客
07-03 623
文章目录Flume发送数据测试1、概述1.1项目内容1.2使用工具1.3整体思路2、测试过程2.1数据生成2.2配置端口标识和端口号2.3解析获取到的数据2.4flume配置文件3、测试结果 Flume发送数据测试 1、概述 1.1项目内容 通过OPC-DA协议获取硬件数据，将数据进行json格式化，通过flume存入opentsdb 1.2使用工具 flume-1.9.0 jdk-1.8.0 安装包： [apache-flume-1.9.0-bin.tar.gz]: http://flume.apache
rinetd端口转发工具
MssGuo的博客
09-04 4895
前言 环境：Centos7.9 rinetd.tar.gz 在生产环境中，为了网络安全，我们需要进行端口转发，而rinetd是一款很好用的端口转发工具，下面我们就来讲解一下如何使用rinetd来实现端口转发。rinetd的下载地址：http://www.rinetd.com/download/rinetd.tar.gz。 什么是rinetd rinetd一款简单、方便的端口映射工具，帮助开发人员可快速进行内网机器的端口映射/转发/重定向。 安装rinetd 下载好rinetd.tar.gz并上传到服务器，解
Flume的简单使用
weixin_33762130的博客
05-10 130
一.flume介绍 1.flume是一个分布式的日志采集系统 2.在flume系统中，最核心的是agent,每个agent都相当于一个数据传递员。 在agent内部有source,sink,channel source是获取数据的来源 sink是采集数据的传送目的，往下一级agent传递或者网存储系统传递数据 channel是agent内部传输通道，用于将数据从sour...
Telnet - 访问8080端口并发送数据
热门推荐
小小默：进无止境
12-01 2万+
首先说明一下前提：① 安装了Telnet客户端(服务器)； ② 本机防火墙开启了8080端口(入站规则)；后台使用的netty，会将Telnet发送的数据打印到控制台。这里主要说明如何使用Telnet发送数据。① cmd 进入dos② 连接ip 端口 telnet localhost 8080 ③ ctrl+]回显内容④ 回车，进入编辑状态⑤ 输入内容后台支持服务端：package com.nett
nc往端口发数据
xxt_
06-29 5405
nc ip 端口号
Flume学习笔记：从源到sink的高可用日志采集系统详解
Flume学习笔记深入解析 Flume是一个由Cloudera开发并后来归属Apache的分布式、高可靠的大数据日志采集、聚合和传输系统。它最初在2010年开源，经历了从Flume-OG（0.9.2及后续版本）到Flume-NG的重大重构，以解决...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值