大数据学习之Flume

最新推荐文章于 2024-10-09 15:12:25 发布
最新推荐文章于 2024-10-09 15:12:25 发布
阅读量316 收藏 1
点赞数
文章标签： hadoop flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Herry_Xia/article/details/108711344
版权

flume简介

概念： Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。
概念总结：分布式的高可靠高可用的用来收集，聚合移动日志数据的框架、具有简单的流式数据处理特点（数据源为流式数据，但是不需要计算）

学习重点

flume简介图

  1. event:事件，flume在接收到日志数据之后会以一比一的比例对日志进行封装，一条数据被非为一个Event:{" headers":“自定义内容”，“body”:“自定义内容”}
  2. agent:代理，在Flume集群中，每一个机器节点都叫做一个agent，一个标准的agent中涵盖三个部分source，channel，sink代表了flume一个节点的接收、封装、承载、传输数据的整个过程
  3. source：数据源，负责接受上游传来的数据，并进行封装（event），变更将其输出到Channel进行缓存
  4. channel：复制缓存数据，一般追求数据，一般使用内存（memory）
  5. sink：负责消费channel中的数据并将其输出到指定目的地

Flume的安装

解压和安装

在官网下载1.9并上传到虚拟机

# 解压文件进行安装
tar -xvf apache-flume-1.9.0-bin.tar.gz

将flume.properties文件加到conf文件夹下
在这里插入图片描述
flume.properties详解

 #a1为自定义的agent名字，与启动命令中的-n属性对应
 
a1.sources  =  r1     #定义agent的数据源source，可以有多个。
 
a1.sinks  =  k1       #定义agent的数据出处，可以有多个。
 
a1.channels  =  c1    #定义agent的通道，一般有多少个sink就有多少个channel
 
 
 
a1.sources.r1.type  =  avro      #指定source的类型为avro
 
a1.sources.r1.bind  =  0.0.0.0   #指定source的来源。一般为本机，被动接收。
 
a1.sources.r1.port  =  22222     #指定端口
 
 
 
a1.sinks.k1.type  =  avro    #指定sink的类型为avro
 
a1.sinks.k1.hostname  =  192.168.65.162      #指定sink的目标节点IP
 
a1.sinks.k1.port  =  22222       #指定目标端口
 
 
 
a1.channels.c1.type  =  memory       #指定channel的类型为 内存
 
a1.channels.c1.capacity  =  1000     #指定存储容量，避免强制抢占内存影响其他进程的正常运行
 
a1.channels.c1.transactionCapacity  =  100  #指定事务容量
 
 
 
a1.sources.r1.channels  =  c1    #绑定source
 
a1.sinks.k1.channel  =  c1       #绑定sink

启动：

# 在/home/app/apache-flume-1.9.0-bin/conf目录下执行
../bin/flume-ng agent -c ./ -f ./flume.properties -n a1 -Dflume.root.logger=INFO,console

测试

# flume启动后占用当前窗口，复制一个新的窗口在任意目录下执行以下
curl -X POST -d '[{"headers":{"tester":"tony"},"body":"hello http flume"}]' http://hadoop01:22222

显示效果
在这里插入图片描述
监听文件夹

# 在另一个界面创建文件夹并且进入
mkdir /home/data
mkdir /home/data/log
cd /home/data/log

修改配置文件

# 修改flume.properties的代码如下
a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1
 
a1.sources.r1.type  =  spooldir
a1.sources.r1.spoolDir = /home/data/spooldir
 
a1.sinks.k1.type  =  logger
 
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100
 
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1
  1. 在/home/data下创建文件log.txt并编辑添加数据
  2. 在flume安装目录下的conf目录下执行命令启动agent
  3. 模拟发送avro在flume的bin目录下执行：
../bin/flume-ng agent -c ./ -f ./flume.properties -n a1 -Dflume.root.logger=INFO,console

练习案例

Source练习

avro
修改flume.properties

a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1
 
a1.sources.r1.type  =  avro
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222
 
a1.sinks.k1.type  =  logger
 
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100
 
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1
  1. 在/home/data下创建文件log.txt并编辑添加数据
  2. 在flume安装目录下的conf目录下执行命令启动agent
  3. 模拟发送avro在flume的bin目录下执行：
# 启动
./flume-ng avro-client -c ../conf -H hadoop01 -p 22222 -F /home/data/log.txt

Spooldir

a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1
 
a1.sources.r1.type  =  spooldir
a1.sources.r1.spoolDir = /home/data/spooldir
 
a1.sinks.k1.type  =  logger
 
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100
 
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

在/home/data目录下创建文件夹spooldir
启动
在spooldir中vim文件并添加内容并保存。发现flume日志中打印编辑内容。

Channel练习

channel部分一般都以内存为资源基础

a1.sources  =  r1
a1.sinks  =  k1 
a1.channels  =  c1

a1.sources.r1.type  =  http 
a1.sources.r1.bind  =  0.0.0.0 
a1.sources.r1.port  =  22222

a1.sinks.k1.type  =  logger

a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100

a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

Sink练习

Logger
a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1
 
a1.sources.r1.type  =  http
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222
 
a1.sinks.k1.type  =  logger
 
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100
 
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

Avro

a1.sources = r1

a1.sinks = k1

a1.channels = c1

a1.sources.r1.type = avro

a1.sources.r1.bind = 0.0.0.0

a1.sources.r1.port = 22222

a1.sinks.k1.type = avro

a1.sinks.k1.hostname = hadoop02

a1.sinks.k1.port = 22222

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

HDFS
a1.sources = r1

a1.sinks = k1

a1.channels = c1

a1.sources.r1.type = http

a1.sources.r1.bind = 0.0.0.0

a1.sources.r1.port = 22222

a1.sinks.k1.type = hdfs

a1.sinks.k1.hdfs.path = hdfs://hadoop01:9000/flume/data

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

集群部署

Hadoop01：JDK、Hadoop、Flume

Hadoop02：JDK、Flume

Hadoop03：JDK、Flume

只需要将hadoop01安装好的Flume文件夹发送到02 03两个节点相应的位置即可。

案例练习

多级

Hadoop01

a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1
 
a1.sources.r1.type  =  http
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222
 
a1.sinks.k1.type  =  avro
a1.sinks.k1.hostname  =  hadoop02
a1.sinks.k1.port  =  22222
 
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100
 
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

hadoop02

a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1
 
a1.sources.r1.type  =  avro
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222
 
a1.sinks.k1.type  =  avro
a1.sinks.k1.hostname  =  hadoop03
a1.sinks.k1.port  =  22222
 
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100
 
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1
hadoop03
a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1
 
a1.sources.r1.type  =  avro
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222
 
a1.sinks.k1.type  =  logger
 
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100

a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

扇入

Hadoop01

a1.sources  =  r1 
a1.sinks  =  k1 
a1.channels  =  c1

a1.sources.r1.type  =  http 
a1.sources.r1.bind  =  0.0.0.0 
a1.sources.r1.port  =  22222
  
a1.sinks.k1.type  =  avro
a1.sinks.k1.hostname  =  hadoop03
a1.sinks.k1.port  =  22222

a1.channels.c1.type  =  memory 
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100
 
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

Hadoop02

a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1
 
a1.sources.r1.type  =  http
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222
 
a1.sinks.k1.type  =  avro 
a1.sinks.k1.hostname  =  hadoop03 
a1.sinks.k1.port  =  22222
  
a1.channels.c1.type  =  memory 
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100
 
a1.sources.r1.channels  =  c1 
a1.sinks.k1.channel  =  c1

Hadoop03

a1.sources  =  r1 
a1.sinks  =  k1
a1.channels  =  c1
 
a1.sources.r1.type  =  avro
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222

a1.sinks.k1.type  =  logger

a1.channels.c1.type  =  memory 
a1.channels.c1.capacity  =  1000 
a1.channels.c1.transactionCapacity  =  100

a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

扇出

Hadoop01

a1.sources  =  r1 
a1.sinks  =  k1 k2 
a1.channels  =  c1 c2

a1.sources.r1.type  =  http
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222

a1.sinks.k1.type  =  avro 
a1.sinks.k1.hostname  =  hadoop02
a1.sinks.k1.port  =  22222 
 
a1.sinks.k2.type  =  avro 
a1.sinks.k2.hostname  =  hadoop03 
a1.sinks.k2.port  =  22222

a1.channels.c1.type  =  memory 
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100
 
a1.channels.c2.type  =  memory
a1.channels.c2.capacity  =  1000 
a1.channels.c2.transactionCapacity  =  100

a1.sources.r1.channels  =  c1 c2 
a1.sinks.k1.channel  =  c1 
a1.sinks.k2.channel  =  c2

Hadoop02

a1.sources  =  r1 
a1.sinks  =  k1
a1.channels  =  c1
 
a1.sources.r1.type  =  avro 
a1.sources.r1.bind  =  0.0.0.0 
a1.sources.r1.port  =  22222
 
a1.sinks.k1.type  =  logger
 
a1.channels.c1.type  =  memory 
a1.channels.c1.capacity  =  1000 
a1.channels.c1.transactionCapacity  =  100
 
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1
Hadoop03
a1.sources  =  r1 
a1.sinks  =  k1 
a1.channels  =  c1

a1.sources.r1.type  =  avro
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222
 
a1.sinks.k1.type  =  logger
 
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000 
a1.channels.c1.transactionCapacity  =  100
  
a1.sources.r1.channels  =  c1 
a1.sinks.k1.channel  =  c1

项目、Flume、HDFS整合
log4j和flume整合
配置log4j.properties

log4j.rootLogger = info,stdout,flume
 
log4j.appender.stdout = org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.Target = System.out 
log4j.appender.stdout.layout = org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern = %m%n
 
 
 
# appender flume 
log4j.appender.flume = org.apache.flume.clients.log4jappender.Log4jAppender 
log4j.appender.flume.Hostname = hadoop01
log4j.appender.flume.Port = 22222
log4j.appender.flume.UnsafeMode = true

Flume和HDFS整合

配置flume.properties
#命名Agent a1的组件
a1.sources  =  r1 
a1.sinks  =  k1 
a1.channels  =  c1
 
#描述/配置Source 
a1.sources.r1.type  =  avro 
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222
 
#描述Sink
a1.sinks.k1.type  =  hdfs 
a1.sinks.k1.hdfs.path = hdfs://hadoop01:9000/jt/data
a1.sinks.k1.hdfs.fileType=DataStream
 
#描述内存Channel 
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100
 
#为Channle绑定Source和Sink
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

​​​​​​​

进阶:自定义Sink

pom

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
 
    <groupId>cn.tedu</groupId>
    <artifactId>flume</artifactId>
    <version>1.0-SNAPSHOT</version>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-core</artifactId>
            <version>1.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flume.flume-ng-sinks</groupId>
            <artifactId>flume-hdfs-sink</artifactId>
            <version>1.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flume.flume-ng-sinks</groupId>
            <artifactId>flume-hive-sink</artifactId>
            <version>1.9.0</version>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.14</version>
        </dependency>
 
    </dependencies>
</project>

代码

package cn.tedu.flume;
 
import org.apache.flume.*;
import org.apache.flume.conf.Configurable;
import org.apache.flume.sink.AbstractSink;
import org.slf4j.LoggerFactory;
import org.slf4j.Logger;
 
/**
 * 自定义flume-sink
 */
public class MySink extends AbstractSink implements Configurable {
    private static final Logger LOG = LoggerFactory.getLogger(MySink.class);
 
    public Status process() throws EventDeliveryException {
        Status stat;
        Channel channel = getChannel();
        Transaction transaction = channel.getTransaction();
        Event event;
        transaction.begin();
 
        while(true){
            event = channel.take();
            if(event != null){
                break;
            }
        }
 
        try {
            LOG.info(new String(event.getBody()));
            LOG.info("输出在这里");
            transaction.commit();
            stat = Status.READY;
        } catch (Exception e) {
            e.printStackTrace();
            transaction.rollback();
            stat = Status.BACKOFF;
        } finally {
            transaction.close();
        }
 
        LOG.info(stat.toString());
        return stat;
    }
 
    public void configure(Context context) {
 
    }
}

打成jar包上传至flume安装目录中的lib目录下
修改配置文件

mysink.properties

a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1
 
a1.sources.r1.type  =  http
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222 
 
a1.sinks.k1.type  =  cn.tedu.flume.MySink
 
a1.channels.c1.type  =  memory 
a1.channels.c1.capacity  =  1000 
a1.channels.c1.transactionCapacity  =  100
 
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

启动

../bin/flume-ng agent -c ./ -f ./mysink.properties -n a1 -Dflume.root.logger=INFO,console
雨の泣
关注
flume三个案例
zengxianglei的博客--手指星辰 奈何天！
04-12 331
flume 安装 及测试 netcat-logs.conf Flume : Flume 安装 上传包 解压 到 conf 目录下 flume.env.sh 配置 jdk 即可 vi netcat-logger.conf 定义这个 agent 中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1 描述和配置 source 组件：r1 a...
Flume多节点的搭建
Carroll的学习博客
11-28 1749
在前面的blog中，我们在5台虚拟机中搭建了flume的单节点，这篇博客主要讲述搭建flume-ng。 -5台虚拟机 -apache-flume-1.6.0-bin.tar.gz1、在master节点上，解压压缩包到/usr/local下面tar -zxvf apache-flume-1.6.0-bin.tar.gz flume-1.7 mv flume-1.7 /usr/local/2、配置环境
flume笔记
qq_47721411的博客
12-15 173
flume笔记
flume多节点集群搭建
热门推荐
leanaoo的博客
11-20 1万+
概览 1.Flume流程简介 2.规划 3.配置 4.启动测试 5.注意 准备 操作系统:CentOS 7 搭建好hadoop集群 Flume版本:1.8.0 jdk版本:1.8.0_141 工具:Xshell 5,Xftp 5,VMware Workstation Pro 1.Flume流程简介 Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合...
flume-ng 多节点集群示例
think的专栏
01-12 2842
假设：现有两台机子，命名为：agent，collect。 agent IP地址为：192.168.150.137， collect为192.168.150.135 要求：实现agent到collect的连接，并能向collect发送日志。 步骤： 两台电脑上分别装上 jdk,flume-ng（不是flume-og），配置好profile。 agent的处理   (1
大数据技术之Flume教程
04-18
### 大数据技术之Flume教程 #### 一、Flume概述 Flume是由Cloudera公司提供的一个高效、可靠且分布式的大规模日志采集、汇聚与传输的系统。其设计基于流式架构，旨在为用户提供灵活且简单的日志管理方案。 **1.1 ...
大数据学习之Flume——02Flume安装及配置文件
bingque6535的博客
05-24 647
一. flume安装: 将flume安装包解压并到指定目录 flume-env.sh.template重命名为flume-env.sh flume-env.sh文件中,配置JAVA_HOME的路径 配置flume的环境变量 验证: 执行flume-ng version:如果显示flume的版本信息,则说明flume就安装成功了 二. 单节点配置 1. 单节点的配置文件 将配置信息写到node02节点的 ~/dirflume目录下的option文件中:# example.conf: A single-
大数据技术之Flume.docx
03-03
《大数据技术之Flume详解》 Flume，作为Cloudera提供的一个关键的大数据工具，是专门设计用于高效、可靠、分布式地收集、聚合和传输大量日志数据的系统。其基于流式架构，具有高度灵活性和简易性，使得数据的处理和...
【学习笔记】大数据技术之Flume
prague6695的博客
03-30 1753
这里写目录标题思考？1. 在实时监控目录下的多个追加文件中，更名文件怎样解决？2. 三个source有哪些？3. 自定义source时，会出现相同i的情况，为什么？4. put的dorollback中，为什么TaildirSource不会丢数据而netcat会丢数据？第 1 章 Flume 概述1.1 Flume 定义1.2 Flume 基础架构1.2.1 Agent1.2.2 Source1.2.3 Sink1.2.4 Channel1.2.5 Event第 2 章 Flume 入门2.1 Flume 安
大数据Flume系列之Flume集群搭建
Lyncai的专栏
03-24 1841
1. 概念 集群的意思是多台机器，最少有2台机器，一台机器从数据源中获取数据，将数据传送到另一台机器上，然后输出。接下来就要实现Flume集群搭建。集群如下图所示。 2. Flume搭建 2.1 部署准备 部署主机 192.168.9.139 host14 192.168.9.128 host15 host14主机下载flume软件包 # cd /opt/tools # wget http://mirrors.tuna.tsinghu..
Flume Agent 内部原理概述
SmallCatBaby的博客
05-25 1046
一.概述 Flume将数据表示为事件，事件是非常简单的数据结构，具有一个主体和一个报头集合，事件的主体是一个字节数组，通常是是Flume传送过来的负载，抱头被标记为一个map，其中有字符串key和字符串value。报头并不是用来传输数据的，只是为了路由和标记事件的优先级。报头也可以用来给事件增加ID或者UUID。 每个事件本质上必须是一个独立的记录，而不是...
flume将数据导入到hbase中
小强签名设计 的博客
05-17 4472
安装flume： [hadoop@h71 ~]$ tar -zxvf flume-ng-1.6.0-cdh5.5.2.tar.gz 修改 flume-env.sh 配置文件,主要是JAVA_HOME变量设置 [hadoop@h71 apache-flume-1.6.0-cdh5.5.2-bin]$ cp conf/flume-env.sh.template conf/flume-env.sh
在hadoopHA节点上部署flume高可用组件
pysense的博客
11-24 1079
文章目录前言1、flume 的基本介绍1.1 基本介绍1.2 数据流模型2、flume的配置文件说明2.1 配置过程3、单点flume agent测试3.1 基本安装3.2 启动flume agent进程3.3 将source.type配成tail F4、flume高可用配置4.1 三个agent的flume配置4.2 配置 collector 前言 前面的blog已实现了hadoopHA的项...
Ftp压缩文件下载到本地进行解压发送Flume
Bian_MCheng的博客
08-16 1314
677807540    java开发交流群 1:controller进入 @Scheduled(cron="0 22 */1 * * ?") public void FtpToEs(){ System.out.println("FTP开始运行"); ftpToEsService.getFtptoEs(); System.out.println("FTP结束运行"); }...
2.5.5 hadoop体系之离线计算-Flume日志收集系统-Flume高可用方案
敲代码的乔帮主
11-05 153
目录 1.角色分配 2.node01安装和配置 3.Node02 与 Node03 配置 FlumeCollection 4.顺序启动 5.Failover 测试 1.角色分配 在完成单点的Flume NG搭建后，下面我们搭建一个高可用的Flume NG集群。Flume的Agent和Collector分布如下表所示： node01作为主节点，node02和node03作为从节点 图中所示，Agent1数据分别流入到Collector1和Collector2，Flume NG本身提供了F
Flume基础
ho_ll_ow的博客
10-17 167
Flume：是Cloudera提供的一个高可用的、高可靠的、分布式的海量日志收集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写道各种数据接收方(可定制)的能力。 Flume有两个重要版本： Flume 0.9X版本的统称Flume-og， Flume 1.X版本的统称Flume-ng。 由于Flume-ng经过重大重构，...
Hadoop服务端口号、Spark端口号、Hive端口号以及启动命令
最新发布
m0_70882914的博客
10-09 613
Hadoop服务端口号、Spark端口号、Hive端口号以及启动命令
大数据毕业设计选题推荐-国产电影数据分析-Python数据可视化-Hive-Hadoop-Spark
IT研究室的博客
10-08 1449
随着中国电影市场的蓬勃发展，电影产业已成为我国文化娱乐产业的重要组成部分。根据艾媒咨询的数据，2023年中国“十一”黄金周电影市场总票房累计27.34亿，观影人次超6511.4万，同比增长80%。这一增长态势不仅体现了中国电影市场的活力，也反映了观众对于高质量影视作品的迫切需求。国产电影通过多样化的题材和创新的叙事手法，不断吸引着观众的目光，同时也积累了海量的数据资源。这些数据涵盖了电影的票房、评分、观众评价等多个方面，为电影产业的深入研究提供了丰富的素材。
尚硅谷大数据技术：Flume详解
"这份文档是关于大数据技术中的Flume的学习资料，主要介绍了Flume的基本概念、组件架构以及Source、Channel和Sink的详细功能。" 在大数据处理领域，Flume是一款非常重要的工具，由Cloudera开发，用于高效、可靠地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值