大数据学习--flume

最新推荐文章于 2024-04-29 21:08:01 发布
最新推荐文章于 2024-04-29 21:08:01 发布
阅读量181 收藏 2
点赞数 1
文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wgyzzzz/article/details/108168571
版权

文章目录

官方文档

中文官方文档

flume概述

Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具

flume架构

Client：客户端，数据产生的地方，如Web服务器
Event：事件，指通过Agent传输的单个数据包，如日志数据通常对应一行数据
Agent：代理，一个独立的JVM进程

Flume以一个或多个Agent部署运行
Agent包含三个组件:Source,Channel,Sink

在这里插入图片描述

Agent中的三个组件Source、Channel、Sink
Source表示从哪里读
Channel表示存储方式
Sink表示传输到哪里去

Sources

netcat（监控一个端口）

在这里插入图片描述
在/opt/flume1.6/conf/job目录下创建一个conf文件netcat-flume-logger.conf

#Name 给三个组件起别名
a1.sources = r1   
a1.sinks = k1     
a1.channels = c1   

#Sources：类型选用netcat 监控的端口为本地的44444端口
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

#Sink：类型选为logger直接在控制台输出方便测试
a1.sinks.k1.type = logger

#Channel：类型选用memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#Bind 定义连接
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

保存后启动agent命令

flume-ng agent 
--conf /opt/flume1.6/conf     //flume目录下的conf文件夹路径
--conf-file /opt/flume1.6/conf/job/netcat-flume-logger.conf   //自己编写的conf文件路径
--name a1   //自己编写的conf文件中的名字a1
-Dflume.root.logger=INFO,console   //当sink类型为logger时 此参数表示从控制台输出 其他类型不需要

简写形式：

flume-ng agent -c conf -f /opt/flume1.6/conf/job/netcat-flume-logger.conf -n a1 -Dflume.root.logger=INFO,console

启动之后：

在这里插入图片描述
新开一个虚拟机窗口
输入命令进入44444端口
telnet localhost 44444
如果报错，执行下列命令安装telnet

yum list telnet*			列出telnet相关的安装包
yum install telnet-server	安装telnet服务
yum install telnet.*		安装telnet客户端

成功后显示：

在这里插入图片描述

在端口输入任意字符：

在这里插入图片描述

都会在之前开启的监控窗口中输出在控制台：
在这里插入图片描述

exec（根据命令监控 一般是tail或cat）

在这里插入图片描述
在/opt/flume1.6/conf/job目录下创建一个conf文件exec-flume-logger.conf

a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = exec
a1.sources.r1.command = tail -f /data/test.log  // 文件格式任意 一般监控日志文件 

a1.sinks.k1.type = logger   //这里的sink还是选择控制台输出

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动agent之后
往/data/test.log文件中传输字段

控制台就会显示
在这里插入图片描述

spooldir（监控一个文件夹）

在这里插入图片描述

在/opt/flume1.6/conf/job目录下创建一个conf文件spooldir-flume-hdfs.conf

a1.sources = r1
a1.channels = c1
a1.sinks = s1

a1.sources.r1.type = spooldir  //source类型为spooldir
a1.sources.r1.spoolDir = /data/test  //监控的文件夹
a1.sources.r1.deserializer = LINE  
a1.sources.r1.deserializer.maxLineLength = 600000
a1.sources.r1.includePattern = test__[0-9]{4}-[0-9]{2}-[0-9]{2}.csv  //监控符合此正则表达式的文件

a1.channels.c1.type = file   //channel类型选择file 
a1.channels.c1.checkpointDir = /opt/kb07Flume/flumeFile/checkpoint/test
a1.channels.c1.dataDirs = /opt/kb07Flume/flumeFile/data/test

a1.sinks.s1.type = hdfs   //sink类型选择hdfs  结果输出到hdfs上
a1.sinks.s1.hdfs.fileType = DataStream
a1.sinks.s1.hdfs.filePrefix = test_     //输出到hdfs上是加的前缀
a1.sinks.s1.hdfs.fileSuffix = .csv   //输出到hdfs上是加的后缀
a1.sinks.s1.hdfs.path = hdfs://192.168.226.101:9000/data/test/%Y-%m-%d    //hdfs路径
a1.sinks.s1.hdfs.useLocalTimeStamp = true       //是否使用本地时间戳
a1.sinks.s1.hdfs.batchSize = 640
a1.sinks.s1.hdfs.rollCount = 0
a1.sinks.s1.hdfs.rollSize = 64000000
a1.sinks.s1.hdfs.rollInterval = 30

a1.sources.r1.channels = c1
a1.sinks.s1.channel = c1

taildir（监控多个文件或者文件夹 特点是：断点续传）

在这里插入图片描述

a1.sources = r1   
a1.sinks = k1     
a1.channels = c1  

a1.sources.r1.type = TATLDIR
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /data/test1.log
a1.sources.r1.filegroups.f2 = /data/test2.txt
#存储inode信息 实现断点续传 不配置会传入默认文件夹
a1.sources.r1.positionFile = /opt/position/position.json

a1.sinks.k1.type = logger

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

avro

在这里插入图片描述
avro的source和sink可以参考下面的负载均衡和故障转移

Channels

memory（内存存储 速度快 但是不安全）

a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = exec
a1.sources.r1.command = tail -f /data/test.log  

a1.sinks.k1.type = logger  

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

file（本地文件存储 安全 速度慢）

a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = spooldir
a1.sources.s1.spoolDir = /opt/kb07Flume/flumeFile/test
a1.sources.s1.deserializer = LINE
a1.sources.s1.deserializer.maxLineLength = 60000
a1.sources.s1.includePattern = test_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv

a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /opt/kb07Flume/flumeFile/checkpoint/test
a1.channels.c1.dataDirs = /opt/kb07Flume/flumeFile/data/test

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.batchSize = 640
a1.sinks.k1.brokerList = 192.168.226.101:9092
a1.sinks.k1.topic = test

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

Sinks

logger（输出到控制台）

a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = exec
a1.sources.r1.command = tail -f /data/test.log  

a1.sinks.k1.type = logger   

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

hdfs（输出到hdfs）

a1.sources = r1
a1.channels = c1
a1.sinks = s1

a1.sources.r1.type = spooldir  //source类型为spooldir
a1.sources.r1.spoolDir = /data/test  //监控的文件夹
a1.sources.r1.deserializer = LINE  
a1.sources.r1.deserializer.maxLineLength = 600000
a1.sources.r1.includePattern = test__[0-9]{4}-[0-9]{2}-[0-9]{2}.csv  //监控符合此正则表达式的文件

a1.channels.c1.type = file   //channel类型选择file 
a1.channels.c1.checkpointDir = /opt/kb07Flume/flumeFile/checkpoint/test
a1.channels.c1.dataDirs = /opt/kb07Flume/flumeFile/data/test

a1.sinks.s1.type = hdfs   //sink类型选择hdfs  结果输出到hdfs上
a1.sinks.s1.hdfs.fileType = DataStream
a1.sinks.s1.hdfs.filePrefix = test_     //输出到hdfs上是加的前缀
a1.sinks.s1.hdfs.fileSuffix = .csv   //输出到hdfs上是加的后缀
a1.sinks.s1.hdfs.path = hdfs://192.168.226.101:9000/data/test/%Y-%m-%d    //hdfs路径
a1.sinks.s1.hdfs.useLocalTimeStamp = true       //是否使用本地时间戳
a1.sinks.s1.hdfs.batchSize = 640
a1.sinks.s1.hdfs.rollCount = 0
a1.sinks.s1.hdfs.rollSize = 64000000
a1.sinks.s1.hdfs.rollInterval = 30

a1.sources.r1.channels = c1
a1.sinks.s1.channel = c1

kafka（输出到kafka）

a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = spooldir
a1.sources.s1.spoolDir = /opt/kb07Flume/flumeFile/test
a1.sources.s1.deserializer = LINE
a1.sources.s1.deserializer.maxLineLength = 60000
a1.sources.s1.includePattern = test_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv

a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /opt/kb07Flume/flumeFile/checkpoint/test
a1.channels.c1.dataDirs = /opt/kb07Flume/flumeFile/data/test

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.batchSize = 640
a1.sinks.k1.brokerList = 192.168.226.101:9092
a1.sinks.k1.topic = test

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

filr row(保存在本地文件)

可以参考下面的 复制

选择器副本机制（复制）

模式为一份输入，多份输出
需要创建两个channel 两个sink 一份输出到hdfs 一分输出保存到本地文件
创建flume1.conf

#Name  复制
a1.sources = r1
a1.channels = c1 c2
a1.sinks = k1 k2

#Source
a1.sources.r1.type = TATLDIR
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /data/test1.log
#存储inode信息 实现断点续传 不配置会传入默认文件夹
a1.sources.r1.positionFile = /opt/position/position1.json

#Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100

#Sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop1
a1.sinks.k1.port = 4141

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop1
a1.sinks.k2.port = 4142

#Bind
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

创建flume2.conf

a2.sources = r1
a2.channels = c1
a2.sinks = k1


a2.sources.r1.type = avro
a2.sources.r1.bind = hadoop1
a2.sources.r1.port = 4141

#Channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

#Sink
a2.sinks.k1.type = hdfs   
a2.sinks.k1.hdfs.fileType = DataStream
a2.sinks.k1.hdfs.filePrefix = test_     
a2.sinks.k1.hdfs.fileSuffix = .csv   
a2.sinks.k1.hdfs.path = hdfs://192.168.226.101:9000/data/test/%Y-%m-%d    
a2.sinks.k1.hdfs.useLocalTimeStamp = true     
a2.sinks.k1.hdfs.batchSize = 640
a2.sinks.k1.hdfs.rollCount = 0
a2.sinks.k1.hdfs.rollSize = 64000000
a2.sinks.k1.hdfs.rollInterval = 30

#Bind
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

创建flume3.conf

a3.sources = r1
a3.channels = c1
a3.sinks = k1


a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop1
a3.sources.r1.port = 4142

#Channel
a3.channels.c1.type = memory
a3.channels.c1.capacity = 1000
a3.channels.c1.transactionCapacity = 100

#Sink:file_row保存到本地文件 需要先创建目录
a3.sinks.k1.type = file_row   
a3.sinks.k1.sink.directory = /data/file_row


#Bind
a3.sources.r1.channels = c1
a3.sinks.k1.channel = c1

故障转移

模式为一个channel对两个sinks，优先使用优先级高的 k2挂掉 自动使用k1

创建三个flume.conf

flume1.conf

#故障转移 

#Name
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1
a1.sinkgroups = g1

#Sources
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

#Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#Sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop1
a1.sinks.k1.port = 4141

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop1
a1.sinks.k2.port = 4142

#Sink Group
a1.sinkgroups.g1.sink = k1 k2
#故障转移的策略
a1.sinkgroups.g1.processor.type = failover
#优先级
a1.sinkgroups.g1.processor.priority.k1 = 5
a1.sinkgroups.g1.processor.priority.k2 = 10
a1.sinkgroups.g1.processor.maxpenalty = 10000

#Bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1

flume2.conf

#Name
a2.sources = r1
a2.sinks = k1
a2.channels = c1

#Sources
a2.sources.r1.type = avro
a2.sources.r1.bind = hadoop1
a2.sources.r1.port = 4141

#Channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

#Sink
a2.sinks.k1.type = logger

#Bind
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

flume3.conf

#Name
a3.sources = r1
a3.sinks = k1
a3.channels = c1

#Sources
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop1
a3.sources.r1.port = 4142

#Channel
a3.channels.c1.type = memory
a3.channels.c1.capacity = 1000
a3.channels.c1.transactionCapacity = 100

#Sink
a3.sinks.k1.type = logger

#Bind
a3.sources.r1.channels = c1
a3.sinks.k1.channel = c1

负载均衡

模式为一个source输入 将接受的信息平均分发到多个sink上 不会造成数据倾斜

先创建三个flume.conf

创建flume1.conf

#负载均衡

#Name
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1
a1.sinkgroups = g1

#Sources
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

#Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#Sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop1
a1.sinks.k1.port = 4141

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop1
a1.sinks.k2.port = 4142

#Sink Group
a1.sinkgroups.g1.sink = k1 k2
#负载均衡的策略
a1.sinkgroups.g1.processor.type = load_balance
a1.sinkgroups.g1.processor.backoff = true
a1.sinkgroups.g1.processor.selector = random

#Bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1

创建flume2.conf

#Name
a2.sources = r1
a2.sinks = k1
a2.channels = c1

#Sources
a2.sources.r1.type = avro
a2.sources.r1.bind = hadoop1
a2.sources.r1.port = 4141

#Channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

#Sink
a2.sinks.k1.type = logger

#Bind
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

创建flume3.conf

#Name
a3.sources = r1
a3.sinks = k1
a3.channels = c1

#Sources
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop1
a3.sources.r1.port = 4142

#Channel
a3.channels.c1.type = memory
a3.channels.c1.capacity = 1000
a3.channels.c1.transactionCapacity = 100

#Sink
a3.sinks.k1.type = logger

#Bind
a3.sources.r1.channels = c1
a3.sinks.k1.channel = c1

自定义拦截器

在idea中编写自定义拦截器并打包上传到/opt/flume1.6/lib

导入maven依赖

<dependency>
      <groupId>org.apache.flume</groupId>
      <artifactId>flume-ng-core</artifactId>
      <version>1.6.0</version>
    </dependency>

package cn.kgc.kb07.flume;

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;

/**
 * @author WGY
 * 拦截器
 */
public class InterceptorDemo implements Interceptor {
    //声明一个存放时间的集合
    private List<Event> addHeaderEvents;

    @Override
    public void initialize() {
        //初始化
        addHeaderEvents = new ArrayList<>();

    }

    //对单个事件处理
    @Override
    public Event intercept(Event event) {
        //获取事件中的头信息
        Map<String, String> headers = event.getHeaders();

        //获取事件中的body信息
        String body = new String(event.getBody());

        //根据body中是否含有“hello”来决定添加怎样的头信息
        if(body.contains("hello")){
            //添加头信息
            headers.put("type","1");
        }else{
            //添加头信息
            headers.put("type","2");
        }


        return null;
    }

    //对批量事件处理
    @Override
    public List<Event> intercept(List<Event> list) {
        //1、清空集合
        addHeaderEvents.clear();
        //2、遍历list，
        for (Event event : list) {
            //3、给每一个事件添加头信息
            addHeaderEvents.add(intercept(event));
        }
        //返回结果
        return addHeaderEvents;
    }

    @Override
    public void close() {

    }

    public static class Builder implements Interceptor.Builder{

        @Override
        public Interceptor build() {
            return new InterceptorDemo();
        }

        @Override
        public void configure(Context context) {

        }
    }
}


a1.sources = r1
a1.channels = c1 c2
a1.sinks = k1 k2

a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

a1.sources.r1.interceptors = i1   //自定义拦截器
a1.sources.r1.interceptors.i1.type = cn.kgc.kb07.flume.InterceptorDemo$Builder  

a1.sources.r1.selector.type = multiplexing  //定义选择器
a1.sources.r1.selector.header = type
a1.sources.r1.selector.mapping.gree = c1
a1.sources.r1.selector.mapping.lijia = c2

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100


a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.filePrefix = gree
a1.sinks.k1.hdfs.fileSuffix = .csv
a1.sinks.k1.hdfs.path = hdfs://192.168.226.101:9000/data/greedemo/%Y-%m-%d
a1.sinks.k1.hdfs.useLocalTimeStamp = true
a1.sinks.k1.hdfs.batchSize = 640
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.rollSize = 100
a1.sinks.k1.hdfs.rollInterval = 3

a1.sinks.k2.type = hdfs
a1.sinks.k2.hdfs.fileType = DataStream
a1.sinks.k2.hdfs.filePrefix = lijia
a1.sinks.k2.hdfs.fileSuffix = .csv
a1.sinks.k2.hdfs.path = hdfs://192.168.226.101:9000/data/lijiademo/%Y-%m-%d
a1.sinks.k2.hdfs.useLocalTimeStamp = true
a1.sinks.k2.hdfs.batchSize = 640
a1.sinks.k2.hdfs.rollCount = 0
a1.sinks.k2.hdfs.rollSize = 100
a1.sinks.k2.hdfs.rollInterval = 3

a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2
日写BUG八百行
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据Flume学习视频-免费
01-14
这个是大数据Flume的学习视频，希望可以和大家一起学习！
大数据技术Flume的学习
weixin_44050355的博客
02-20 67
Flume主要用来传输数据。
大数据技术-Flume学习笔记
xiaoyixiao_的博客
03-01 1768
大数据技术-Flume学习笔记
大数据组件学习-Flume
weixin_41085114的博客
04-30 107
持续更新中… Flume（一）Flume原理解析
大数据学习-基础篇
Oyk_SunshineBoy的博客
10-23 188
文章目录前言一、编程基础二、大数据核心框架三、离线数仓和实时数仓总结 前言 随着互联网的不断发展，大数据是互联网高速发展的产物。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。大数据学习这门技术也越来越重要，很多人都开启了大数据开发之旅，本文主要简单的介绍大数据开发学习的基础内容。 以下是本篇文章正文内容，主要介绍一下大数据开发学习的相关知识与学习路线，下面案例可供参考： 一、编程基础 入门大数
大数据组件-Flume集群环境搭建
默默发展，无声壮大~
09-01 1275
Flume是一个分布式、可靠和高可用性的数据采集工具，用于将大量数据从各种源采集到Hadoop生态系统中进行处理。在大型互联网企业的数据处理任务中，Flume被广泛应用。Flume集群环境介绍：Agent：Flume的基本组成单元是Agent，用于在不同的节点之间传输数据。Agent可以是单节点或分布式部署。Source：Source是Flume数据采集的起点，用于从数据源（如日志文件、网络流、消息队列等）中获取数据并将其发送到Channel中。
大数据开发--hadoop全套学习课程--百度网盘
03-23
包含常见大数据技术的资料和视频，例如 hadoop2.x、hive、hbase、flume、storm、spark等，以及mongodb、redis数据库资料等。资源需要下载，解压密码见文件名
大数据技术Flume1.9
04-10
02-Flume-学习任务.avi 03-Flume-概念.mp4 05-Flume-安装.avi 06-Flume官网案例-需求说明.avi 07-Flume官网案例 -配置信息.avi 10-Flume监控本地文件上传HDFS-案例测试.avi 14-Flume动态监控多目录多文件-修改源码....
大数据学习文档.zip
01-05
大数据学习文档，其中包含有，MR，hive，sqoop，zk，flume，等等，恰同学少年，风华正茂，挥斥方遒。
flume配置
yujinlong2002的博客
04-26 290
删除Flume安装目录的lib目录下的guava-11.0.2.jar包，之后查看/etc/profile文件中的Hadoop安装目录，将Hadoop安装目录的/share/hadoop/common/lib/目录中的guava-27.0-jre.jar复制至Flume安装目录的lib目录。进入Flume安装目录的conf目录，将flume-env.sh.template重命名为flume-env.sh，Java安装目录添加至flume-env.sh文件末尾。个人笔记：仅供参考如有错误望指正。
Flume 搭建和操作使用的详细教程
zp8126的专栏
04-20 1106
* 下载安装包：apache-flume-1.11.0-bin .tar.gz * 上传至 linux 的 /opt/ 目录下 * 解压至 /opt/apps（可以自定义目录） * 修改简短名称（方便配置） * 配置环境变量（方便调用）
【ROMA解决方案和功能架构】
数据也是生产力，保持热爱，奔赴山海！
04-23 795
1、基于ROMA融合集成平台，实现企业应用、数据、API 、OT设备、云服务、合作伙伴应用之间的集成连接。2、ROMA主要包含四个组件：数据集成（Fast Data Integration，简称FDI）、服务集成（API Connect，简称APIC）、消息集成（Message Queue Service，简称MQS）、设备集成（LINK）。
生产数据采集系统
weixin_50072277的博客
04-23 694
在数字化浪潮的推动下，生产数据采集系统已经成为企业提升生产效率、优化运营管理的关键工具。那么，什么是生产数据采集系统呢？简单来说，生产数据采集系统是指通过一系列技术手段，实时收集、处理和分析生产线上的各类数据，从而为企业的决策提供有力支持的系统。
哪些情况下左联接的数据量比左表大？
Java/Python/大数据干货分享
04-26 347
本文主要探讨SQL和Pandas左连接数据量比左表大的问题。在某些情况下，执行左连接时，SQL和Pandas输出的结果会比左表数据量大。这是为什么呢？左连接是关系型数据库中最常见的连接之一。它的作用是从左表中取出所有的行，以及与右表匹配的所有行。如果某个行在右表中没有匹配到，则会在输出结果中以NULL的形式呈现1）左表与右表为一对多或多对多2）左表与右表关联键都存在空值NULL1）视情景删除或聚合右表中重复关联键的数据2）过滤表中关联键值为NULL的行。
25计算机考研院校数据分析 | 电子科技大学
最新发布
m0_72717598的博客
04-29 412
是国家“985工程”、“211工程”、“世界一流大学和一流学科”重点建设高校，入选“2011计划”、“111计划”、“卓越工程师教育培养计划”、“国家建设高水平大学公派研究生项目”、“中国政府奖学金来华留学生接收院校”，两电一邮成员。题库中抽取题目作答，重点考查程序设计、算法设计与分析、软件工程、计算机组成原理、数据库、计算机网络、编译原理、密码学（该科目限报考083900网络空间安全专业考生）等基础知识情况。101思想政治理论、201英语一、301数学一、820计算机专业基础【22数据结构+操作系统】
25计算机考研院校数据分析 | 四川大学
m0_72717598的博客
04-24 648
复试成绩总分为200分，其中笔试部分占100分，面试占60分，外语能力测试占40分，笔试、面试和外语听说能力成绩之和为复试成绩，复试成绩折合成百分制应不低于60分，否则视为复试不合格，不予录取。复试成绩总分为200分，其中笔试部分占100分，面试占60分，外语能力测试占40分，笔试、面试和外语听说能力成绩之和为复试成绩。复试成绩折合成百分制应不低于60分，否则视为复试不合格，不予录取。复试成绩总分为200分，其中笔试部分和实践能力部分共占120分，面试占80分，笔试和面试成绩之和为复试成绩。
hbase MultiRowRangeFilter的原理、作用和实例
linweidong的专栏
04-26 237
是HBase中的一个过滤器，用于在扫描操作中过滤多个行键范围。
Rabbitmq消息应答，持久化，权重分配(7)
weixin_45751763的博客
04-24 900
Rabbitmq的消息应答，持久化，权重分配机制
状态后端的选择，真实业务场景使用File system?还是使用RocksDB？
别这么骄傲
04-24 415
2.operator-state：算子状态，状态值和算子绑定，flink中的kafka source算子中用于存储kafka offset的state就是算子状态；flink有source算子、transformation算子、sink算子等，数据肯定是经过算子进行处理和计算的，1.keyed-state: 键值状态（k-v形式存储），状态值和key绑定，flink中的。，单纯从访问State状态的性能来说，File system比Rocksdb好；状态后端中存储的状态（本地状态）使用磁盘存储State，
大数据最佳实践-spark structstreaming
09-07
5. 流式机器学习：StructStreaming可以与Spark的机器学习库集成，实现基于流数据的实时机器学习模型训练和预测。通过结合流式数据和机器学习算法，可以实现实时的数据分析和预测。 总而言之，Spark StructStreamin...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值