Flume

最新推荐文章于 2024-11-05 14:55:45 发布
最新推荐文章于 2024-11-05 14:55:45 发布
阅读量215 收藏
点赞数
文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63713552/article/details/133243511
版权

Flume

1.Flume概述

1.1 Flume定义

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

1.2 Flume基础架构

Flume组成架构如下图所示。

1.2.1 Agent

Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。

Agent主要有3个部分组成，Source、Channel、Sink。

1.2.2 Source

Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、taildir、sequence generator、syslog、http、legacy。

1.2.3 Sink

Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。

Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。

1.2.4 Channel

Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。

Flume自带两种Channel：Memory Channel和File Channel。

Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。

File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

1.2.5 Event

传输单元，Flume数据传输的基本单元，以Event的形式将数据从源头送至目的地。Event由Header和Body两部分组成，Header用来存放该event的一些属性，为K-V结构，Body用来存放该条数据，形式为字节数组。

2. Flume安装部署

解压，改名

[root@kb129 install]# tar -xvf ./apache-flume-1.9.0-bin.tar.gz -C ../soft/

复制一份配置文件，并进行配置

[root@kb129 conf]# cp flume-env.sh.template flume-env.sh

[root@kb129 conf]# vim ./flume-env.sh

22 export JAVA_HOME=/opt/soft/jdk180

25 export JAVA_OPTS="-Xms2000m -Xmx2000m -Dcom.sun.management.jmxremote"

将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop 3.1.3

找到flume下现有的guava jar包并删除

[root@kb129 lib]# find ./ -name guava*

./guava-11.0.2.jar

[root@kb129 lib]# rm -rf ./guava-11.0.2.jar

拷贝新hadoop内的guava至flume内

[root@kb129 lib]# pwd

/opt/soft/hadoop313/share/hadoop/hdfs/lib

[root@kb129 lib]# cp ./guava-27.0-jre.jar /opt/soft/flume190/lib/

安装工具

[root@kb129 conf]# yum install -y net-tools

[root@kb129 conf]# yum install -y nc           #安装netcat服务

[root@kb129 conf]# yum install -y telnet-server   #安装netcat服务

[root@kb129 conf]# yum install -y telnet.*       #安装netcat客户端

测试工具

启动服务端口

[root@kb129 conf]# nc -lk 7777

连接服务器

[root@kb129 conf]# telnet localhost 7777

查看端口是否占用

[root@kb129 conf]# netstat -lnp | grep 7777

tcp        0      0 0.0.0.0:7777            0.0.0.0:*               LISTEN      9264/nc            

tcp6       0      0 :::7777                 :::*                  LISTEN      9264/nc 

2.2 Flume入门案例

2.2.1 监控端口数据官方案例

1）案例需求：

使用Flume监听一个端口，收集该端口数据，并打印到控制台。

2）需求分析：本次使用的端口为7777

3）实现步骤：

创建myconf2文件夹，写入监控配置文件

[root@kb129 lib]# cd ../conf/myconf2/

[root@kb129 myconf2]# vim ./netcat-logger.conf

a1.sources=r1

a1.channels=c1

a1.sinks=k1


# Describe/configure the source

a1.sources.r1.type=netcat

a1.sources.r1.bind=localhost

a1.sources.r1.port=7777


# Use a channel which buffers events in memory

a1.channels.c1.type=memory


# Describe the sink

a1.sinks.k1.type=logger


# Bind the source and sink to the channel

a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

启动监控命令（a1，conf目录，conf文件，指定控制台输出info信息）

[root@kb129 flume190]# ./bin/flume-ng agent --name a1 --conf ./conf/ --conf-file ./conf/myconf2/netcat-logger.conf -Dflume.root.logger=INFO,console

参数说明：

        --conf/-c：表示配置文件存储在conf/目录

        --name/-n：表示给agent起名为a1

        --conf-file/-f：flume本次启动读取的配置文件是在job文件夹下flume-telnet.conf文件。

        -Dflume.root.logger=INFO,console ：-D表示flume运行时动态修改flume.root.logger参数属性值，并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。

[root@kb129 conf]# telnet localhost 7777

输入内容，控制台可监控输入在Flume监听页面观察接收数据情况

2.2.2 实时监控单个追加文件

1）案例需求：使用Flume监听单个的文件

2）需求分析：

3）实现步骤：

[root@kb129 myconf2]# vim ./ filelogger.conf

a2.sources=r1
a2.channels=c1
a2.sinks=k1

# Describe/configure the source
a2.sources.r1.type=exec
a2.sources.r1.command=tail -f /opt/tmp/flumelog.log

# Use a channel which buffers events in memory
a2.channels.c1.type=memory
a2.channels.c1.capacity=1000
a2.channels.c1.transactionCapacity=100

# Describe the sink
a2.sinks.k1.type=logger

# Bind the source and sink to the channel
a2.sources.r1.channels=c1
a2.sinks.k1.channel=c1

开启flume监听端口

[root@kb129 flume190]# ./bin/flume-ng agent -n a2 -c ./conf/ -f ./conf/myconf2/filelogger.conf -Dflume.root.logger=INFO,console

2.2.3 实时监控单个追加文件

1）案例需求：使用Flume监听整个目录的文件，并上传至HDFS

2）需求分析：

3）实现步骤：

[root@kb129 myconf2]# vim ./file-flume-hdfs.conf

a3.sources=r1

a3.sinks=k1

a3.channels=c1


# Describe/configure the source

a3.sources.r1.type=exec

a3.sources.r1.command=tail -f /opt/tmp/flumelog.log


# Use a channel which buffers events in memory

a3.channels.c1.type=memory

a3.channels.c1.capacity=1000

a3.channels.c1.transactionCapacity=100


# Describe the sink

a3.sinks.k1.type=hdfs

a3.sinks.k1.hdfs.fileType=DataStream

a3.sinks.k1.hdfs.filePrefix=flumetohdfs

a3.sinks.k1.hdfs.fileSuffix=.txt

a3.sinks.k1.hdfs.path=hdfs://kb129:9000/kb23flume/


# Bind the source and sink to the channel

a3.sources.r1.channels=c1

a3.sinks.k1.channel=c1

启动监控

[root@kb129 flume190]# ./bin/flume-ng agent -n a3 -c ./conf/ -f ./conf/myconf2/file-flume-hdfs.conf -Dflume.root.logger=INFO,console

2.2.4 实时监控单个追加文件，多个输出

1）案例需求：使用Flume监听整个目录的文件，并上传至HDFS和本地logger

2）实现步骤：

[root@kb129 myconf2]# vim ./file-flume-hdfslogger.conf

a4.sources=r1

a4.channels=c1 c2

a4.sinks=k1 k2


# Describe/configure the source

a4.sources.r1.type=exec

a4.sources.r1.command=tail -f /opt/tmp/flumelog.log


# Use a channel which buffers events in memory

a4.channels.c1.type=memory

a4.channels.c2.type=memory

a4.channels.c1.capacity=1000

a4.channels.c1.transactionCapacity=100


# Describe the sink

a4.sinks.k1.type=logger

a4.sinks.k2.type=hdfs

a4.sinks.k2.hdfs.fileType=DataStream

a4.sinks.k2.hdfs.filePrefix=flumetohdfs

a4.sinks.k2.hdfs.fileSuffix=.txt

a4.sinks.k2.hdfs.path=hdfs://kb129:9000/kb23flume1/


# Bind the source and sink to the channel

a4.sources.r1.channels=c1 c2

a4.sinks.k1.channel=c1

a4.sinks.k2.channel=c2

启动flume监控

[root@kb129 flume190]# ./bin/flume-ng agent -n a4 -c ./conf/ -f ./conf/myconf2/file-flume-hdfslogger.conf -Dflume.root.logger=INFO,console

追加文件，可以在控制台和hdfs中查看到监控日志

2.2.5 实时监控端口数据，输出至HDFS

1）案例需求：使用Flume监听整个目录的文件，并上传至HDFS和本地logger

2）实现步骤：

使用Flume监听一个端口，收集该端口数据，并输出到hdfs

[root@kb129 myconf2]# vim ./demo.conf

a5.sources=r1

a5.sinks=k1

a5.channels=c1


# Describe/configure the source

a5.sources.r1.type=netcat

a5.sources.r1.bind=localhost

a5.sources.r1.port=7777


# Use a channel which buffers events in memory

a5.channels.c1.type=memory

a5.channels.c1.capacity=1000

a5.channels.c1.transactionCapacity=100


# Describe the sink

a5.sinks.k1.type=hdfs

a5.sinks.k1.hdfs.fileType=DataStream

a5.sinks.k1.hdfs.filePrefix=flumetohdfs

a5.sinks.k1.hdfs.fileSuffix=.txt

a5.sinks.k1.hdfs.path=hdfs://kb129:9000/kb23flume2/


# Bind the source and sink to the channel

a5.sources.r1.channels=c1

a5.sinks.k1.channel=c1

启动监听

[root@kb129 flume190]# ./bin/flume-ng agent -n a5 -c ./conf/ -f ./conf/myconf2/demo.conf -Dflume.root.logger=INFO,console

开启通信端口，发送数据，在hdfs查看

2.2.6 实时监控目录下指定文件（spooldir、正则、断点续传、sink至kafka）

Exec source适用于监控一个实时追加的文件，不能实现断点续传；Spooldir Source适合用于同步新文件，但不适合对实时追加日志的文件进行监听并同步；而Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传。总结：exec source从外部命令的输出中读取数据，spooldir source适用于处理已存在的文件，而taildir source适用于实时产生的日志文件。

（1）读取文件，管道类型memory

[root@kb129 myconf2]# vim events-flume-logger.conf

events.sources=eventsSource

events.channels=eventsChannel

events.sinks=eventsSink


# Describe/configure the source

events.sources.eventsSource.type=spooldir

events.sources.eventsSource.spoolDir=/opt/kb23/flumelogfile/events

#反序列化类型为LINE

events.sources.eventsSource.deserializer=LINE

#反序列化 每行的最大长度

events.sources.eventsSource.deserializer.maxLineLength=32000

events.sources.eventsSource.includePattern=events.csv


# Use a channel which buffers events in memory

events.channels.eventsChannel.type=memory


# Describe the sink

events.sinks.eventsSink.type=logger


# Bind the source and sink to the channel

events.sources.eventsSource.channels= eventsChannel

events.sinks.eventsSink.channel= eventsChannel

（2）读取文件，加正则过滤，管道类型file

1. 文件管道（file）：文件管道将事件数据写入磁盘上的文件中。这种管道适用于需要持久化存储数据的场景。文件管道可以在系统重启后继续读取未处理的数据，因为数据被写入了磁盘。但是，由于写入和读取都需要磁盘操作，所以文件管道的性能可能相对较低。

2. 内存管道（memory）：内存管道将事件数据保存在内存中。这种管道适用于对性能要求较高的场景，因为内存操作比磁盘操作更快。内存管道不会将数据持久化到磁盘，所以在系统重启后，未处理的数据将会丢失。因此，内存管道适用于对数据可靠性要求不高的场景。

[root@kb129 myconf2]# vim events-flume-logger.conf

events.sources=eventsSource

events.channels=eventsChannel

events.sinks=eventsSink


# Describe/configure the source

events.sources.eventsSource.type=spooldir

events.sources.eventsSource.spoolDir=/opt/kb23/flumelogfile/events

#反序列化类型为LINE

events.sources.eventsSource.deserializer=LINE

#反序列化 每行的最大长度

events.sources.eventsSource.deserializer.maxLineLength=32000

events.sources.eventsSource.includePattern=events_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv

#正则过滤器

events.sources.eventsSource.interceptors=head_filter

events.sources.eventsSource.interceptors.head_filter.type=regex_filter

events.sources.eventsSource.interceptors.head_filter.regex=^event_id*

events.sources.eventsSource.interceptors.head_filter.excludeEvents=true


# Use a channel which buffers events in memory

events.channels.eventsChannel.type=file

events.channels.eventsChannel.checkpointDir=/opt/kb23/checkpoint/events

events.channels.eventsChannel.dataDirs=/opt/kb23/data/events


# Describe the sink

events.sinks.eventsSink.type=logger


# Bind the source and sink to the channel

events.sources.eventsSource.channels=eventsChannel

events.sinks.eventsSink.channel=eventsChannel

（3）sink输出指向kafka，topic

[root@kb129 myconf2]# vim ./events-flume-kafka.conf

events.sources=eventsSource
events.channels=eventsChannel
events.sinks=eventsSink

# Describe/configure the source
events.sources.eventsSource.type=spooldir
events.sources.eventsSource.spoolDir=/opt/kb23/flumelogfile/events
#反序列化类型为LINE
events.sources.eventsSource.deserializer=LINE
#反序列化 每行的最大长度
events.sources.eventsSource.deserializer.maxLineLength=32000
events.sources.eventsSource.includePattern=events_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv
#正则过滤器
events.sources.eventsSource.interceptors=head_filter
events.sources.eventsSource.interceptors.head_filter.type=regex_filter
events.sources.eventsSource.interceptors.head_filter.regex=^event_id*
events.sources.eventsSource.interceptors.head_filter.excludeEvents=true

# Use a channel which buffers events in memory
events.channels.eventsChannel.type=file
events.channels.eventsChannel.checkpointDir=/opt/kb23/checkpoint/events
events.channels.eventsChannel.dataDirs=/opt/kb23/data/events

# Describe the sink
events.sinks.eventsSink.type=org.apache.flume.sink.kafka.KafkaSink
events.sinks.eventsSink.topic=events
events.sinks.eventsSink.brokerList=192.168.142.129:9092
events.sinks.eventsSink.batchSize=640

# Bind the source and sink to the channel
events.sources.eventsSource.channels=eventsChannel
events.sinks.eventsSink.channel=eventsChannel

2.2.7  自定义Interceptor

）案例需求

2.用Flume采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。

2）需求分析

在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到Flume拓扑结构中的Multiplexing结构，Multiplexing的原理是，根据event中Header的某个key的值，将不同的event发送到不同的Channel中，所以我们需要自定义一个Interceptor，为不同类型的event的Header中的value赋予不同的值。

在该案例中，我们以端口数据模拟日志，以数字（单个）和字母（单个）模拟不同类型的日志，我们需要自定义interceptor区分数字和字母，将其分别发往不同的分析系统（Channel）。

重要组件：

1）ChannelSelector

ChannelSelector的作用就是选出Event将要被发往哪个Channel。其共有两种类型，分别是Replicating（复制）和Multiplexing（多路复用）。

ReplicatingSelector会将同一个Event发往所有的Channel，Multiplexing会根据相应的原则，将不同的Event发往不同的Channel。

2）SinkProcessor

SinkProcessor共有三种类型，分别是DefaultSinkProcessor、LoadBalancingSinkProcessor和FailoverSinkProcessor

DefaultSinkProcessor对应的是单个的Sink，LoadBalancingSinkProcessor和FailoverSinkProcessor对应的是Sink Group，LoadBalancingSinkProcessor可以实现负载均衡的功能，FailoverSinkProcessor可以错误恢复的功能。

3）实现步骤

（1）创建一个maven项目，并引入以下依赖。

<dependency>
  <groupId>org.apache.flume</groupId>
  <artifactId>flume-ng-core</artifactId>
  <version>1.9.0</version>
</dependency>

（2）定义类并实现Interceptor接口。编写完成后打包传至flume中lib目录下

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;

public class InterceptorDemo implements Interceptor {
    private ArrayList<Event> opList;

    public void initialize() {
        opList = new ArrayList<Event>();
    }

    public Event intercept(Event event) {
        Map<String, String> headers = event.getHeaders();
        final String body = new String(event.getBody());
        if (body.startsWith("hello")){
            headers.put("type","hello");
        } else if (body.startsWith("hi")) {
            headers.put("type","hi");
        } else {
            headers.put("type","other");
        }
        return event;
    }

    public List<Event> intercept(List<Event> events) {
        opList.clear();
        for (Event event : events) {
            opList.add(intercept(event));
        }
        return opList;
    }

    public void close() {
        opList.clear();
        opList = null;
    }

    public static class Builder implements Interceptor.Builder{

        public Interceptor build() {
            return new InterceptorDemo();
        }

        public void configure(Context context) {
        }
    }
}

（3）编辑flume配置文件

[root@kb129 myconf2]# vim ./netcat-myinterceptor.conf

myinterceptor.sources=s1

myinterceptor.channels=helloChannel hiChannel otherChannel

myinterceptor.sinks=helloSink hiSink otherSink


# Describe/configure the source

myinterceptor.sources.s1.type=netcat

myinterceptor.sources.s1.bind=localhost

myinterceptor.sources.s1.port=7777

myinterceptor.sources.s1.interceptors=myinterceptors

myinterceptor.sources.s1.interceptors.myinterceptors.type=nj.zb.kb23.InterceptorDemo$Builder

myinterceptor.sources.s1.selector.type=multiplexing

myinterceptor.sources.s1.selector.mapping.hello=helloChannel

myinterceptor.sources.s1.selector.mapping.hi=hiChannel

myinterceptor.sources.s1.selector.mapping.other=otherChannel

myinterceptor.sources.s1.selector.header=type


# Use a channel which buffers events in memory

myinterceptor.channels.helloChannel.type=memory

myinterceptor.channels.hiChannel.type=memory

myinterceptor.channels.otherChannel.type=memory


# Describe the sink

myinterceptor.sinks.helloSink.type=hdfs

myinterceptor.sinks.helloSink.hdfs.fileType=DataStream

myinterceptor.sinks.helloSink.hdfs.filePrefix=hellocontent

myinterceptor.sinks.helloSink.hdfs.fileSuffix=.txt

myinterceptor.sinks.helloSink.hdfs.path=hdfs://kb129:9000/kb23hello/


#myinterceptor.sinks.hiSink.type=org.apache.flume.sink.kafka.KafkaSink

#myinterceptor.sinks.hiSink.kafka.topic=hitopic

#myinterceptor.sinks.hiSink.kafka.bootstrap.servers=192.168.142.129:9092

#myinterceptor.sinks.hiSink.kafka.producer.acks=1

#myinterceptor.sinks.hiSink.kafka.flumeBatchSize=640

myinterceptor.sinks.hiSink.type=org.apache.flume.sink.kafka.KafkaSink

myinterceptor.sinks.hiSink.topic=hitopic

myinterceptor.sinks.hiSink.brokerList=192.168.142.129:9092


myinterceptor.sinks.otherSink.type=logger


# Bind the source and sink to the channel

myinterceptor.sources.s1.channels=helloChannel hiChannel otherChannel

myinterceptor.sinks.helloSink.channel=helloChannel

myinterceptor.sinks.hiSink.channel=hiChannel

myinterceptor.sinks.otherSink.channel=otherChannel

3.Flume事务

bigdatakepper
关注
flume
03-25
Apache Flume是一个分布式，可靠且可用的系统，用于有效地收集，聚合大量日志数据并将其从许多不同的源移动到集中式数据存储中https://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.5.1/
尚硅谷大数据技术之Flume
03-23
尚硅谷大数据技术之Flume Flume 是 Cloudera 提供的一个高可用的、 高可靠的、分布式的海量日志采集、聚合和传输的系统。 Flume 基于流式架构，灵活简单。 1.1 Flume 定义 Flume 是一个高可用的、 高可靠的、...
Flume入门--万字详解 【持续更新中】
qq_73181349的博客
04-22 1170
Flume基础架构、安装部署、入门案例、断点续传源码修改
Flume整理
weixin_50405727的博客
03-04 1566
文章目录1. Flume 概述2. Flume 基础架构3. Flume 拓扑结构3.1. 简单串联3.2. 复制和多路复用3.3. 负载均衡和故障转移3.4. 聚合4. Flume 项目应用4.1. 采集Flume4.2. 聚合 Flume6. Flume 事务6.1. Put 事务(推送事件：Source -> Channel)6.2. Take 事务(拉取事件：Channel -> Sink)7. Flume 监控8. Flume 采集数据会丢失吗？ 1. Flume 概述 ​ Flu
Flume最简单使用
热门推荐
lydms的博客
09-23 1万+
Flume最简单使用教程
Flume总结
huzhan7的博客
07-16 908
Flume总结 --huzhan 1、 你是如何实现Flume数据传输的监控的 使用第三方框架 Ganglia 实时监控 Flume。 2 、Flume的 Source，Sink，Channel的作用？你们 Source是什么类型？ 1、作用 （1）Source 组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据， 包括 avro、thrift、exec、jms、spooling directory、netcat、sequence g
Flume学习笔记
m0_55212193的博客
04-24 2104
Flume学习笔记Flume 定义Flume 基础架构Flume 安装部署监控端口数据实时监控单个追加文件实时监控目录下多个新文件 Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单. Flume最主要的作用就是:实时读取服务器本地磁盘的数据，将数据写入到HDFS. Flume 基础架构 Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 Agent 主要有 3 个部
Flume 实战：安装与启动
SmartSi
09-16 1032
在这我们只配置一个 Agent，Source 使用的是 NetCat TCP Source，简单说就是监听本机上某个端口上接收到的 TCP 协议的消息。
flume：Apache Flume的镜像
02-03
欢迎使用Apache Flume！ Apache Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。 它具有基于流数据流的简单灵活的体系结构。 它具有可调整的可靠性机制以及许多故障转移和恢复机制...
大数据Ambari之flume集成编译好的源码包
05-02
**大数据Ambari之flume集成编译好的源码包** Apache Ambari 是一个用于管理和监控Hadoop集群的开源工具，它提供了直观的Web界面和RESTful API，使得安装、配置、管理Hadoop生态系统变得更加简单。Flume是Apache的一...
flume kafak实验报告.docx
07-07
在大数据实时处理领域，Flume、Kafka 和 Spark Streaming 是常用的数据采集、传输与处理工具。本实验报告详细阐述了如何将这三个组件结合使用，构建一个高效的数据流处理系统。 一、Flume 与 Spark Streaming 的...
Flume采集Kafka数据到Hive
zxcvbnm0207的博客
10-29 581
Hive表准备：确保hive表为：分区分桶、orc存储、开启事务。去hive数据表进行数据查看，数据成功同步过来。切换到flume的bin目录下，运行配置文件。启动Kafka写入数据。监控flume页面情况。
Flink SQL
最新发布
qq_41081716的博客
11-05 179
以上步骤展示了如何使用 Flink SQL 从 Kafka 读取数据、进行聚合计算，并将结果分别写入 MySQL 和 HDFS。这是一个基本的流程，根据实际需求，可以调整表结构、连接器配置以及 SQL 查询以适应不同的应用场景。
RabbitMQ应用问题
qq_74812898的博客
11-05 753
应用问题
计算机毕业设计Hadoop+大模型地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Spark 机器学习 深度学习 Flink 大数据
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
11-03 778
计算机毕业设计Hadoop+大模型地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Spark 机器学习 深度学习 Flink 大数据
使用 HuggingFace 提供的 Elasticsearch 托管交叉编码器进行重新排名
Elastic 中国社区官方博客
11-05 547
它是什么为什么要使用它如何创建推理 API 并将其连接到外部服务如何使用检索器查询进行重新排名什么是语义重新排名以及如何使用它？了解在搜索和 RAG 管道中使用语义重新排名的权衡使用检索器在 Elasticsearch 中进行语义重新排名本博客包含视频演示和入门所需的所有内容的概述。Elastic 文档 - 语义重新排名这个优秀的文档指南讨论了用例、编码器模型类型和 Elasticsearch 中的重新排名本博客和随附笔记本中的代码也将帮助你入门，但我们不会深入讨论是什么和为什么。
牛客网项目总结
qq_43539664的博客
11-04 234
下面这幅图是牛客网项目的架构图，最下层是Spring Boot，表示我们所有的技术都是基于Spring Boot，上面一层是Spring，Spring上面是Spring MVC、Spring MyBatis 和 Spring Security。数据库访问的问题，通过Spring Security来管理我们项目中的安全层面的这个内容来管理我们项目中的权限，这三个技术都是基于Spring之上的。由Spring进行整合。通过Spring MVC 解决前后端请求交互的问题，通过Spring MyBatis解决。
Flume安装与配置教程
"这篇文章主要介绍了Apache Flume的安装配置步骤，包括Flume的基本概念、功能以及如何在Linux系统中进行安装。" Apache Flume 是一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的系统。它设计得容错性...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值