打怪升级之小白的大数据之旅(七十二)＜Flume进阶＞

最新推荐文章于 2024-11-08 10:28:53 发布
最新推荐文章于 2024-11-08 10:28:53 发布
阅读量193 收藏
点赞数
文章标签： 大数据 java flume 海量日志传输
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li_g_yuan/article/details/117930405
版权

打怪升级之小白的大数据之旅(七十二)

Flume进阶

上次回顾

上一章对Flume的基础知识点进行了分享，有了上一章的铺垫，本章就深入学习一下Flume的进阶知识点

Flume的使用很简单，主要就是写配置文件，至于具体怎么配置，大家要善用官网。我再次介绍一下Fluem说明文档http://flume.apache.org/FlumeUserGuide.html

官网文档是真的细，我的案例也是参考的官方示例

Flume事务

Flume既然是针对海量数据传输的框架，它最主要的工作自然就是数据的传输，为了确保数据的完整性，Flume内部会有一个事务机制，用于保证数据再传输过程中的完整、正确性，注意啦，事务都是存储在Channel中的
在这里插入图片描述
上图就是Flume包含事务的架构图，图中我们可以看到，Flume由两部分组成

  • Source端的事务 Put事务
    • doput: 将数据写入到临时缓冲区putList中
    • doCommit: 将putList中的数据提交到channel中
    • doRollback: doCommit提交失败，就会调用此方法，将提交的数据放回到putList中，并再次调用doCommit提交
    • 如果在Put数据时Flume挂掉了，Put事务就会清空putList中的数据，这样可以确保channel中的数据不重复，不丢失，当Flume重新启动就会要求输入端重新发送数据
  • Sink端的事务 Take事务
    • channel我前面说了，它就像一艘船，只是存储数据的缓冲区，所以写出数据就是Take，Take事务和Put事务方法类似，只不过它是拉取数据
    • doTake：将数据拉取到临时缓冲区takeList中
    • doCommit：将takeList中的数据写入到HDFS中,如果成功，则清空takeList中的数据
    • doRollback： 如果doCommit失败，为了防止数据丢失，如Flume宕机等情况，它会将数据放回到channel中

Flume Agent内部原理

下面我将Flume的内部原理进行分享
在这里插入图片描述
前面已经学习了Flume的基础架构：三大组件source channel sink，这是最基本的flume，在实际开发中，一个flume中会有多个channel、sink

source接收到数据后内部的具体工作：

  • source接收到数据后，会生成一个Event，然后放到channelProcessor中，
  • channelProcessor会做两件事情，第一件，将事件放到拦截器链Interceptor中进行处理，比如定义Event的Header，处理之后，channelProcessor就会将事件放到Channel选择器中
  • Channel选择器内部有两种选择器，一种是默认的复制ReplicatingChannelSelector，一种是多路复用MultiplexingChannelSelector(具体的等下会讲)
  • Channel选择器选择好之后，channelProcessor会就根据Channel选择器的结果将事件写入到对应的Channel中

Sink内部的工作

  • Sink拉取数据时会放到SinkProcessor，SinkProcessor默认是直接将数据拉取到Sink中，这个就是DefaultSinkProcessor
  • SinkProcessor还有另外两种方式，一种是负载均衡LoadBalancingSinkProcessor，一种是故障转移FailoverSinkProcessor(后面会讲)

Flume拓扑结构

下面就为大家详细介绍一下Channel选择器和SinkProcessor中的故障转移与负载均衡

简单串联

首先介绍一下Flume的简单串联
在这里插入图片描述
上图就是简单串联，就像上一章我举的运河运输货物的栗子，两个Flume就像两艘船，要想进行串联，此时就需要一个串联的介质，它就是Avro,Avro有avroSource和avroSink,通过它们就可以实现两个Flume中间的连接

复制和多路复用

Flume支持将事件流向一个或者多个目的地。这种模式可以将相同数据复制到多个channel中，或者将不同数据分发到不同的channel中，sink可以选择传送到不同的目的地
在这里插入图片描述
复制的意思就是说，将Event发送到所有的Channel中，每个Channel中包含的Event都是一样的

多路复用就说，一个Event可以选择性的发送，为了实现这个功能，通常情况下是配合拦截器链Interceptor进行的，通过Interceptor设置的Event Header可以很方便地选择需要将Event发送到想要发送的Channel中

复制和多路复用案例(单数据源多出口)

因为多路复用案例需要配合拦截器，所以我先写一个复制的案例

案例需求：

  • 监控Hive实时更新的日志文件，并将更新的文件内容分别保存在HDFS和本地中

需求分析：

  • 既然是监控日志文件并且分别输出，那么我们使用三个Flume就可以很轻松解决这个需求
  • Flume-1监控日志文件的变动，并将变动的内容分别传递给Flume-2和Flume-3
  • Flume-2负责存储到HDFS
  • Flume-3负责输出到本地文件夹中
    在这里插入图片描述
    案例实现

Flume1:配置1个接收日志文件的source和两个channel、两个sink，分别输送给flume-flume-hdfs和flume-flume-dir

# Flume1
vim /opt/module/flume/job/group1/flume-file-flume.conf
# Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2
# 将数据流复制给所有channel
a1.sources.r1.selector.type = replicating

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/module/hive/logs/hive.log
a1.sources.r1.shell = /bin/bash -c

# Describe the sink
# sink端的avro是一个数据发送者
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop102 
a1.sinks.k1.port = 4141

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop102
a1.sinks.k2.port = 4142

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

Flume2:将Flume1输出作为Flume2的Source，接着输出数据到HDFS中

# Flume2
vim /opt/module/flume/job/group1/flume-flume-hdfs.conf

# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1

# Describe/configure the source
# source端的avro是一个数据接收服务
a2.sources.r1.type = avro
a2.sources.r1.bind = hadoop102
a2.sources.r1.port = 4141

# Describe the sink
a2.sinks.k1.type = hdfs
a2.sinks.k1.hdfs.path = hdfs://hadoop102:9820/flume1/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k1.hdfs.filePrefix = flume1-
#是否按照时间滚动文件夹
a2.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a2.sinks.k1.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a2.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k1.hdfs.rollInterval = 600
#设置每个文件的滚动大小大概是128M
a2.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a2.sinks.k1.hdfs.rollCount = 0

# Describe the channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

Flume3:将Flume1输出作为Flume3的Source，接着输出数据到本地文件夹中

# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c2

# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop102
a3.sources.r1.port = 4142

# Describe the sink
a3.sinks.k1.type = file_roll
a3.sinks.k1.sink.directory = /opt/module/flume/job/datas/flume1

# Describe the channel
a3.channels.c2.type = memory
a3.channels.c2.capacity = 1000
a3.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a3.sources.r1.channels = c2
a3.sinks.k1.channel = c2

运行flume:

# flume-flume-dir
flume-ng agent -c conf/ -f /opt/module/flume/job/group1/flume-flume-dir.conf -n a3

# flume-flume-hdfs
flume-ng agent -c conf/ -f /opt/module/flume/job/group1/flume-flume-hdfs.conf -n a2

# flume-file-flume
flume-ng agent -c conf/ -f /opt/module/flume/job/group1/flume-file-flume.conf -n a1

运行结果：

  • HDFS:
    在这里插入图片描述
    本地文件夹中：
    在这里插入图片描述

负载均衡和故障转移

Flume支持使用将多个sink逻辑上分到一个sink组，sink组配合不同的SinkProcessor可以实现负载均衡和错误恢复的功能
在这里插入图片描述
负载均衡意思就是，当Sink中的数据需要发送到下一个Flume时，为了避免数据倾斜导致某个Flume承载较大而其他Flume比较空闲时，可以尽量均衡的发送到Flume中

故障转移是说，Sink发送到Flume中时，某个Flume挂掉了，可以将该挂掉的Flume中的数据发送到其他Flume中

负载均衡和故障转移案例

案例需求：

  • 使用Flume1监控一个端口，其sink组中的sink分别对接Flume2和Flume3，采用FailoverSinkProcessor，实现故障转移的功能

需求分析：

  • Flume1 使用netcat Source来监控文件.并将文件内容分别发给Flume2和Flume3
  • Flume2和Flume3都使用loggerSink进行控制台输出，看看效果
  • 当其中一个Flume挂掉，继续查看Flume输出结果
    在这里插入图片描述
    案例实现：

Flume1: 利用netcat 监控指定端口的数据，并开启故障转移功能,然后将结果发送给Flume2和Flume3

vim /opt/module/flume/job/group2/flume-netcat-flume.conf

# Name the components on this agent
a1.sources = r1
a1.channels = c1
a1.sinkgroups = g1
a1.sinks = k1 k2

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1 = 5
a1.sinkgroups.g1.processor.priority.k2 = 10
a1.sinkgroups.g1.processor.maxpenalty = 10000

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop102
a1.sinks.k1.port = 4141

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop102
a1.sinks.k2.port = 4142

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1

Flume2: Flume2获取Flume1数据 ，将结果输出到控制台

vim /opt/module/flume/job/group2/flume-flume-console1.conf 

# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1

# Describe/configure the source
a2.sources.r1.type = avro
a2.sources.r1.bind = hadoop102
a2.sources.r1.port = 4141

# Describe the sink
a2.sinks.k1.type = logger

# Describe the channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

Flume3： Flume3获取Flume1数据，将结果输出到控制台

vim /opt/module/flume/job/group2/flume-flume-console2.conf 

# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c2

# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop102
a3.sources.r1.port = 4142

# Describe the sink
a3.sinks.k1.type = logger

# Describe the channel
a3.channels.c2.type = memory
a3.channels.c2.capacity = 1000
a3.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a3.sources.r1.channels = c2
a3.sinks.k1.channel = c2

运行Flume

# Flume3
flume-ng agent -c conf/ -f flume-flume-console2.conf  -n a3
# Flume2
flume-ng agent -c conf/ -f flume-flume-console1.conf  -n a2
# Flume1
flume-ng agent -c conf/ -f flume-netcat-flume.conf  -n a1
# 再开启一个shell窗口，使用netcat 模拟数据源
nc localhost 44444
hello
world
hadoop

输出结果：

  • 只有Flume2的控制台输出了结果，Flume没有输出
    在这里插入图片描述
    关闭Flume2再次向端口中发送数据,此时Flume1接收到了数据，这个就是故障转移，负载均衡的话，因为需要海量数据来支撑，我博客里无法具体实现，负载均衡的实现就和故障转移实现方式一样，只是需要改变一下参数
    在这里插入图片描述

聚合

这种模式是我们最常见的，也非常实用，日常web应用通常分布在上百个服务器，大者甚至上千个、上万个服务器。产生的日志，处理起来也非常麻烦。用flume的这种组合方式能很好的解决这一问题，每台服务器部署一个flume采集日志，传送到一个集中收集日志的flume，再由此flume上传到hdfs、hive、hbase等，进行日志分析

在这里插入图片描述
聚合的思想很好理解，想想前面讲过的MR，MR也是这样。分合

聚合案例

案例需求：

  • hadoop102上的Flume-1监控文件/opt/module/group.log，
  • hadoop103上的Flume-2监控某一个端口的数据流
  • Flume-1与Flume-2将数据发送给hadoop104上的Flume-3，Flume-3将最终数据打印到控制台

需求分析：

  • Flume1 监控模拟的Log日志文件group.log，将数据发送给Flume3
  • Flume2监控指定端口的数据,将数据发送给Flume3
  • Flume3将数据汇总合并，然后打印到控制台中

在这里插入图片描述
案例实现：为了案例更加贴合实际场景，我就不在一个节点中了，我在集群中实现，首先分别在hadoop102,hadoop103,hadoop103节点中创建我们的案例文件夹

mkdir /opt/module/flume/job/group3

Flume1: 配置Source用于监控自定义.log文件，配置Sink输出数据到Flume3

vim /opt/module/flume/job/group3/flume1-logger-flume.conf
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/module/my.log
a1.sources.r1.shell = /bin/bash -c

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop104
a1.sinks.k1.port = 4141

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

Flume2: 配置Source监控端口44444数据流，配置Sink数据到Flume3

vim /opt/module/flume/job/group3/flume2-netcat-flume.conf
# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1

# Describe/configure the source
a2.sources.r1.type = netcat
a2.sources.r1.bind = hadoop103
a2.sources.r1.port = 44444

# Describe the sink
a2.sinks.k1.type = avro
a2.sinks.k1.hostname = hadoop104
a2.sinks.k1.port = 4141

# Use a channel which buffers events in memory
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

Flume3

vim /opt/module/flume/job/group3/flume3-flume-logger.conf
# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c1

# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop104
a3.sources.r1.port = 4141

# Describe the sink
# Describe the sink
a3.sinks.k1.type = logger

# Describe the channel
a3.channels.c1.type = memory
a3.channels.c1.capacity = 1000
a3.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a3.sources.r1.channels = c1
a3.sinks.k1.channel = c1

运行Flume

Flume3
flume-ng agent --conf conf/ --name a3 --conf-file flume3-flume-logger.conf -Dflume.root.logger=INFO,console

Flume2
flume-ng agent -c /conf -f flume2-netcat-flume.conf -n a2 -Dflume.root.logger=INFO,console

Flume1
flume-ng agent -c conf/ -f flume1-logger-flume.conf -n a1 -Dflume.root.logger=INFO,console

测试数据:

# hadoop102 中模拟日志文件写入
echo hello >> /opt/module/my.log 
# hadoop103 连接natcat 
nc hadoop103 4444 
world

在最终结果服务器上查看结果: hadoop104

在这里插入图片描述

总结

本章节主要对Flume的内部原理进行了分享，并针对内部原理举了几个案例，大家根据案例就可以体会到Flume内部原理的妙用，下一章，是FLume的最后一章，扩展知识点

GaryLea
关注
CDH大数据平台 14Cloudera Manager Console之flume安装和配置(markdown新版)
80后大叔爱学习
10-06 2187
flume配置，数仓必备采集数据工具
大数据小白必知必会之Flume实现过滤器效果
大数据梦想家
09-17 3322
Flume如何实现过滤器效果？快来瞅瞅！
educoder-Flume进阶
qq_48664727的博客
06-12 1790
头歌Flume进阶代码答案
Cris 玩转大数据系列之日志收集神器 Flume
11-25 1560
Cris 玩转大数据系列之日志收集神器 Flume Author：Cris 文章目录Cris 玩转大数据系列之日志收集神器 FlumeAuthor：Cris1. Flume 概述1.1 什么是 Flume？1.2 Flume 的优点1.3 Flume 组成架构① Agent② Source③ Channel④ Sink⑤ Event1.4 Flume 常见四种拓扑结构1.5 Flume Agent...
大数据平台之Flume
youziguo的专栏
07-24 1576
Apache Flume 是一个分布式、可靠且可用的系统，专为从众多不同的数据源收集、聚合和移动大量日志数据而设计。Flume 能够高效地从日志数据源（如应用服务器、数据库、日志文件等）中提取数据，并将其传输到集中存储系统（如 HDFS、HBase、Kafka 等）。
大数据技术之Flume（一）Flume概述、Flume快速入门
huxili2020的博客
09-11 1827
文章目录1 Flume 概述1.1 Flume 定义1.2 Flume 基础架构1.2 Fetch 抓取1.3 本地模式1.4 表的优化1.4.1 小表大表Join（MapJOIN）1.4.2 大表 Join 大表1.4.3 Group By1.4.4 Count(Distinct) 去重统计1.4.5 笛卡尔积1.4.6 行列过滤1.5 合理设置 Map及 Reduce数1.5.1 复杂文件增加 Map 数1.5.2 小文件进行合并1.5.3 合理设置 Reduce 数1.6 并行执行1.7 严格模式2.
大数据技术之flume——日志收集系统
five小点心的博客
03-16 2184
大数据需要解决的三个问题：采集、存储、计算。Apache flume是一个分布式、可靠的、高可用的海量日志数据采集、聚合和传输系统，将海量的日志数据从不同的数据源移动到一个中央的存储系统中。用一句话总结：Flume不生产数据，它只是数据的搬运工。flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。
大数据系列（五）之 Flume 数据传输
古小龙
10-11 3493
目录 一、Flume简介 二、Flume架构 2.1 Flume基本组件 2.2 Flume常见数据流模型 三、Source，Channel，Sink 详解 3.1 Source 3.2 Channel 3.3 Sink 四、小结 本文仅用于学习记录总结所用，配置方面有大量参考官方文档，以方便查阅，不喜勿喷。 Flume可以说是配置型框架，通过简单的配置实现数据的收集和发送，...
大数据学习之路，Flume的介绍与实现
qq_42559628的博客
04-21 2274
一.Flume项目背景 1.Flume介绍 Flume基于流式架构是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 本项目Flume实时读取服务器本地目录下生成的埋点数据，将数据实时写入到HDFS. 涉及几十甚至上百的web服务器 2.Flume基础架构 一、核心组件介绍 1）Agent: Agent是一个JVM进程，它以事件的形式将数据从源头送至目标地。 主要有3个部分组成，Source、Channel、Sink。 2）Source Source是负责接收数据到Flume Agen
大数据新视界 --大数据大厂之 Kafka 性能优化的进阶之道：应对海量数据的高效传输
【青云交】荣登原力全国前三，作者周榜前四，苏州均榜首，全网领军人物前列。
10-03 4093
本文围绕 Kafka 性能优化展开，阐述其在大数据生态中的传输角色，剖析硬件（磁盘 I/O、内存）与配置（消息大小、批次大小）对性能的影响，介绍分区策略、数据压缩等优化策略，结合社交媒体、金融等案例讲述优化效果，还探讨医疗、物流行业应用场景，提及新硬件（如 PMEM）、人工智能（如 ARIMA 模型）带来的优化机遇与挑战。
如何设计一套Flume进阶课程体系+编程+研发
06-14
flume进阶：如何设计一套Flume进阶课程体系+编程+研发； flume进阶：如何设计一套Flume进阶课程体系+编程+研发； flume进阶：如何设计一套Flume进阶课程体系+编程+研发； flume进阶：如何设计一套Flume进阶课程体系+...
尚硅谷大数据技术之Flume
03-23
尚硅谷大数据技术之Flume Flume 是 Cloudera 提供的一个高可用的、 高可靠的、分布式的海量日志采集、聚合和传输的系统。 Flume 基于流式架构，灵活简单。 1.1 Flume 定义 Flume 是一个高可用的、 高可靠的、...
大数据开发之基于Nginx+Flume框架实现的数据采集技术（视频+课件+代码+工具）
02-15
01_项目技术架构介绍 02_项目技术架构图 03_项目中框架的技术选型 04_Tengine的介绍及源码编译 05_Tengine的启动及测试 06_配置使用service命令管理nginx服务 ... 12_Flume的负载均衡及故障转移及美团的使用案例
Flume进阶-自定义拦截器jar包
04-28
Flume进阶-自定义拦截器jar包
【零基础小白】 window环境下安装RabbitMQ
许苑向上
11-06 301
RabbitMQ是用编写的，因此在安装RabbitMQ之前，需要先安装Erlang环境。确定Erlang版本：根据具体需求以及安装符合的Erlang版本。本文下载的故而下载Erlang版本之间的，打开系统属性：右键点击“此电脑”或“计算机”图标，选择“属性”，然后点击“高级系统设置”。编辑环境变量：在“系统属性”窗口中，点击“环境变量”按钮。编辑Path变量：同样在“系统变量”区域，找到名为Path的变量并选择它，然后点击“编辑”按钮。
数据治理项目怎么做，3种推进思路可参考
esensoft123的博客
11-06 568
因此，即使有些人认为先建大数据平台而暂时无法实现业务支撑或应用分析是无效的，但实际上，在建设平台的过程中，企业的能力已经在逐步提升。因此，在做项目时，我们必须与最终用户达成一致，明确项目的定义和规划。先做数据治理顶层设计的规划，确定战略目标，进而拆解KPI，然后设立对应的支撑项目，并且根据优先级别进行排序，最后形成一个执行的路径，即每个阶段要建设的项目及其目标。这种方式的优点显而易见：它确保了项目有明确的规划和方向，从面到线，再到点，逐步落实，从而最大程度地保证了项目的成功，减少了无用功和重复建设。
大数据学习10之Hive高级
qq_64407249的博客
11-06 1173
过程：创建Maven项目，导入依赖，创建方法类，并继承响应方法类实现方法类的方法生成jar包Hive导入自定义函数jar包重新加载函数。
牛客网项目总结
qq_43539664的博客
11-04 291
下面这幅图是牛客网项目的架构图，最下层是Spring Boot，表示我们所有的技术都是基于Spring Boot，上面一层是Spring，Spring上面是Spring MVC、Spring MyBatis 和 Spring Security。数据库访问的问题，通过Spring Security来管理我们项目中的安全层面的这个内容来管理我们项目中的权限，这三个技术都是基于Spring之上的。由Spring进行整合。通过Spring MVC 解决前后端请求交互的问题，通过Spring MyBatis解决。
系统架构设计师论文：论湖仓一体架构及其应用
最新发布
Programming Talk
11-08 21
统一数据存储：湖仓一体架构将数据湖和数据仓库的功能整合在一起，实现了统一的数据存储。这意味着企业可以在一个平台上同时处理和分析结构化、半结构化和非结构化数据，无需将数据迁移到不同的存储系统中。事务一致性：与传统的数据湖相比，湖仓一体架构提供了事务一致性的支持。这意味着在数据写入、更新和删除时，可以确保数据的一致性和完整性，避免了数据不一致带来的问题。高并发实时处理：湖仓一体架构支持高并发的实时数据处理和分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值