打怪升级之小白的大数据之旅(七十一)＜Hadoop生态：初识Flume＞

最新推荐文章于 2024-11-06 11:12:27 发布
最新推荐文章于 2024-11-06 11:12:27 发布
阅读量332 收藏 2
点赞数 1
文章标签： 大数据 hadoop flume 大数据传输
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li_g_yuan/article/details/117627972
版权

打怪升级之小白的大数据之旅(七十一)

Hadoop生态：初识Flume

上次回顾

上一章，我们学习完了hive的内容，本章开始是Hadoop中经常使用的另外一个框架 Flume

初识Flume

下面这个是flume的标志
在这里插入图片描述
flume的中文是水槽，但我觉得将它音译为浮木更加贴切
在这里插入图片描述
官方对Flume的解释是这样的：

  • Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单

我对Flume的理解：

  • 在古代的时候，交通没有这么发达，通常比较大量的货物都是通过水路进行运送
  • 对应Flume中：source就是货物的源头，channel就是运送货物的船只，Sink就是码头来接收货物的
  • 因为可能会有转运货物的情况：在水面上进行货物的转运,这个情况对应的就是两个Flume之间的对接

Flume架构

了解完Flume是什么，接着我就正式介绍一下Flueme的架构
在这里插入图片描述
Flume由 Source Channel 和 Sink组成

  • Channel: 想象上面我说的栗子，船上是装数据的，它就是Channel
  • Source: 数据肯定有源头，这个数据的源头就是通过Source来获取数据
  • Sink: 既然有源头势必有终点，一个Flume的终点就是Sink，通过Sink可以将Channel的数据取出来
  • Agent: 每个Flume它启动时的进程就是Agent,当我们启动Agent时，就创建了一个Flume
  • Event: 此时，每一组数据通过Source进入到Channel时，这个过程就是Event事件来进行

正式点的Flume架构介绍

Agent
  • Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。
  • Agent主要有3个部分组成，Source、Channel、Sink
Source
  • Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据
  • 常用的source有
    • Avro Source(用于两个flume之间的传输)，它是一个轻量级的RPC的调用框架
    • ExecSource 命令行监控（常用于测试环境）
    • Taildir Source 监控多个目录中的动态变化数据，常用于在生产环境中，监控本地文件
    • Kafka Source 用于监控Kafka中的数据
    • NetCat Source 用于监控网络中的数据
      在这里插入图片描述
Sink
  • Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent
  • Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、HBase、solr以及自定义Sink
Channel
  • Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。
  • Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。
  • Flume自带两种Channel：Memory Channel和File Channel。
    • Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。
    • File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据
Event
  • 传输单元，Flume数据传输的基本单元，以Event的形式将数据从源头送至目的地。
  • Event由Header和Body两部分组成，Header用来存放该event的一些属性，为K-V结构，Body用来存放该条数据，形式为字节数组
    在这里插入图片描述

Flume的安装

安装地址
（1）Flume官网地址：http://flume.apache.org/
（2）文档查看地址：http://flume.apache.org/FlumeUserGuide.html
（3）下载地址：http://archive.apache.org/dist/flume/

Flume的安装比较简单，下载好对应版本后，直接放到服务器中解压即可，我下载的是1.9.0版本的flume

# 将apache-flume-1.9.0-bin.tar.gz上传到linux的/opt/software目录下
# 解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下
tar -zxf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/
# 修改apache-flume-1.9.0-bin的名称为flume
mv /opt/module/apache-flume-1.9.0-bin /opt/module/flume
# 将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop 3.1.3
rm /opt/module/flume/lib/guava-11.0.2.jar

# 建议添加Flume的环境变量
# flume
sudo vim /etc/profile.d/my_env.sh 
# flume
export FLUME_HOME=/opt/module/flume
export PATH=$PATH:$FLUME_HOME/bin

Flume入门案例

我们先在flume的根目录下创建一个用于案例测试的文件夹 test_job

mkdir /opt/module/flume/test_job

官方案例：监控端口数据

需求：使用Flume监听一个端口，收集该端口数据，并打印到控制台

案例实现：

安装 netcat工具：模拟一个客户端生产数据

# 安装netcat工具
sudo yum install -y nc

检查待测试端口是否被占用

sudo netstat -nlp | grep 44444

创建Flume的Agent进程启动配置文件(因为Flume需要根据配置文件知道Source是谁，数据要传递给谁)

vim /opt/module/flume/test_job/netcat-flume.conf
# 定义Name
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 指定source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# 指定sink
a1.sinks.k1.type = logger

# 指定Channel缓冲区类型
a1.channels.c1.type = memory

# channel最大容量
a1.channels.c1.capacity = 1000

# 每次传输事件的大小
a1.channels.c1.transactionCapacity = 100

# 绑定source,sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  • 参数说明
    在这里插入图片描述

根据配置文件启动flume

第一种写法：
flume-ng agent --conf conf/ --name a1 --conf-file test_job/netcat-flume.conf -Dflume.root.logger=INFO,console
第二种写法：
flume-ng agent -c conf/ -n a1 -f test_job/netcat-flume.conf -Dflume.root.logger=INFO,console
  • 启动命令参数说明
    --conf/-c：表示配置文件存储在conf/目录
--name/-n：表示给agent起名为a1
--conf-file/-f：flume本次启动读取的配置文件是在test_job文件夹下的flume-telnet.conf文件。
-Dflume.root.logger=INFO,console ：-D表示flume运行时动态修改flume.root.logger参数属性值，并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error

启动netcat，模拟客户端，传递数据

nc localhost 44444
  • 运行之后，我们在该窗口下开始模拟传输数据：分别写入hello world
    在这里插入图片描述
  • 左边窗口是我们的agent进程(启动的flume)，右边就是我们模拟的客户端netcat

这个案例是不是似曾相识？没错，这个案例就类似我们网络编程中的那个Socket端口监听

实时监控单个追加文件

学会了如何使用控制台在本地进行数据的读取，接下来，我们来学习如何监控一个文件的内容写入，写入流程如下：
在这里插入图片描述

  • 我们要实现监控HDFS中的文件监控，就需要运行Hadoop，自然的，首先要配置好Java和Hadoop，并且运行Hadoop集群，
  • 这个步骤我前面有专门介绍过，下面案例采用读取hadoop中hive产生的日志信息，我们直接进入案例实操
案例实现：

创建flume-file-hdfs.conf文件

vim /opt/module/flume/test_job/flume-file-hdfs.conf
# Name
# Name
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/module/hive/logs/hive.log

# channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# sink
a1.sinks.k1.type = hdfs
# 配置保存在HDFS的路径
a1.sinks.k1.hdfs.path = hdfs://hadoop112:8020/flume/%y%m%d/%H
# 上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = logs-
# 是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
# 多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue = 1
# 重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour
# 是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
# 一次积攒多少个Event就flush到HDFS
a1.sinks.k1.hdfs.batchSize = 100
# 设置文件类型可以支持压缩
a1.sinks.k1.hdfs.fileType = DataStream
# 多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 30
# 设置每个文件的滚动大小
a1.sinks.k1.hdfs.rollSize = 134217700
# 文件的滚动与Event数量无关
a1.sinks.k1.hdfs.rollCount = 0

# bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

运行flume

flume-ng agent -c conf/ -f test_job/flume-file-hdfs.conf -n a1

运行hive并操作hive产生日志信息

# 模拟日志信息产生
echo hello >> hive.log

运行结果如下：成功在HDFS保存了日志信息
在这里插入图片描述

实时监控目录下多个新文件

我们继续对上一个案例进行改进，当我们知道了如何监控一个文件，接下来就是如何监控一个文件夹下的多个文件，此时就需要学习一下spooling source, spooling的流程如下：
在这里插入图片描述
为了便于区分，我修改了一下hdfs的保存路径，案例如下：

# Name
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /opt/module/flume/upload
# 设置监控的文件后缀名
a1.sources.r3.fileSuffix = .COMPLETED
a1.sources.r3.fileHeader = true
#忽略所有以.tmp结尾的文件，不上传
a1.sources.r3.ignorePattern = ([^ ]*\.tmp)

# channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# sink
a1.sinks.k1.type = hdfs
# 配置保存在HDFS的路径
a1.sinks.k1.hdfs.path = hdfs://hadoop112:8020/flume/upload/%Y%m%d/%H
# 上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = logs-
# 是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
# 多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue = 1
# 重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour
# 是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
# 一次积攒多少个Event就flush到HDFS
a1.sinks.k1.hdfs.batchSize = 100
# 设置文件类型可以支持压缩
a1.sinks.k1.hdfs.fileType = DataStream
# 多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 30
# 设置每个文件的滚动大小
a1.sinks.k1.hdfs.rollSize = 134217700
# 文件的滚动与Event数量无关
a1.sinks.k1.hdfs.rollCount = 0

# bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

运行flume

flume-ng agent -c conf/ -f test_job/flume-dir-hdfs.conf  -n a1

模拟文件夹中多个文件及其数据的产生

# 模拟文件夹
mkdir /opt/module/flume/upload
# 模拟生成多个文件
vim 1.txt
vim 2.txt
vim 3.txt
# 模拟日志信息产生
echo hello >> 1.txt
echo world >> 2.txt
echo flume >> 3.txt

运行结果如下：成功在HDFS保存了日志信息
在这里插入图片描述

实时监控目录下的多个追加文件

回顾一下前面的案例：

  • Exec source适用于监控一个实时追加的文件，不能实现断点续传
  • Spooldir Source适合用于同步新文件，但不适合对实时追加日志的文件进行监听并同步

有了前面的铺垫，接下来就是我们日常工作中经常使用的重点内容了

  • Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传 Taildir 流程如下:
    在这里插入图片描述

tail dir 和前面我们的spooling类似，只是source不同而已，因为tail dir 会对操作行为做一个标记，为了便于查看，我们将该标记路径改为tail_dir.json文件，配置如下：

# Name
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# source
a1.sources.r1.type = TAILDIR
a1.sources.r1.channels = c1
# TailDir的标记文件保存路径
a3.sources.r3.positionFile = /opt/module/flume/tail_dir.json
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /opt/module/flume/files/.*file.*
a3.sources.r3.filegroups.f2 = /opt/module/flume/files2/.*log.*


# channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# sink
a1.sinks.k1.type = hdfs
# 配置保存在HDFS的路径
a1.sinks.k1.hdfs.path = hdfs://hadoop112:8020/flume/upload/%Y%m%d/%H
# 上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = logs-
# 是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
# 多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue = 1
# 重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour
# 是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
# 一次积攒多少个Event就flush到HDFS
a1.sinks.k1.hdfs.batchSize = 100
# 设置文件类型可以支持压缩
a1.sinks.k1.hdfs.fileType = DataStream
# 多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 30
# 设置每个文件的滚动大小
a1.sinks.k1.hdfs.rollSize = 134217700
# 文件的滚动与Event数量无关
a1.sinks.k1.hdfs.rollCount = 0

# bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

创建测试文件夹

mkdir /opt/module/flume/files
mkdir /opt/module/flume/files2

运行flume

模拟测试数据

echo hello >> files/1.file
echo world >> files2/1.file
echo java >> files/1.file
echo hadoop >> files2/2.file
echo hive >> files2/2.file
echo flume >> files/3.file
echo hadoop222 >> files2/1.file

运行结果如下：
在这里插入图片描述

总结

今天为大家带来了flume框架，一句话总结:

  • flume 是专门用于海量日志数据传输而诞生的框架

本章的重点内容就是掌握TailDir的用法，下一章，我为大家带来Flume框架的原理知识

GaryLea
关注
2021年 全网最细大数据学习笔记（一）：初识 Hadoop
Amo Xiang的博客
04-04 4万+
文章目录一、大数据1、大数据的定义2、大数据的特点3、大数据行业应用4、Hadoop 与大数据5、其他大数据处理平台6、大数据人才三、 一、大数据 随着近来计算机技术和互联网的发展，大数据 这个名词越来越多地进入到我们的视野中，大数据的快速发展也无时刻影响着我们的生活。 1、大数据的定义 大数据从字面来理解就是 大量的数据。日常生活离不开数据，可以说每时每刻都在产生着数据。例如，一分钟可以做些什么事呢？在日常生活中，一分钟可能连一页书都看不完。但是一分钟内产生的数据却是庞大的。据统计，在一分钟内，YouTu
21.大数据学习之旅——flume进阶
零零天
01-12 465
flume的Source source学习网址： http://flume.apache.org/FlumeUserGuide.html 一、Avro 类型的Source 监听Avro 端口来接收外部avro客户端的事件流。和netcat不同的是，avro-source接收到的是经过avro序列化后 的数据，然后反序列化数据继续传输。所以，如果是avro-source的话，源数据必须是经过avro...
Hadoop学习之-Flume
Leonardy的博客
11-15 275
Apache Flume关于Flume1.安装Flume2.Flume样例3.事务和可靠性4.HDFS sink 关于Flume Hadoop的宗旨是处理大型数据集。通常，我们假设这些数据已经存储在HDFS中，但是如果数据不再HDFS怎么办？ 设计Flume的宗旨是向Hadoop批量导入基于事件的海量数据。 Flueme通常用来向Hadoop导入日志文件。 1.安装Flume ①首先下载并解压Ap...
Flueme学习之路（一）Flume的基础介绍
weixin_30376453的博客
08-20 209
背景 Hadoop业务的整体开发流程： ​ 从Hadoop的业务开发流程中可以看出，在大数据的业务处理流程中，对于数据的采集是十分重要的一步，也是不可避免的一步。 ​ 许多公司的平台每天会产生大量的日志（一般为流式数据，如搜索引擎的pv,查询等），处理这些日志需要特定的日志系统。一般而言，这些系统需要具有如下的特征： 构建应用系统的和分析系统的桥梁，并将它们之间的关系解耦； 支持近实...
storm+kafka+flueme
Suoh_Mikoto的博客
11-26 210
“alt+p”上传“apache-flume-1.9.0-bin.tar.gz”包并解压—“tar -zxvf apache-flume-1.9.0-bin.tar.gz -C app/” 根目录新建“flumedata”—“mkdir flumedata”，写入数据 替换—“echo 1 > 1.log” 追加—“echo 1 >> 1.log” 进入“app/apache-...
Flume(一) Flume初识 环境的搭建和配置
Be yourself.
01-09 3935
Flume初识本文主要包括如下的几个部分： 下载Flume 配置Flume 启动Flume 及其命令解析 1. 下载Flume到Flume的官方网站下载相关文件Flume官网，本人下载的是最新的稳定版本：1.7.0。(ps:下载编译后的文件，不要下载源文件。我们的目标是使用Flume，而不是研究Flume的源码。) 下载图示如下： 2. 配置Flume的配置文件 为什么需要配置Flume的文
Flume详解(一)
登峰造极胡子球手
06-29 1万+
1、Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传 输的系统。Flume 基于流式架构，灵活简单。 2、为什么选用flume flume的主要功能：就是实时读取服务器本地磁盘的数据，将数据写入到HDFS上 3、Flume 组成架构 简易架构图 详细架构图 ...
大数据环境搭建 Hadoop+Hive+Flume+Sqoop
JM1307hhh的博客
06-15 1358
大数据Hadoop生态圈环境搭建，主要针对离线项目，利用HDFS进行分布式存储，MapReduce进行离线计算，Hive进行数据分析。
大数据之Hadoop生态圈
J_fovik_R0407的博客
06-30 1270
HDFS是整个Hadoop体系的基础，负责数据的存储与管理，Hdfs有着高容错性的特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序。
大数据生态圈之 Flume（一）
qq_41666763的博客
06-11 308
一、Flume概述 Flume是一种分布式的、可靠的和可用的服务，用于有效地收集、聚合和移动大量日志数据。它具有简单灵活的基于流数据流的体系结构。它具有健壮性和容错性，具有可调可靠性机制和多种故障转移和恢复机制。它使用了一个简单的可扩展数据模型，允许在线分析应用程序。 二、Flume 架构 三、同类产品对比 Flume：Cloudera/Apache开发维护的，底层采用的是Java。 Scribe：Facebook开发维护的，C/C+...
flume使用详解
小江专栏
11-25 6500
引言 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume环境搭建 安装：cdh版本：flume-ng-1.5.0-cdh5.3.6.tar.gz tar -zxvf flume-ng-1.5.0-cdh5.3.6.tar.gz -C /o
Flume 各种坑
语不惊人死不休
01-04 4万+
1. 背景 最近一段时间在做安全大数据分析环境搭建以及初步的数据采集、录入工作，这个过程中用到了 Hadoop+HBase+Flume+Kafka这套大数据分析的工具。在数据分析环境架构中，Flume-1.7.0 主要用来收集各种来源、形式的数据，并把数据传给 Kafka 集群，由 Kafka 集群统一分发给 HBase集群。 用 Flume ，主要用到的 Source 是 spool
flume介绍与原理(一)
weixin_33958585的博客
07-10 848
    1 .背景   flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apache top项目之一.   2 .概述 ...
Flume架构以及应用介绍
热门推荐
什么最重要？算法！！
05-31 9万+
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 （一）Flume架构介绍 1、Flume的概念 flume是分布式的日志
centos7.4安装flume
sinat_41824235的博客
10-18 812
1、查看java是否安装，没安装的安装，这里java已经安装不在进行安装 2、查看java的安装路径（根据自己的个人情况） 3、设置java环境变量 vi /etc/profile 在文件末尾加上下面两行 ：注意JAVA_HOME为java的安装路径，根据自己实际情况填写 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk- 1.8.0.18...
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）
showswoller的博客
12-21 1006
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）
大数据-初识flume
zZsSzss的博客
08-17 179
目录flume概述flume基础架构 flume概述 flume百度百科 flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集.聚合和传输系统,基于流式架构,灵活简单 flume基础架构 agent agent是一个JVM进程,它以事件的形式将数据从源头送到目的地,主要由 source channel sink 三部分组成 source source 是负责接收数据到flume agent 的组件,source 组件可以处理各种类型,各种格式的日志数据,包括a
flume jvm调优_[Flume]Flueme原理学习笔记
weixin_39622150的博客
12-20 189
Flume 定义Flume是一个高可用、高可靠的，分布式的海量日志采集、聚合和传输的系统。基于流式框架，灵活简单。AgentAgent 是一个JVM 进程，以事件的形式将数据从源头送至目的地,是Flume传输的基本单位Source负责接收数据到flume agent的组件ChannelChannel 是位于Source和Sink 之间的缓存区。运行Source和Sink运行在不同的速率上; Cha...
【零基础小白】 window环境下安装RabbitMQ
最新发布
许苑向上
11-06 301
RabbitMQ是用编写的，因此在安装RabbitMQ之前，需要先安装Erlang环境。确定Erlang版本：根据具体需求以及安装符合的Erlang版本。本文下载的故而下载Erlang版本之间的，打开系统属性：右键点击“此电脑”或“计算机”图标，选择“属性”，然后点击“高级系统设置”。编辑环境变量：在“系统属性”窗口中，点击“环境变量”按钮。编辑Path变量：同样在“系统变量”区域，找到名为Path的变量并选择它，然后点击“编辑”按钮。
数据治理项目怎么做，3种推进思路可参考
esensoft123的博客
11-06 568
因此，即使有些人认为先建大数据平台而暂时无法实现业务支撑或应用分析是无效的，但实际上，在建设平台的过程中，企业的能力已经在逐步提升。因此，在做项目时，我们必须与最终用户达成一致，明确项目的定义和规划。先做数据治理顶层设计的规划，确定战略目标，进而拆解KPI，然后设立对应的支撑项目，并且根据优先级别进行排序，最后形成一个执行的路径，即每个阶段要建设的项目及其目标。这种方式的优点显而易见：它确保了项目有明确的规划和方向，从面到线，再到点，逐步落实，从而最大程度地保证了项目的成功，减少了无用功和重复建设。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值