【十八掌●武功篇】第十二掌：Flume之安装和测试使用

最新推荐文章于 2022-11-11 11:51:29 发布
最新推荐文章于 2022-11-11 11:51:29 发布
阅读量428 收藏 1
点赞数
分类专栏： 大数据技术 文章标签： 大数据 flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chybin500/article/details/78680263
版权

这一篇博文是【大数据技术●降龙十八掌】系列文章的其中一篇，点击查看目录：这里写图片描述大数据技术●降龙十八掌

系列文章：
【十八掌●武功篇】第十二掌：Flume之工作原理与使用
【十八掌●武功篇】第十二掌：Flume之Source、Channel、Sink
【十八掌●武功篇】第十二掌：Flume之安装和测试使用

选用CDH版本的Flume

1、 下载Flume安装包

http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.5.0-cdh5.3.6.tar.gz

2、 解压安装包

tar -zxvf /opt/software/flume-ng-1.5.0-cdh5.3.6.tar.gz -C /opt/modules/

3、 配置

拷贝配置文件
cp flume-env.sh.template flume-env.sh
cp flume-conf.properties.template flume-conf.properties
配置flume-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_67

4、 测试运行（netcat source + memory channel + logger sink）

这个例子中source类型为netcat（监听Socket）、channel类型为memory（存入内存）、sink类型为logger（写入日志），结构图如下所示：

这里写图片描述

(1) 配置source、channel、sink。官网有个例子如下：

# example.conf: A single-node Flume configuration

# Name the components on this agent
#a1是agent名称。
#a1.sources执行名为a1的agent的source是哪些，如果有多个，就在r1后面添加一个空格后，添加第二个名称
#a1.sources=r1 r2 r3
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
#r1.type是netcat，是个socket服务器
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
#写到日志里去
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
#c1.type是memory是将数据放入内存
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
#将source、channel、sink连接起来
#sources可以将数据传入多个channel
#sinks只能从一个channel里读取数据
#channel可以将数据发送到多个sink中
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
# example.conf: A single-node Flume configuration

# Name the components on this agent
#a1是agent名称。
#a1.sources执行名为a1的agent的source是哪些，如果有多个，就在r1后面添加一个空格后，添加第二个名称
#a1.sources=r1 r2 r3
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
#r1.type是netcat，是个socket服务器
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
#写到日志里去
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
#c1.type是memory是将数据放入内存
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
#将source、channel、sink连接起来
#sources可以将数据传入多个channel
#sinks只能从一个channel里读取数据
#channel可以将数据发送到多个sink中
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

在conf目录下创建一个配置文件：demo.conf，将上面的配置内容拷贝到demo.conf配置文件中。

(2) 启动flume agent：

/opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/bin/flume-ng agent –name a1 –conf conf/ –conf-file conf/demo.conf -Dflume.root.logger=INFO,console
使用bin目录下的flume-ng脚本启动agent；
–name是agent的名称，要跟配置文件demo.conf中定义的agent名称一致。
–conf是指定flume的配置文件路径，注意并不是flume agent的配置文件。
–conf-file是指定flume agent的配置文件路径。
–Dflume.root.logger是指定打印的日志。
启动后，是处于阻塞状态的，这个agent的source是个socket，所以在等待socket输入。

(3) 查看44444端口是否已经成功启动：

netstat -tlnup |grep 44444

(4) 测试发送信息

使用nc工具发送socket信息：
nc localhost 44444
在flume agent的窗口可以看到Flume的sink已经输出到了发送的数据。

5、 测试运行（avro source + file channel + hdfs sink ）

(1) 结构图如下所示：

这里写图片描述

(2) 配置如下：

# example.conf: A single-node Flume configuration

# Name the components on this agent
#a1是agent名称。
#a1.sources执行名为a1的agent的source是哪些，如果有多个，就在r1后面添加一个空格后，添加第二个名称
#a1.sources=r1 r2 r3
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
#配置source类型为avro,avro服务在本地，端口号为4141
a1.sources.r1.type = avro
a1.sources.r1.bind = localhost
a1.sources.r1.port = 4141

# Describe the sink
#配置sink类型为hdfs、文件写入的路径
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://bigdata-51cdh.chybinmy.com:8020/flume/demo
# default:FlumeData
#定义hdfs文件名的前缀
a1.sinks.k1.hdfs.filePrefix = my-
#配置是否使用本地时间戳，应该设置为true
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#文件达到什么条件后创建一个新的文件，rollInterval、rollCount、rollSize只能选其一
#rollInterval是当间隔多长时间分割一个新的文件，如果是0就是不启用这个策略
a1.sinks.k1.hdfs.rollInterval = 0
#rollCount是写入的次数，达到指定次数后就新建一个文件
a1.sinks.k1.hdfs.rollCount = 0
#rollSize是文件大小，当文件达到指定大小后就新建一个文件
a1.sinks.k1.hdfs.rollSize = 10240
#文件格式，可以选择的有：SequenceFile、DataStream、CompressedStream
#SequenceFile是键值对形式的数据
#DataStream是文本类型的数据
#CompressedStream是压缩格式的数据，这种格式下，需要设置压缩格式。
a1.sinks.k1.hdfs.fileType = DataStream

# Use a channel which buffers events in memory
#c1.type是file是将数据放入文件中
a1.channels.c1.type = file
#设置file channel的checkpoint目录
a1.channels.c1.checkpointDir = /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/my_check_file
#设置file存储的目录
a1.channels.c1.dataDirs = /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/my_data

# Bind the source and sink to the channel
#将source、channel、sink连接起来
#sources可以将数据传入多个channel
#sinks只能从一个channel里读取数据
#channel可以将数据发送到多个sink中
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

(3) 启动agent

/opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/bin/flume-ng agent -name a1 -c /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/conf/ -conf-file /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/conf/demo2.conf -Dflume.root.logger=INFO,console

(4) 检查端口4141是否启动

netstat -tlnup | grep 4141

(5) 发送avro数据

/opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/bin/flume-ng avro-client -H localhost -p 4141 -F /home/hadoop/input.txt
使用flume自带的avro client将文件input.txt发送到4141端口，flume的avro source接受到数据后，通过file channel，使用hdfs sink发送到配置到好的hdfs路径上去。

(6) 查看HDFS的数据

hadoop fs -ls hdfs://bigdata-51cdh.chybinmy.com:8020/flume/demo
hadoop fs -cat /flume/demo/my-.1502151699610.tmp

6、 测试运行（spooldir source + memory channel + hdfs sink ）

(1) 结构图如下所示

这里写图片描述

(2) 配置如下

# example.conf: A single-node Flume configuration

# Name the components on this agent
#a1是agent名称。
#a1.sources执行名为a1的agent的source是哪些，如果有多个，就在r1后面添加一个空格后，添加第二个名称
#a1.sources=r1 r2 r3
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
#配置source类型为spooldir,监控本地目录，一有新的文件就读取
a1.sources.r1.type = spooldir
#要监控的目录
a1.sources.r1.spoolDir = /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/myspoolfils
#是否将信息头里的信息放入
a1.sources.r1.fileHeader = true
a1.sources.r1.fileHeaderKey = file

# Describe the sink
#配置sink类型为hdfs、文件写入的路径
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://bigdata-51cdh.chybinmy.com:8020/flume/spoolfile
# default:FlumeData
#定义hdfs文件名的前缀
a1.sinks.k1.hdfs.filePrefix = spoolfile -
#配置是否使用本地时间戳，应该设置为true
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#文件达到什么条件后创建一个新的文件，rollInterval、rollCount、rollSize只能选其一
#rollInterval是当间隔多长时间分割一个新的文件，如果是0就是不启用这个策略
a1.sinks.k1.hdfs.rollInterval = 0
#rollCount是写入的次数，达到指定次数后就新建一个文件
a1.sinks.k1.hdfs.rollCount = 0
#rollSize是文件大小，当文件达到指定大小后就新建一个文件
a1.sinks.k1.hdfs.rollSize = 10240
#文件格式，可以选择的有：SequenceFile、DataStream、CompressedStream
#SequenceFile是键值对形式的数据
#DataStream是文本类型的数据
#CompressedStream是压缩格式的数据，这种格式下，需要设置压缩格式。
a1.sinks.k1.hdfs.fileType = DataStream

# Use a channel which buffers events in memory
#c1.type是memory是将数据放入内存中
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
#将source、channel、sink连接起来
#sources可以将数据传入多个channel
#sinks只能从一个channel里读取数据
#channel可以将数据发送到多个sink中
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

(3) 启动agent

/opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/bin/flume-ng agent -name a1 -c /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/conf/ -conf-file /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/conf/demo3.conf -Dflume.root.logger=INFO,console

(4) 将文件拷贝进监听目录

cp /home/hadoop/actionlog2016-08-20.txt /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/myspoolfils/

(5) 查看HDFS文件

hadoop fs -ls /flume/spoolfile
spoolfile source监听目录，有了新文件就读取后存入hdfs上指定的目录中。

7、 测试运行（多个agent汇集到一个agent）

(1) 结构

三个agent：http source + memory channel + avro sink
汇集agent：avro source + file channel + hdfs sink

这里写图片描述

(2) 配置
a1、a2、a3配置如下：（注意a2、a3要将agent名字应该分别为a3、a4，另外http source监听的端口号应该不同）

# example.conf: A single-node Flume configuration

# Name the components on this agent
#a1是agent名称。
#a1.sources执行名为a1的agent的source是哪些，如果有多个，就在r1后面添加一个空格后，添加第二个名称
#a1.sources=r1 r2 r3
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
#配置source类型为http,监控一个端口的http请求
a1.sources.r1.type = http
#a1监听的是5140端口,a2、a3应该监听其他端口号，比如a2监听5141，a3监听5142
a1.sources.r1.port = 5140
#数据格式为json
a1.sources.r1.handler = org.apache.flume.source.http.JSONHandler

# Describe the sink
#配置sink类型为avro，以便传递给下一个汇集agent a4
a1.sinks.k1.type = avro
#传递给avro的主机
a1.sinks.k1.hostname = localhost
#avro的端口号
a1.sinks.k1.port = 4545

# Use a channel which buffers events in memory
#c1.type是memory是将数据放入内存中
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
#将source、channel、sink连接起来
#sources可以将数据传入多个channel
#sinks只能从一个channel里读取数据
#channel可以将数据发送到多个sink中
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

a4配置

# example.conf: A single-node Flume configuration

# Name the components on this agent
#a4是agent名称。
#a4.sources执行名为a4的agent的source是哪些，如果有多个，就在r1后面添加一个空格后，添加第二个名称
#a4.sources=r1 r2 r3
a4.sources = r1
a4.sinks = k1
a4.channels = c1

# Describe/configure the source
#配置source类型为avro,avro服务在本地，端口号为4141
a4.sources.r1.type = avro
a4.sources.r1.bind = localhost
a4.sources.r1.port = 4545

# Describe the sink
#配置sink类型为hdfs、文件写入的路径
a4.sinks.k1.type = hdfs
a4.sinks.k1.hdfs.path = hdfs://bigdata-51cdh.chybinmy.com:8020/flume/collect/%Y-%m-%d
# default:FlumeData
#定义hdfs文件名的前缀
a4.sinks.k1.hdfs.filePrefix = collect-
#配置是否使用本地时间戳，应该设置为true
a4.sinks.k1.hdfs.useLocalTimeStamp = true
#文件达到什么条件后创建一个新的文件，rollInterval、rollCount、rollSize只能选其一
#rollInterval是当间隔多长时间分割一个新的文件，如果是0就是不启用这个策略
a4.sinks.k1.hdfs.rollInterval = 0
#rollCount是写入的次数，达到指定次数后就新建一个文件
a4.sinks.k1.hdfs.rollCount = 0
#rollSize是文件大小，当文件达到指定大小后就新建一个文件
a4.sinks.k1.hdfs.rollSize = 10240
#文件格式，可以选择的有：SequenceFile、DataStream、CompressedStream
#SequenceFile是键值对形式的数据
#DataStream是文本类型的数据
#CompressedStream是压缩格式的数据，这种格式下，需要设置压缩格式。
a4.sinks.k1.hdfs.fileType = DataStream

# Use a channel which buffers events in memory
#c1.type是memory是将数据放入内存中
#c1.type是file是将数据放入文件中
a4.channels.c1.type = file
#设置file channel的checkpoint目录
a4.channels.c1.checkpointDir = /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/my_check_file
#设置file存储的目录
a4.channels.c1.dataDirs = /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/my_data

# Bind the source and sink to the channel
#将source、channel、sink连接起来
#sources可以将数据传入多个channel
#sinks只能从一个channel里读取数据
#channel可以将数据发送到多个sink中
a4.sources.r1.channels = c1
a4.sinks.k1.channel = c1

(3) 启动agent

/opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/bin/flume-ng agent -n a1 -c /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/conf/ -f /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/conf/a1.conf -Dflume.root.logger=INFO,console &
/opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/bin/flume-ng agent -n a2 -c /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/conf/ -f /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/conf/a2.conf -Dflume.root.logger=INFO,console &
/opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/bin/flume-ng agent -n a3 -c /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/conf/ -f /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/conf/a3.conf -Dflume.root.logger=INFO,console &
/opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/bin/flume-ng agent -n a4 -c /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/conf/ -f /opt/modules/apache-flume-1.5.0-cdh5.3.6-bin/conf/a4.conf -Dflume.root.logger=INFO,console &

(4) 发送post 请求

curl -X POST -d'[{"headers" : {"timestamp" : "434324343","host" :"random_host.example.com"},"body" : "random_body"},{"headers" : {"namenode" : "namenode.example.com","datanode" :"random_datanode.example.com"},"body" :"really_random_body"}]' localhost:5140

(5) 查看HDFS上数据

hadoop fs -ls /flume/collect/2017-08-08
hadoop fs -cat /flume/collect/2017-08-08/collect-.1502177104663.tmp

这一篇博文是【大数据技术●降龙十八掌】系列文章的其中一篇，点击查看目录：这里写图片描述大数据技术●降龙十八掌

鸣宇淳
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
IT十八掌_Flume阶段学习笔记(知识点总结)
09-03
IT十八掌第三期配套课堂笔记! 1、安装和执行机制的分析 2、操作引入 3、常见工具对比 4、flume起源 5、flume概念 6、flume简介和实际应用操作 7、flume的几种配置 8、知识点的总结
Flum
weixin_30363817的博客
07-26 128
大数据技术之Flume 一、Flume简介 1) Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume只能在Unix环境下运行。 2)Flume基于流式架构，容错性强，也很灵活简单。 3) Flume、Kafka用来实时进行数据收集，Spark、Flink用来实时处理数据，impala用来实时查询。 二、Flume角色 2....
Flume NG 学习笔记（九）Flune Client 开发
顾晓艳的专栏
10-30 8603
文章内容还是来自官网http://flume.apache.org/FlumeDeveloperGuide.html 由于在实际工作中，数据的生产方式极具多样性，Flume 虽然包含了一些内置的机制来采集数据，但是更多的时候用户更希望能将应用程序和flume直接相通。所以这边运行用户开发应用程序，通过IPC或者RPC连接flume并往flume发送数据。 一、RPC client interf
flume组件原理及应用
qq_40772429的博客
08-05 109
目录 flume应用 flume问题 flume应用 flume概述 定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 基础架构 agent是一个JVM进程,三个部分Source,Channel,Sink flume入门 配置文件 上官网搜索对应的组件的写法 启动参数说明 bin/flume-ng .
第十九记·Flume详解
玖局下半的博客
08-02 4829
XY个人记     Apache Flume 用于移动大规模批量流数据到 HDFS 系统。从Web服务器收集当前日志文件数据到HDFS聚集用于分析，一个常见的用例是Flume。     Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据。Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合...
flume安装
shuest的博客
06-22 264
在/opt/module/flume/conf 目录下创建 file-flume-kafka.conf 文件: a1.sources=r1 a1.channels=c1 c2 # configure source a1.sources.r1.type = TAILDIR a1.sources.r1.positionFile = /opt/module/flume/test/log_position.json a1.sources.r1.filegroups = f1 a1.s...
Flume安装和简单使用
01-07
Flume安装和简单使用Flume简介Flume安装Flume框架示例 Flume简介 来自官网 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log ...
Flume1.5.0入门：安装、部署、及flume的案例
02-25
本文来自于about云开发,文章主要从安装、部署、及flume的案例，运用代码进行详细介绍，希望对大家有帮助。　flume作为cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume初始的发行版本目前被统称...
flume 安装和使用
05-30
Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方用于收集数据，同时Flume提供对数据的简单处理，并将数据处理结果写入各种数据接收方...
Flink DataStream常用算子
热门推荐
鸣宇淳的专栏
02-14 2万+
Flink中的算子是将一个或多个DataStream转换为新的DataStream，可以将多个转换组合成复杂的数据流拓扑。 在Flink中，有多种不同的DataStream类型，他们之间是使用各种算子进行的。如下图所示： 以下列举下常用的算子，用到的代码例子都是Flink监听9000端口做为数据源。以下方法可以启动一个9000的socket端口服务。 Linux平台上可以使用 bash nc -...
Flink维表Join实践
鸣宇淳的专栏
06-01 4577
这个文章是根据 【实时数仓篇】基于 Flink 的典型 ETL 场景实现 写的，对视频中讲解的四种维表Join分别实现了一些Demo。 常见的维表Join方式有四种： 预加载维表 热存储维表 广播维表 Temporal table function join 下面分别使用这四种方式来实现一个join的需求，这个需求是：一个主流中数据是用户信息，字段包括用户姓名、城市id；维表是城市数据，字段包括城市ID、城市名称。要求用户表与城市表关联，输出为：用户名称、城市ID、城市名称。 1、 预加载维表 通过定义
python通过thrift访问HBase报错Invalid method name
鸣宇淳的专栏
05-30 3513
出现的问题 在准备用python的happybase包通过thrift连接HBase，运行脚本的时候报错，报错大体如下： thrift.Thrift.TApplicationException: Invalid method name:'getTableNames' 代码如下： # -*- coding: utf-8 -*- import happybase def demo_hbase...
大数据技术●降龙十八掌【目录】
鸣宇淳的专栏
11-16 3351
降龙十八掌这门惊世武功在几百年前销声匿迹，时光如箭，岁月如梭，到了21世纪10年代又突然出现在某宝，这势必将引起武林中的又一轮血雨腥风。 有图为证： 《降龙十八掌》这次重出江湖将不同凡响，因为它这次用大数据技术进行了加持，并且是以“英格兰斯基”文字写的，老夫历经千难万苦得到了这部新版《降龙十八掌》，惊叹它的博大精深，老夫决定将它翻译过来，然后公布于众，原因是以史为鉴，它的每次重出江湖都将造...
窗口函数order by对于null的排序规则
鸣宇淳的专栏
10-29 2716
1、发现问题 今天发现一个问题，在Hive中使用窗口函数对数据进行分组排序时，使用mr引擎和使用presto引擎得到的结果不一致，在这里把发现和解决问题的过程记录一下。 row_number() over(partition by room_id order by out_time) （1）制造模拟数据 创建表 create table demo_over_order ( room_id string comment '直播间ID' ,user_id string comment '用户
【十八掌●内功篇】第六掌：YARN之ApplicationMaster
鸣宇淳的专栏
12-02 2135
ApplicationMaster实际上是特定计算框架的一个实例，每种计算框架都有自己独特的ApplicationMaster，负责与ResourceManager协商资源，并和NodeManager协同来执行和监控Container。MapReduce只是可以运行在YARN上一种计算框架。 1、 AM的职能 2、 报告活跃 3、 资源需求 4、 调度 5、 启动Container
DataX更新null值到ElasticSearch不生效的问题
鸣宇淳的专栏
11-11 1714
DataX 更新 null 值到 Elasticsearch 不生效的问题
大数据可以统计到媳妇的喜好吗？
鸣宇淳的专栏
05-30 1285
利用大数据技术统计媳妇的喜好是一个相当不靠谱的事情，因为程序员再牛、使用再炫酷的技术去统计媳妇的喜好，都不如离开电脑陪媳妇聊会天、一起做个饭、拉拉家常、用心去感受媳妇的喜怒哀乐，给予所需、赠予所盼。 既然非得要去使用技术手段得出点结论，那么也不能含糊，那么就立项做个规划吧。 做个工作大体分为以下几个步骤： 1、数据采集 2、数据存储 3、数据分类建模 4、数据分析、统计、预测 5...
传统业务场景下的Flink实时计算探索实践
鸣宇淳的专栏
01-27 1141
由于 Flink 支持事件时间、有状态的计算、可以灵活设置窗口等特点，收到业界的广泛追捧。我所在的公司并不是典型的互联网公司，而是偏传统的金融公司，我也想探索一下怎么能利用 Flink 这个好的工具来服务公司的业务，所以对 Flink 的应用场景做了一番尝试。 下面我将探索的过程记录下来，一是分享下自己的经历，二是希望跟同行交流，还望轻拍。 一、背景 我公司业务场景跟市面上大部分 Flink 使用场景不太一样的地方在于以下几点： 1. 表单类数据比较多 要处理的数据里，日志类型的数据很少，基本上都是表单类的
【十八掌●武功篇】第十二掌：Flume之Source、Channel、Sink
鸣宇淳的专栏
12-02 968
一、 Source Source是从Flume Agent外部接收数据的组件，接收数据后写入到一个或者多个Channel中。 二、 Channel Channel是位于Source和Sink之间的缓冲区，Channel允许Source和Sink运行在不同的速率上，Channel是保证Flume不丢失数据的关键 三、 Sink Sink将数据从Channel里读取出来然后插入到其他外部数据存储中
bash: flume-ng: command not found
最新发布
09-20
当启动Flume代理进程Agent时报错"bash: flume-ng: 没有那个文件或目录"，这意味着系统无法找到flume-ng命令。有几种可能的解决方法可以尝试： 1. 确保Flume已经正确安装并且flume-ng命令所在的路径已经添加到系统的PATH环境变量中。你可以通过运行命令`echo $PATH`来查看当前的PATH环境变量，并确保flume-ng所在的路径被包含在其中。 2. 如果Flume没有正确安装，你需要重新安装Flume并确保安装过程中没有出现任何错误。 3. 如果你已经正确安装了Flume并且flume-ng命令所在的路径已经添加到系统的PATH环境变量中，但仍然报错，你可以尝试使用绝对路径来运行flume-ng命令。例如，你可以使用`/opt/softwares/apache-flume-1.6.0-bin/bin/flume-ng`来代替`flume-ng`。 请注意，这些解决方法需要你具有系统管理员权限或对系统的修改权限。如果你没有这些权限，请联系你的系统管理员。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值