大数据实训笔记Day04

最新推荐文章于 2024-08-29 00:05:43 发布
最新推荐文章于 2024-08-29 00:05:43 发布
阅读量151 收藏
点赞数
文章标签： flume java hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linhan123321/article/details/119120847
版权

Flume

Source

AVRO Source

  1. AVRO是Apache提供的一套序列化反序列化机制，AVRO的序列化机制能够跨平台跨语言的

  2. AVRO Source实际上是用于接收被AVRO序列化之后的数据，结合AVRO Sink可以实现多级、扇入以及扇出流动

  3. 配置案例

    1. 格式文件

      a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置AVRO Source
a1.sources.s1.type = avro
# 要监听的主机
a1.sources.s1.bind = 0.0.0.0
# 要监听的端口
a1.sources.s1.port = 8090

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

    2. 启动命令

      flume-ng agent -n a1 -c $FLUME_HOME/conf -f avrosource.conf -Dflume.root.logger=INFO,console

    3. 利用AVRO客户端将文件序列化之后发送给Flume

      flume-ng avro-client -H hadoop -p 8090 -F a.txt

Exec Source

  1. Exec Source会监听指定的命令，会将这个命令的执行结果作为日志来进行收集

  2. 案例：监听文件，如果文件中新添了数据，自动收集文件中新添的数据

    1. 格式文件

      a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置Exec Source
a1.sources.s1.type = exec
# 指定监听的命令
a1.sources.s1.command = tail -F /opt/a.txt
# 指定命令类型
a1.sources.s1.shell = /bin/bash -c

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

    2. 启动Flume

      flume-ng agent -n a1 -c $FLUME_HOME/conf -f execsource.conf -Dflume.root.logger=INFO,console

Sequence Generator Source

  1. Sequence Generator Source是一个序列产生器，会从0开始递增，递增到totalEvents

  2. totalEvents如果不指定，则默认是Long.MAX_VALUE，即263-1

  3. 案例

    1. 格式文件

      a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置Sequence Generator Source
a1.sources.s1.type = seq
# 指定递增的最大值
a1.sources.s1.totalEvents = 1000

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

    2. 启动命令

      flume-ng agent -n a1 -c $FLUME_HOME/conf -f seqsource.conf -Dflume.root.logger=INFO,console

Spooling Directory Source

  1. Spooling Directory Source会监听指定的目录，如果指定的目录下产生了新的文件，那么会将这个新文件中的内容自动的进行按行收集

  2. 被收集完的文件会自动添加一个后缀.COMPLETED

  3. 案例

    1. 格式文件

      a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置Spooling Directory Source
a1.sources.s1.type = spooldir
# 要监听的目录
a1.sources.s1.spoolDir = /opt/flumedata

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

    2. 启动命令

      flume-ng agent -n a1 -c $FLUME_HOME/conf -f spooldirsource.conf -Dflume.root.logger=INFO,console

HTTP Source

  1. HTTP Source监听HTTP请求，只能用于监听GET和POST请求。其中对于GET请求的监听只处于实验阶段，所以实际过程中只用这个Source来监听POST请求

  2. 案例

    1. 格式文件

      a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置HTTP Source
a1.sources.s1.type = http
# 要监听的端口
a1.sources.s1.port = 8090

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

    2. 启动命令

      flume-ng agent -n a1 -c $FLUME_HOME/conf -f httpsource.conf -Dflume.root.logger=INFO,console

    3. 发送POST请求

      curl -X POST -d '[{"headers":{"date":"2021-07-14"},"body":"hello class"}]' http://hadoop:8090

Custom Source

  1. 在Flume中，如果Flume原生提供的Source不能适用指定场景，那么此时就可以考虑自定义Source

  2. 格式文件

    a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置自定义Source - 指定全路径名
a1.sources.s1.type = cn.tedu.flume.source.AuthSource
# 指定步长
a1.sources.s1.step = 5
# 指定终止范围
a1.sources.s1.end = 100

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

Channel

Memory Channel

  1. Memory Channel将Source收集来的数据临时放到内存的队列中，因此这个Channel的读写速度相对较快但是不可靠

  2. 通过capacity属性来定义队列的容量。如果队列被放慢，那么后来的数据就会被阻塞。capactiy如果不指定则默认值为为100，实际开发中，一般会将这个值调节为300000~500000

  3. 属性transactionCapacity表示事务容量，实际上表示了每次发送或者接收的数据量。transactionCapacity默认也是100，实际开发过程中，会考虑将这个值调节为3000~5000

  4. 案例

    1. 格式文件

      a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 8090

# 配置Memory Channel
a1.channels.c1.type = memory
# 指定容量
a1.channels.c1.capacity = 100000
# 指定数据的批量
a1.channels.c1.transactionCapacity = 1000

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

    2. 启动命令

      flume-ng agent -n a1 -c $FLUME_HOME/bin -f memory.conf -Dflume.root.logger=INFO,console

    3. 发送数据

      nc hadoop 8090

File Channel

  1. File Channel将Source收集来的数据以文件形式存储到本地磁盘上，所以这个Channel的读写速度慢但是可靠

  2. 在存储的时候，如果不指定，那么会放在~/.flume/file-channel/data路径下

  3. 案例

    1. 格式文件

      a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 8090

# 配置File Channel
a1.channels.c1.type = file
# 指定在磁盘上的临时存储路径
a1.channels.c1.dataDirs = /opt/flumedata

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

    2. 启动命令

      flume-ng agent -n a1 -c $FLUME_HOME/bin -f filechannel.conf -Dflume.root.logger=INFO,console

    3. 发送数据

      nc hadoop 8090

JDBC Channel

  1. JDBC Channel是将Source收集的数据临时存储到数据库中，因为数据库存在索引的问题，所以理论上这个JDBC Channel的效率要高于File Channel但是低于Memory Channel
  2. JDBC Channel到目前为止仅仅支持Derby(微型数据库、单连接)。正因为采用的是Derby库，所以实际开发中不用这个JDBC Channel

Sink

HDFS Sink

  1. HDFS Sink将数据写到HDFS上。在写数据的时候，默认是每隔30s在HDFS上生成一个新的文件，那么这会导致HDFS上生成大量的小文件，所以实际过程中需要改变这个值

  2. HDFS Sink在讲数据写到HDFS上的时候，还需要考虑文件类型。Flume支持三种文件类型：SequenceFil(序列文件)、DataStream(文本文件)、CompressedStream(压缩文件)

  3. 案例

    1. 启动HDFS

      start-dfs.sh

    2. 格式文件

      a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 8090

a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100

# 配置HDFS Sink
a1.sinks.k1.type = hdfs
# 指定在HDFS上的存储路径
a1.sinks.k1.hdfs.path = hdfs://hadoop:9000/flumedata/test
# 指定文件的滚动间隔时间
a1.sinks.k1.hdfs.rollInterval = 3600
# 指定文件的存储类型
a1.sinks.k1.hdfs.fileType = DataStream

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

    3. 启动命令

      flume-ng agent -n a1 -c $FLUME_HOME/bin -f hdfssink.conf -Dflume.root.logger=INFO,console

    4. 发送数据

      nc hadoop 8090

Logger Sink

  1. Logger Sink表示将数据打印到指定位置上，一般是控制台上

  2. 在打印的时候，为了防止过多的数据将控制台占满，所以默认打印body部分的数据不超过16个字节，可以通过maxBytesToLog来配置

  3. Logger Sink在打印数据的时候，对中文支持不好

  4. 案例

    1. 格式文件

      a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 8090

a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 1000

# 配置Logger Sink
a1.sinks.k1.type = logger
# 指定body部分打印的字节个数
a1.sinks.k1.maxBytesToLog = 20

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

    2. 启动命令

      flume-ng agent -n a1 -c $FLUME_HOME/bin -f loggersink.conf -Dflume.root.logger=INFO,console

    3. 发送数据

      nc hadoop 8090

File Roll Sink

  1. File Roll Sink将数据最终写到执行的目录下。在写的时候同样是每隔30s会生成一个小文件，所以实际过程中需要调节大小

  2. 案例

    1. 格式文件

      a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 8090

a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100

# 配置File Roll Sink
a1.sinks.k1.type = file_roll
# 指定数据的存储目录
a1.sinks.k1.sink.directory = /opt/flumedata
# 指定文件滚动的间隔时间
a1.sinks.k1.sink.rollInterval = 3600

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

    2. 启动命令

      flume-ng agent -n a1 -c $FLUME_HOME/bin -f filerollsink.conf -Dflume.root.logger=INFO,console

    3. 发送数据

      nc hadoop 8090
旧城^以西
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据实训笔记
qq1772819485的博客
09-17 2124
大数据实训笔记 （一）大数据实训第一天 Linux常用命令： cd / 切换路径 cd … 回到上一层路径 ls 查看当前目录下所有文件和文件夹 ls -a 显示隐藏文件 ls -l 查看详细信息（ll） mkdir 创建文件夹 touch 创建文件 mv /lx /opt/ 移动（剪切） mv lx xxx 重命名 cp lx.txt /opt/ 复制粘贴 cd /opt vi...
大数据实训笔记Day07
linhan123321的博客
07-26 332
Hive 简介 注意问题 在Hive中，每一个database在HDFS上都会对应一个目录 在Hive中，没有主键的概念，也就意味着在定义表的时候不需要定义主键 Hive在建表的时候就需要指定字段之间的间隔符号，建好表之后就无法修改 在插入数据的时候，insert into表示追加数据；insert overwrite表示将原来的数据清空之后再加入数据 基本操作 SQL 解释 show databases; 查看所有的库 create database hivedemo; 创建库
大数据学习笔记（一）
二郎银的博客
11-29 964
大数据学习笔记（一）大数据概论 大数据是什么 1大数据概念：（big data ) : 指无法在一定时间内用常规软件工具进行捕捉、管理和处理数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产 。 2 数据的存储单位 ： bit , byte, KB, MB,GB,TB,PB,EB, ZB,YB,BB,NB,DB 。 其中1 byte = 8 bit 1K = 1024 Byte 1M =1024k . 1 G = 1024m ,1T = 102
大数据学习笔记(总结版).docx
06-21
这是本人部分大数据学习笔记，共享给需要学习的朋友。目前也在学习中，会一直增加和完善这个文档
大数据实训笔记2：hadoop完全分布式模式
Roslin_v的博客
07-01 661
介绍了hadoop的完全分布式模式，重点是三台客户机的集群配置与启动，并介绍了一个简单案例。
大数据实训笔记DAY01
linhan123321的博客
07-11 240
简介 概述 Hadoop是Yahoo!开发后来贡献给了Apache的一套分布式机制 Hadoop提供了简单的编程模型来对大量数据进行计算 Hadoop能够从一台服务器扩展到上千台服务器，每一台服务器都能够进行计算和存储 Hadoop提供了探测和处理异常的机制 Hadoop本身的版本非常混乱，在选择版本的时候需要注意版本和组件之间的兼容性 模块 Hadoop Common：公共模块，实际上就是依赖Nutch的包 Hadoop Distributed File System (HDFS™)：分布式文件系统
大数据实训笔记Day03
linhan123321的博客
07-26 172
MapReduce 组件 InputFormat - 输入格式 InputFormat发生在Mapper之前，需要先读取数据，然后将读取出来的数据交给Mapper处理，所以InputFormat读取出来的数据是什么样子，那么Mapper就是什么样子 如果不指定，那么MapReduce默认使用的是TextInputFormat，TextInputFormat在读取数据的时候，默认是按行读取数据，读取出来的数据的键是数据的字节偏移量，值是读取的这一行数据 在MapReduce中，只有BZip2对应的压缩文件可
大数据实训笔记Day08
linhan123321的博客
07-26 188
Hive 函数 基本案例 拼接 原始数据 baike baidu com mail 163 com music qq com news baidu com 在Hive中建表来管理这些数据 create table webs (app string, company string, kind string) row format delimited fields terminated by ' '; 加载数据 load data local inpath '/opt/hivedemo/we
大数据实训笔记Day06
linhan123321的博客
07-26 179
Flume 其他组件 Selector Selector是Source的子组件，Selector是配置在Source上的，Selector决定了数据的分发方式 Selector提供了两种分发方式 replicating：复制模式。当节点收到数据之后，会将数据复制之后分发给每一个节点，此时数据接收的节点收到的数据是相同的，这种分发方式通常用于数据的备份或者数据的不同处理 Multiplexing：路由模式/多路复用模式。当节点收到数据之后，会根据数据的headers中的指定字段的值来决定发送给哪一个
实训笔记20190807--数据分析
weixin_43895902的博客
08-07 350
python之数据分析为什么要进行数据分析数据存在的形成导入文本文件类型导入excel类型导入csv文件类型解决数据的编码格式的方法导出数据文件除去重复数据处理空格数据数据字段抽取数据字段拆分数据记录抽取数据随机抽样数据记录合并字段匹配数据标准化数据分组日期转换日期格式化日期抽取 为什么要进行数据分析 人工智能、大数据等数据的采集需要数据----数据通过python分析而来----进行数据的清洗操...
python数据分析第九章案例_《利用Python进行数据分析》第9章 分组级运算和转换笔记...
weixin_39768917的博客
12-17 326
分组级运算和转换聚合是分组运算的其中一种。它是数据转换的一个特例，它接受能够将一维数组简化为标量值的函数。接下来将介绍transform和apply方法，它们能够执行更多其他的分组运算。如果要为一个DataFrame添加一个用于存放各索引分组平均值的列。一个办法是先聚合再合并df=DataFrame({'key1':['a','a','b','b','a'],'key2':['one','two'...
信息安全工程师第二版考试总结+笔记
热门推荐
IT技术
11-29 2万+
信息安全工程师第二版考试总结+笔记
day9.数据集成和转换
MineData
06-04 1218
今天的内容是数据的集成和变换，在做数据分析和挖掘时，百分之八十的时间可能要花在数据预处理部分，准备好相应的数据。数据集成是将多个数据源的数据整合在一起，数据集成建立在对业务的理解之上；数...
b站唐老师人工智能基础知识笔记
qq_45064049的博客
08-19 1848
机器学习1.机器学习概述1.1.人工智能概述1.2.人工智能发展历程1.3.人工智能主要分支1.4.机器学习工作流程1.5.机器学习算法分类1.6.模型评估1.7.1.8.深度学习间接[了解]2.机器学习基础环境安装与使用3.4.Numpy5.Pandas 1.机器学习概述 1.1.人工智能概述 1.2.人工智能发展历程 1.3.人工智能主要分支 1.4.机器学习工作流程 1.5.机器学习算法分类 1.6.模型评估 1.7. 1.8.深度学习间接[了解] 2.机器学习基础环境安装与使用 3. 4.Numpy
大数据实习笔记
EnjoyToShare | 资源分享平台
07-17 7554
#2018-07-19# 1.同步集群时间 2.数据导入flume 使用 flume 收集 nginx 服务器的日志到 hdfs （1）配置代理 [root@master1 ~]# vim /etc/flume/conf/flume.conf 添加： # #配置Agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # # 配...
大数据技术之Flume 企业开发案例——聚合（7）
qq_45115959的博客
08-27 1355
文件，配置 Sink 输出数据到下一级 Flume。数据流，配置 Sink 数据到下一级 Flume。发送过来的数据流，最终合并后 sink 到控制台。配置 Source 用于监控。配置 Source 监控端口。配置 source 用于接收。
大数据技术之Flume 企业开发案例——自定义 Sink（10）
qq_45115959的博客
08-28 1049
Sink 不断地轮询 Channel 中的事件并批量地移除它们，随后将这些事件批量写入到存储或索引系统，或者发送到另一个 Flume Agent。Sink 是完全事务性的。在从 Channel 批量删除数据之前，每个 Sink 会用 Channel 启动一个事务。批量事件一旦成功写入到存储系统或下一个 Flume Agent，Sink 就利用 Channel 提交事务。事务一旦被提交，该 Channel 从自己的内部缓冲区删除事件。
大数据技术之Flume 数据流监控——Ganglia 的安装与部署（11）
最新发布
qq_45115959的博客
08-29 990
轻量级服务，安装在每台需要收集指标的机器上，用于收集系统信息如 CPU 使用率、内存、磁盘、网络和活跃进程的数据等。: 整合所有信息，并将其以 RRD 格式存储至磁盘的服务。: Ganglia 的可视化工具，是一种利用浏览器显示 gmetad 所存储数据的 PHP 前端，在 Web 界面中以图表方式展现集群的运行状态下收集的多种不同指标数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值