Flume

最新推荐文章于 2023-09-23 22:16:31 发布
最新推荐文章于 2023-09-23 22:16:31 发布
阅读量281 收藏 1
点赞数
分类专栏： Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiahonhyu0609/article/details/89114621
版权

在这里插入图片描述

常用分析指标:
.1. 常规数据指标的监测：用户量，新用户量，UGC（社交产
品），销量，付费量，推广期间各种数据等。
2. 渠道分析/流量分析：分析/监控引流渠道优劣
3. 用户的核心转化率：统计付费率，购买率
4. 用户使用时长的监测：用户活跃度，产品验证
5. 用户流失情况：监控用户的流失率（1，3，7，30）
6. 活跃用户动态：关注活跃用户动态
7. 用户特征描述：算法建模上，和产品上使用
8. 用户生命周期的监测： 在建模上需要考虑 c user b 商家

具体收集什么数据:
1.用户浏览目标网页的行为
打开某网页、点击某按钮、购买商品、将商品加购物车等
2.附加内容数据：
下单行为产生订单金额等

以上收集策略能满足基本的流量分析、来源分析、内容分析及访客属性等常用分析视角。

可定制数据收集
Google分析、百度统计、搜狗分析
根据定义好的可扩展API（接口），只需编写少量的JavaScript代码就可以实现自定义事件和自定义指标的跟踪和分析。
这里JavaScript就是埋点

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
PV量，UV量
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
channel:
采用被动存储的形式，可以链接任意数量的source和sink.

flume可靠性：
1：flume保证单次跳转的可靠的方式，传送完成后，该事件才会从通道中移除。
2：如果网络中断或者其他原因，这个数据会在下一次重新传输。
3：Flume可靠性还体现在数据可暂停上，当目标不可访问后，数据会暂存在channel中，等目标可访问后，再进行传输。

cookie -> uuid(userid) uv
cookie+uuid

cookie
uuid
clickid
pageid
…
登入之后的uuid对cookie做一个回补
这样在统计uv的时候不会既统计一次cookie又统计一次uuid。

爬虫怎么识别？
1.爬网页，我们会给他们提一个规则（加一个标识的字段）
2.离线/在线统计，有大量浏览没有点击的用户（设定一个阈值），浏览的一个频率（阈值）

pv量，uv量
3000w pv uv:3000w/16

一亿条数据，总共大小1650M
10000w 3.3*500m=1650m

【app】host1->处理1
【pc】host2->处理2

IMEI 能唯一标识设备（间接标识用户）

实践部分：
1.master终端起一个flume服务
在/usr/local/src/apache-flume-1.6.0-bin/conf/header_test.conf里：

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = org.apache.flume.source.http.HTTPSource
a1.sources.r1.bind = localhost
a1.sources.r1.port = 9000
#a1.sources.r1.fileHeader = true

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

然后启动：

./bin/flume-ng agent --conf conf --conf-file ./conf/header_test.conf --name a1 -Dflume.root.logger=INFO,console

在另一个master终端启动：
往localhost:9000 flume发送数据。

curl -X POST -d '[{"headers":{"timestampe":"1234567","host":"master"},"body":"badou flume"}]' localhost:9000

在上面那个master中可以看见我们发送的数据。event如下：
Event: { headers:{timestampe=1234567, host=master} body: 62 61 64 6F 75 20 66 6C 75 6D 65 badou flume }

FileChannel：把数据写到磁盘，性能相对差一些，能把数据持久化。
Memory Channel:把数据写到内存，只要agent出问题，数据就会丢失。
保证数据不会丢失（WAL实现）
WAL：write ahead logging 预写
写执行操作，再写数据，当数据写失败，再执行一遍操作

2.master
netcat方式把数据发进flume里面，绑定端口44444，主机地址localhost
启动：./bin/flume-ng agent --conf conf --conf-file ./conf/example.conf --name a1 -Dflume.root.logger=INFO,console

a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
example.conf

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

a1.sources.r1.interceptors = i1  
a1.sources.r1.interceptors.i1.type =regex_filter  
a1.sources.r1.interceptors.i1.regex =^[0-9]*$  
a1.sources.r1.interceptors.i1.excludeEvents =true

# Describe the sink
#a1.sinks.k1.type = logger
a1.channels = c1
a1.sinks = k1
a1.sinks.k1.type = hdfs
a1.sinks.k1.channel = c1
a1.sinks.k1.hdfs.path = hdfs:/flume/events
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.fileType = DataStream #明文的形式
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

另一个master终端
启动：telnet localhost 44444

 ^[0-9]*$：数字的都给过滤 filter和spark里面相反逻辑
 ^开始，$结尾

spark filter为true的保留下来
flume中的：filter为true的过滤掉 Python

3.master的 source-channel-sink ——>slave1的 source-channel-sink：
flume agent a2[push.conf] -> flume2 agent a1 [pull.conf]
执行步骤：slave3，master
slave3:
bin/flume-ng agent -c conf -f conf/pull.conf -n a1 -Dflume.root.logger=INFO,console
master:
bin/flume-ng agent -c conf -f conf/push.conf -n a2 -Dflume.root.logger=INFO,console

pull.conf:

#Name the components on this agent
a1.sources= r1
a1.sinks= k1
a1.channels= c1

#Describe/configure the source
a1.sources.r1.type= avro
a1.sources.r1.channels= c1
a1.sources.r1.bind= slave1
a1.sources.r1.port= 44444

#Describe the sink
a1.sinks.k1.type= logger
a1.sinks.k1.channel = c1

#Use a channel which buffers events in memory
a1.channels.c1.type= memory
a1.channels.c1.keep-alive= 10
a1.channels.c1.capacity= 100000
a1.channels.c1.transactionCapacity= 100000

push.conf:

#Name the components on this agent
a2.sources= r1
a2.sinks= k1
a2.channels= c1

#Describe/configure the source
a2.sources.r1.type= netcat
a2.sources.r1.bind= localhost
a2.sources.r1.port = 44444
a2.sources.r1.channels= c1

#Use a channel which buffers events in memory
a2.channels.c1.type= memory
a2.channels.c1.keep-alive= 10
a2.channels.c1.capacity= 100000
a2.channels.c1.transactionCapacity= 100000


#发送到slave1上
#Describe/configure the source
a2.sinks.k1.type= avro
a2.sinks.k1.channel= c1
a2.sinks.k1.hostname= slave1
a2.sinks.k1.port= 44444

官网的网址：http://flume.apache.org/FlumeUserGuide.html#hdfs-sink

4.写到hive上

①、hive建表：badou
create table order_flume(
order_id string,
user_id string,
eval_set string,
order_number string,
order_dow string,
order_hour_of_day string,
days_since_prior_order string)
clustered by (order_id) into 5 buckets
stored as orc;

②、flume hive sink配置：

a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = exec
a1.sources.r1.command = tail -f /home/wl/flume/zheng/flume_exec_test.txt
#a1.sources.r1.type=netcat
#a1.sources.r1.bind=master
#a1.sources.r1.port=44444

a1.sinks.k1.type=hive
a1.sinks.k1.hive.metastore=thrift://master:9083
a1.sinks.k1.hive.database=badou
a1.sinks.k1.hive.table=order_flume
#a1.sinks.k1.hive.partition = eval_set
#a1.sinks.sink1.hive.txnsPerBatchAsk = 2
#a1.sinks.k1.useLocalTimeStamp = false
#a1.sinks.k1.round = true
#a1.sinks.k1.roundValue = 10
#a1.sinks.k1.roundUnit = minute
a1.sinks.k1.serializer = DELIMITED
a1.sinks.k1.serializer.delimiter=","
a1.sinks.k1.serializer.serdeSeparator=’,’
a1.sinks.k1.serializer.fieldnames = order_id,user_id,eval_set,order_number,order_dow,order_hour_of_day,days_since_prior_order

a1.channels.c1.type=memory
a1.channels.c1.capacity = 100000
a1.channels.c1.transactionCapacity = 1000

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

③、添加依赖jar包到flume_home/lib中：

  1. /usr/local/src/apache-hive-1.2.2-bin/hcatalog/share/hcatalog/*
  2. /usr/local/src/apache-hive-1.2.2-bin/lib/*

④、修改hive-site.xml 5个配置文件：

hive.support.concurrency
true


hive.exec.dynamic.partition.mode
nonstrict


hive.txn.manager
org.apache.hadoop.hive.ql.lockmgr.DbTxnManager


hive.compactor.initiator.on
true


hive.compactor.worker.threads
1

⑤、配置生效
1.重启（reboot）三个节点，
2.启动mysql：service mysqld start
3.启动Hadoop ./sbin/start-all.sh

⑥、另起一个cli，启动metastore：
hive --service metastore

⑦、启动flume：
bin/flume-ng agent --conf conf --conf-file conf/hive_flume.conf --name a1 -Dflume.root.logger=INFO,console

具体可以参考：
https://blog.csdn.net/woloqun/article/details/77651006

谁说大象不能跳舞
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flume详解与安装实例
Arno的博客
03-26 2046
Flume介绍 1、概述 Flume最早是Cloudera提供的日志收集系统，后贡献给Apache Flume是一个高可用的，高可靠的 、健壮性，分布式的海量日志采集、聚合和传输的系统 Flume支持在日志系统中定制各类数据发送方，用于收集数据(source) Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力(sink)。 2、版本 Flume0.9X：又称Flume-...
Flume简介、特点、核心概念及安装
热门推荐
qq_30612351的博客
11-09 1万+
一、什么是flume? flume是一个可分布式日志收集系统，为hadoop相关组件之一。 Flume 是可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据源中集中起来存储的工具/服务。 Flume可以采集文件，socket数据包（网络端口）、文件夹、kafka、mysql数据库等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中。 二、Flume特性 Flume是一个分布式、可靠、和高可用的海量日志采.
大数据技术——Flume简介&安装配置&使用案例
weixin_44606952的博客
11-29 8233
1. Flume 概述 1.1 Flume简介 1.2 Flume的特点 1.3 Flume的基础架构 2. Flume安装配置 2.1 下载地址 2.2 安装部署 3. Flume 使用案例 3.1 实时监控单个追加文件 3.2 实时监控目录下多个新文件 3.3 实时监控目录下的多个追加文件
Flume介绍、基础架构+Flume安装+Flume开发脚本+编写Flume拦截器+埋点数据装载到Hive
qq_43476430的博客
04-19 4223
一、Flume是什么？+项目背景 1.Flume介绍 Flume 基于流式架构是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 本项目 Flume 实时读取服务器本地目录下生成的埋点数据，将数据实时写入到HDFS。 有的公司涉及几十甚至上百的的web服务器 操作流程可能如下： 二、Flume基础架构 1、核心组件 （1）Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目标地。 主要有 3 个部分组成，Source、Chann.
实时数据流采集工具Flume
浅谈
06-22 5760
Flume是一个实时数据流采集框架，是一种分布式的、高可用的服务，可以有效的收集、聚合和移动大量的日志数据。将数据源的数据变成数据流，将数据采集到目标位置中。本质上就是一个数据迁移的过程。官网文档地址。
flume详解
qq_45048256的博客
12-29 4353
flume详解
Flume用法
01-07
Flume包含三部分 Source:从哪收集,一般使用：avro(序列化),exec(命令行),spooling(目录)，taildir(目录和文件，包含offset,不会数据丢失),kafka Channel:数据存哪里:(memory,kafka,file) Sink:数据输出到...
flume
03-25
Apache Flume是一个分布式，可靠且可用的系统，用于有效地收集，聚合大量日志数据并将其从许多不同的源移动到集中式数据存储中https://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.5.1/
flume安装程序
12-10
请解压后再用，flume-1.6.0-bin.tar 安装包，希望对大家有用。
Flume集群搭建1
08-08
hadoop12下载flume安装包wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.7.0/ap
数据采集之Flume.xmind
09-11
Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具 Apache Flume是Apache软件基金会（ASF）的顶级项目 Event是Flume定义的一个数据流传输的最小单元。...
flume-ftp-source 相关jar包
09-08
由于flume官方并未提供ftp，source的支持； 因此想使用ftp文件服务器的资源作为数据的来源就需要自定义ftpsource，根据github：https://github.com/keedio/flume-ftp-source，提示下载相关jar，再此作为记录。
flume：Apache Flume的镜像
02-03
欢迎使用Apache Flume！ Apache Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。 它具有基于流数据流的简单灵活的体系结构。 它具有可调整的可靠性机制以及许多故障转移和恢复机制...
Flume日志收集
02-25
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。(1)可靠性当节点出现故障时...
Flume部署和使用
01-07
Flume部署和使用 官方文档: http://flume.apache.org/ example: WebServer –> Agent[Source–>Channel–>Sink] –> HDFS 一.简介 Flume是一个分布式，可靠的的框架，它能从许多不同的数据源高效地收集、聚合和移动...
Flume笔记.zip
04-04
配套视频：https://space.bilibili.com/320773563/channel/detail?cid=173209
大数据开发笔记（六）：Flume基础学习
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-04 4713
Flume基础 1、Flume是什么？ Flume是数据采集，日志收集的框架，通过分布式形式进行采集,(高可用分布式) 本质：可以高效从各个网站服务器中收集日志数据，并且存储到HDFS、hbase 2、Flume可以对接的数据源？ Console、RPC、Text、Tail、Syslog、Exec等 3、Flume接受的数据源输出目标？ 磁盘，hdfs,hbase, 经过网络传输kafka data->flume->kafka->spark stre...
大数据之flume数据采集
大数据同盟会的博客
08-22 1万+
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 它可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。 一、flume结构 Flume分布式系统中最核心的角色是agent，每一个agent相当于一个数据传递员，内部有三个组件： Source：：采集源，用于跟数据源对接，以获取数据 Sink：：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据 Channel
Flume最简单使用
lydms的博客
09-23 1万+
Flume最简单使用教程
flume sdtpsource
最新发布
02-23
Flume是一个可靠、可扩展且可管理的分布式日志收集系统，用于将大量的日志数据从各种数据源（如Web服务器、数据库、应用程序等）收集到中央存储或数据处理平台。Flume提供了多种数据源和目的地的组件，其中之一就是SDTPSource。 SDTPSource是Flume中的一个特殊数据源组件，用于接收SDTP（Simple Data Transfer Protocol）协议格式的数据。SDTP是一种简单的自定义协议，用于在网络上传输结构化的数据。SDTPSource可以通过TCP协议监听指定的端口，接收来自SDTP客户端发送的数据，并将其转发给Flume的后续处理流程。 使用SDTPSource，你可以配置Flume来接收SDTP协议格式的数据，并将其传输到Flume的通道（Channel）或者直接写入目标存储（如HDFS、Kafka等）。通过配置Flume的拓扑结构和使用适当的数据处理器，你可以实现对SDTP数据的实时收集、过滤、转换和存储。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值