二十一、《大数据项目实战之用户行为分析》Flume数据实时写入HBase

已于 2022-10-16 08:25:23 修改
阅读量338 收藏
点赞数
分类专栏： # 手把手搭建企业级大数据搜索引擎用户行为分析系统 文章标签： hbase flume 大数据 Flume集成HBase Flume写入HBase
于 2022-10-12 09:37:28 首次发布
原创文章，转载请注明出处。
本文链接：https://blog.csdn.net/xiaosa5211234554321/article/details/127276121
版权
本文详细介绍了如何在大数据项目中使用Flume将用户行为日志实时写入HBase。通过配置Flume的Sink组件，实现了数据同时流向Kafka和HBase。重点解析了Flume写入HBase的原理，包括SimpleHBase2EventSerializer和RegexHBase2EventSerializer的使用，并提供了正则表达式匹配用户行为日志的测试。最后，文章详述了启动HDFS、ZooKeeper、Kafka、HBase集群及Flume的步骤，确保数据流架构的正常运行。
摘要由CSDN通过智能技术生成

数据流架构

 本节在上一节Flume数据实时写入Kafka的基础上继续进行完善，将centos03节点的Flume接收到的数据写入到Kafka和HBase中。整个过程的数据流架构如图

具体操作步骤如下。 

配置centos03节点的Flume

Flume的Sink组件可以配置多个目的地，其中就包括Kafka和HBase，即可以将数据同时写入到Kafka的主题和HBase的表中。

首先在centos03节点的Flume中，重命名flume-evn.sh.template为flume-evn.sh，然后在flume-evn.sh文件中添加以下内容，关联Flume与Hadoop和HBase，否则Flume将找不到HBase相关的依赖库。

export JAVA_HOME=/opt/mod
了解本专栏 订阅专栏 解锁全文 超级会员免费看
二十、《大数据项目实战之用户行为分析》Flume数据实时写入Kafka
分享大数据、人工智能领域原创文章
10-12 931
我们已经知道，Kafka适合用于对数据存储、吞吐量、实时性要求比较高的场景。而对于数据的来源和流向比较多的情况，则适合使用Flume，且Flume不提供数据存储功能而是侧重于数据采集与传输。在实际开发中，常常将Flume与Kafka结合使用，从而提高系统的性能，使开发起来更加方便。
HBase项目实战：HBase+Flume+Kafka+Hive+SSM实现电信大数据通话信息实时读写定位系统
萧邦主的城邦
08-21 4688
内容简介
flume-ng整合hbase
11-16
Flume可以和许多的系统进行整合，包括了Hadoop、Spark、Kafka、Hbase等等；当然，强悍的Flume也是可以和Mysql进行整合，将分析好的日志存储到Mysql（当然，你也可以存放到pg、oracle等等关系型数据库）。
第4.1.3章 flume写入数据到hbase中
warrah 南极狼
07-08 1363
1、环境准备 1.1 flume组件开发环境 flume组件依赖的jar如下： <!-- provided --> <dependency> <groupId>commons-lang</groupId> <artifactId>commons-lang</artifactId> <version&...
Flume将数据导入Hbase
知否技术的博客
11-07 969
Flume 将数据导入Hbase 1:创建.conf文件 #cd   /usr/tmp #mkdir  flumesrc #vim  netcat_to_hbase_user.conf a1.sources=r1 a1.sinks=s1 a1.channels=c1 a1.sources.r1.type=netcat a1.sources.r1.bind=master a1
04 flume将数据导入到Hbase
张力的程序园
06-14 467
我们已经了解了使用flume监听端口以及文件内容，本节将展示使用flume导入数据到hbase。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200，请读者根据自己实际情况设置 已完成flume安装并监听端口数据，flume的服务名称为a1 https://www.jianshu.com/p/3e4f7db8080f 已完...
flume将数据导入到hbase中
做自己喜欢做的，并坚持做下去，就够了
04-03 2480
接着前面的练习，flume已经安装完成并可以正常运行。运行/opt/flume/bin/flume-ng version可以查看安装的版本。1.把/opt/hbase/lib目录下的以下文件复制替换到/opt/flume/lib目录下面[root@elephant lib]# cp protobuf-java-2.5.0.jar /opt/flume/lib cp: overwrite `/opt...
尚硅谷大数据技术之Flume
03-23
尚硅谷大数据技术之Flume Flume 是 Cloudera 提供的一个高可用的、 高可靠的、分布式的海量日志采集、聚合和传输的系统。 Flume 基于流式架构，灵活简单。 1.1 Flume 定义 Flume 是一个高可用的、 高可靠的、...
【大数据技术】Spark+Flume+Kafka实现商品实时交易数据统计分析实战（附源码）
showswoller的博客
12-21 2771
【大数据技术】Spark+Flume+Kafka实现商品实时交易数据统计分析实战（附源码）
大数据项目实战之新闻话题统计分析
weixin_43118064的博客
12-02 2616
前言：本文是一个完整的大数据项目实战，实时|离线统计分析用户的搜索话题，并用JavaEE工程前端界面展示出来。这些指标对网站的精准营销、运营都有极大帮助。架构大致是按照企业标准来的，从日志的采集、转化处理、实时计算、JAVA后台开发、WEB前端展示，一条完整流程线下来，甚至每个节点都用的高可用架构，都考虑了故障转移和容错性。所用到的框架包括 ：Hadoop(HDFS+MapReduce+Yarn)...
大数据技术应用(一) 应用Flume+HBase采集和存储日志数据
08-11
NULL 博文链接：https://kavy.iteye.com/blog/2228079
Flume-ng将数据插入hdfs与HBase-0.96.0
架构技术专栏
10-24 693
问题导读： 1.如何配置分布式flume 2.master与node之间该如何配置，有什么异同？ 3.启动命令是什么？ 4.flume把数据插入hbase，该如何配置？ 一、Flume-ng配置插入hdfs 1）简介 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Fl
大数据学习之IO读取数据到hbase表中
y_wang_的博客
06-13 249
一、将数据文件通过IO读入hbase表中1.连接hbase的对象，调用getTable获取表的实例2.创建一个ArraryList集合3.用io读取文件数据，用while循环split进行分割成数组3.1把每一行组成一个put对象以唯一的数为行键3.2为行添加多列3.3把每一行组成一个put对象添加到集合中4.调用表的put方法将集合中的数据添加到表中；5.关闭通道示例代码： /** * 连接hbase * */ @Before public void clientHbase(){ try {
Flume+hbase 日志数据采集与存储
weixin_30916125的博客
02-03 147
了解过flume的人，差不多都看过这张或则类似的图片，本文即实现上图部分内容。（由于条件有限，目前是单机上实现） flume-agent配置文件 #flume agent conf source_agent.sources = server source_agent.sinks = avroSink source_agent.channels = memoryChannel ...
Flume 系列（一） 初识
凌晨1点21分的专栏
05-27 277
Flume 初识 一、Flume 简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-...
flume+Hbase搭建问题详解
架构技术专栏
10-24 5720
近期在做日志系统，所以选配  flume-ng去连接hbase # Describe  the sink a1.sinks.k1.type  = org.apache.flume.sink.hbase.AsyncHBaseSink a1.sinks.k1.table = Router #设置hbase的表名 a1.sinks.k1.columnFamily = log #设置
flume将数据采集到hbase
weixin_48231783的博客
06-04 617
将数据存放在虚拟机2和3，从虚拟机1来收集其它两台虚拟机的数据再存放到虚拟机1的hbase上
java flume hbase_flume将数据导入到hbase中
weixin_39887546的博客
02-16 116
安装flume：[hadoop@h71 ~]$ tar -zxvf flume-ng-1.6.0-cdh5.5.2.tar.gz修改 flume-env.sh 配置文件,主要是JAVA_HOME变量设置[hadoop@h71 apache-flume-1.6.0-cdh5.5.2-bin]$ cp conf/flume-env.sh.template conf/flume-env.sh[hadoo...
flume mysql hbase_Flume+hbase 日志数据采集与存储
weixin_30089411的博客
02-15 167
了解过flume的人，差不多都看过这张或则类似的图片，本文即实现上图部分内容。(由于条件有限，目前是单机上实现)flume-agent配置文件#flume agent confsource_agent.sources=serversource_agent.sinks=avroSinksource_agent.channels=memoryChannelsource_agent.sources.se...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据张老师

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值