离线项目笔记：数据的拉取之flume

最新推荐文章于 2024-05-05 18:39:49 发布
最新推荐文章于 2024-05-05 18:39:49 发布
阅读量267 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_62815329/article/details/125772401
版权

flume架构选择

flume上游组件的选择

Source：tailDir

进行监听本地文件的变动，可以找到最新的文件或数据进行采集

Channel：fileChannel

它虽然慢，但是安全性高

Sink：avro

通过网络进行传输，客户端发送到服务端。上游监听下游的端口，下游监听上游的端口。

flume下游组件的选择

Source： avro

Channel： fileChannel

Sink： HDFS

服务端监听客户端的事件，先配置服务端，如果先启动客户端会报错，找不到服务器。服务端启动之后，只需要等待监听客户端就可以。

哇？哈哈
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【 Flume_02_笔记】
weixin_47922102的博客
12-15 198
hdfs.useLocalTimeStamp false =》true 指定数据罗盘：依照的时间是本地机器时间，不是数据本身的时间。a1.sinks.k1.hive.metastore= => 需要hive 启动metastore 服务。读取1111端口数据 数据发送到2222端口 最终2222端口 把数据写入hdfs？​ body：存数据 （默认 1 ） 目的是：正确的数据落到正确的目录下。​ 先产生的数据后到，后产生的数据先到。数据清洗：正确的数据重新落盘到正确的分区。
大数据日志收集工具Flume快速入门介绍、Flume是什么、能干什么、Flume核心概念
wangshihuidev的博客
08-19 741
前言 本文主要介绍了Flume的功能用途和核心概念，是一个对Flume是什么、能干什么的快速入门介绍，来自《企业大数据处理：Spark、Druid、Flume与Kafka应用实践》读书笔记。 Flume介绍 Flume是cloudera公司开发的分布式、高可用的日志收集系统，是Hadoop生态圈内的关键组件之一，目前已开源给apache。Flume原始版本为Flume-OG，经过对整体架构的重...
flume拉取日志压测数据分析
偏执狂才能生存！热忱比专业知识更重要.........
01-22 1382
DEUBG模式拉取（消耗模式），内存缓存模式，批量100条写入（可调大） 52G日志开始增量到70G  137个log文件 11:29开始 抽样： 63737900条  表数据=29 GB   索引+表数据=39 GB 67338900条  表数据=31 GB   索引+表数据=41 GB 82897700条  表数据=38 GB   索引+表数据=51 GB 111146500条 表
Flume大数据日志拉取
weixin_46074059的博客
12-11 627
Flume Flume简介 Flume概述 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据 同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 Flume使用场景 线上数据一般主要是落地（存储到磁盘）或者通过socket传输给另外一个系统 Flume的体系架构 比较核心的组件 Client：Client生产数据，运行在一个独立的线程。 Event： 一个数据单元，消息头和消息体组成。（Events可以是日志记
SparkStreaming通过Flume获取数据（单机，push和poll两种方式）的实现
sonicgyq_gyq的博客
02-12 426
    Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。1、第一种方式，通过push的方式读取数据。首先在一台虚拟机上安装flume1.8.0，vi /etc/profile，添加配置信息# flume-1.8....
flume数据采集_离线数据采集-flume优化
weixin_39600328的博客
11-30 348
离线数据系统之辅助工具Flume组件
lixinkuan的博客
09-27 552
前言： 在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 一、日志采集框架Flume 1.1 Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以...
大数据简介：从数据到大数据，数据技术&工具的演变
weixin_46260673的博客
10-19 1326
最近在看大数据相关的书和资料，顺便梳理下笔记，于是有了本文 本文将用4张逻辑图为主线，简单介绍一个产品从“小数据”演化为“大数据”的过程，及可能用到的工具。 （以下内容主要来自书籍和网络查询资料，如有错误，还请指正） ↓↓↓本文核心逻辑↓↓↓ ↓↓↓本文目录↓↓↓ 1.一个简陋版互联技术架构 假设我们要搭建一个小网站，在不使用成熟SaaS产品的前提下，我们的产品里面最少要有以下两个部分： 客户端：可以是APP，小程序，甚至是一个Web网站，作为入口给我们的用户访问。 ..
2024年最全真实大数据简历模版（四）【大数据-2年经验】电影网数据分析(3)，金三银四我带你去BAT面试现场
最新发布
2401_84573531的博客
05-05 1081
该客流量分析系统是为周边游网站进行景区的客流量、热门景点进行环境分析、客源市场洞察、营销主题分析，经过分析得到的数据给前端进行显示，从而可以为网站提供日常决策支撑，比如某些旅游景点的人气很高的话，就可以为该景点做更多的推荐介绍。4、统计玩家流失（7、14、30持续不在线），当日回流玩家、流失玩家流失前等级、游戏次数、是否付费等情况。1、统计活跃玩家：DAU、WAU、MAU、DAU/MAU，玩家等级、地区、年龄、性别维度分布；3、统计玩家留存：次日、周及月留存玩家，玩家留存条件下等级，游戏次数、是否付费等。
真实大数据简历模版（四）【大数据-2年经验】电影网数据分析
2401_84181340的博客
04-29 761
该客流量分析系统是为周边游网站进行景区的客流量、热门景点进行环境分析、客源市场洞察、营销主题分析，经过分析得到的数据给前端进行显示，从而可以为网站提供日常决策支撑，比如某些旅游景点的人气很高的话，就可以为该景点做更多的推荐介绍。4、统计玩家流失（7、14、30持续不在线），当日回流玩家、流失玩家流失前等级、游戏次数、是否付费等情况。1、统计活跃玩家：DAU、WAU、MAU、DAU/MAU，玩家等级、地区、年龄、性别维度分布；3、统计玩家留存：次日、周及月留存玩家，玩家留存条件下等级，游戏次数、是否付费等。
flume使用之flume+hive 实现日志离线收集、分析
热门推荐
赶路人儿
09-29 1万+
在如今互联网行业中，数据的收集特别是日志数据的收集已经成为了系统的标配。将用户行为日志或者线上系统生产的数据通过flume收集起来，存放到数据仓库（hive）中，然后离线通过sql进行统计分析，这一套数据流的建设对系统有非常重要的意义。   1、思路： 1）线上系统通过log4j将数据打印到本地磁盘上； 2）在线上系统服务器上安装flume，作为agent使用exec source将线上系...
【flume采集离线数据到hdfs】
weixin_56425963的博客
03-27 412
配置文件所在目录：/opt/software/flume/apache-flume-1.9.0-bin/conf/demo.conf。1.flume出错可能需要删除checkpoint的dir下的所有文件。flume采集本地离线数据到hdfs。2.每次执行需要修改还原文件名。
离线项目笔记：数据的拉取
qq_62815329的博客
07-13 837
数据是从哪里来，怎么来的，去往哪里
【大数据实战】flume 数据采集
一片冰心
04-07 5580
目录flume快速开始概述系统要求数据流模型安装一个简单的例子采集源目录源执行源Kafka源NetCat TCP 源avro source接收器logger sinkavro sinkHDFS 接收器弹性搜索接收器多层代理实战采集目录文件到HDFS flume 快速开始 概述 Apache Flume 是一个分布式、可靠且可用的系统，用于有效地收集、聚合来自许多不同来源的大量日志数据并将其移动到集中式数据存储。 Apache Flume 的使用不仅限于日志数据聚合。由于数据源是可定制的，Flume 可用于传
spark-streaming pull方式拉取 flume-1.6.0-cdh5.10.1数据
java技术分享
04-27 3823
spark-streaming pull方式拉取 flume-1.6.0-cdh5.10.1数据 提供flume-1.6.0-cdh5.10.1 资源下载
Flume监控文件内容拉取到Kafka消费
Mr Huo
11-30 2460
1 zookeeper的安装配置 1.1 ZK配置(安装过程省略) 1.1.1安装完成后进入到zk的安装目录下的conf目录 [hadoop@mini01 ~]$ cd /home/install/zookeeper/conf [hadoop@mini01 conf]$ 1.1.2重命名zoo_sample.cfg 为zoo.cfg [hadoop@mini01 conf]$ mv zoo_s...
Flume接收数据的几种方式
程序萌部落
11-03 1776
2017-3-16 使用flume完成数据的接收标签： 有道云笔记备份使用flume完成数据的接收 场景：source是通过tcp发送，chnnel处理过滤字段，sink存在集群中适合①[注意，syslog需要特定环境，也可用telnet发送数据]source[syslogtcp],sink[hdfs] a1.sources = r1 a1.sinks = k1 a1.channels = c1#
通过Flume拉取Kafka数据保存到HDFS
Meyao's Blog
06-08 9698
通过Flume拉取Kafka数据保存到HDFS
Flume笔记(一) flume工作原理以及数据源获取
leeyu的博客
12-08 1492
flume 特点： 分布式、可靠、高可用的海量日志采集、聚合和传输的系统 在生产者和消费者中间起协调作用 flume工作原理： flume的数据流由事件（event）贯穿始终。事件是flume的基本单位，它携带日数据并且携带带有头信息， 这些event由agent外部的source生成，当source捕获事件后会进行特定的格式化，然后source会把事件推入channel中， 保存事...
Git教程：如何拉取远程分支到本地
在多人协作的项目中，经常需要从远程仓库获取最新的代码或特定的分支到本地进行开发或同步。本文将详细介绍如何使用Git将远程分支拉取到本地。 首先，你需要确保已经在本地安装了Git，并且在一个新的目录下初始化了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值