flume版本的选择

最新推荐文章于 2021-12-09 21:54:18 发布
最新推荐文章于 2021-12-09 21:54:18 发布
阅读量2.5k 收藏
点赞数
分类专栏： flume 文章标签： 分布式 实用场景1 数据 解决方案 jdk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xinlangtianxia/article/details/51472404
版权
jdk1.7.48 +flume 1.6.0即可
xinlangtianxia
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FlumeConfig:可视化 Flume 配置编辑器
06-26
#FlumeConfig###A 可视化 Flume 编辑器## 版本：0.1.0 Flume 配置完全用 Javascript 编写并且是自包含的。 它允许您直观地布置 Flume 拓扑，输入源、通道和接收器的属性，并为您创建水槽配置文件。 它可以处理多个代理。 目前并非所有的源、接收器、通道都可用，但很快就会到来。 先决条件如果你想使用嵌入式服务器，你需要安装 node.js。 否则，您可以将其放入您选择的应用程序服务器中。 跑步： grunt build cd app node server.js 您还可以通过以下方式在开发人员模式下运行它： grunt serve 使用 从左侧选择节点类型（源、接收器、通道等） 双击代理添加代理节点 选择节点并在底部的属性选项卡中输入属性 添加另一个节点并将连接从一个节点拖放到另一个节点 输入该节点的属性 选择“Config F
flume的概念和基本使用
宇的博客
01-02 1146
一、flume概述 flume是一个分布式的、可靠的、可用的以及高效的对大量数据日志进行收集、聚集、移动信息的服务。flume是一个可容错的、健壮的并且非常简单的流式数据框架，他只需要简单配置source、channel以及sink后，编写一条命令就可实时采集数据。 agent的三个组成部分为：source、channel和sink。 source：用于采集数据，source是
Flume的简单介绍
weixin_50656879的博客
05-30 264
要想把大量的数据变成有用的信息，需要经过分析计算，可以使用hdfs对数据进行保存，使用MR对数据进行分析和计算，采集数据的过程可以交给Flume Flume的定义
分布式日志收集系统 —— Flume
weixin_30362083的博客
08-31 252
一、Flume简介 Apache Flume 是一个分布式，高可用的数据收集系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本，NG 在 OG 的基础上进行了完全的重构，是目前使用最为广泛的版本。下面的介绍均以 NG 为基础。 二、Flume架构和基本概念 下图为 Flume 的基本架构图：...
Flume日志采集框架
storm_fury
10-12 1918
1. 概述 Flume是Cloudera提供的一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包、文件夹等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。 一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大...
Flume基础知识点
轻言少语的博客
07-19 347
Flume的简介 Flume是一种分布式的，可靠的、高可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。 参考官网： http://flflume.apache.org/ Flume目前只有Linux系统的启动脚本，没有Windows环境的启动脚本。 Flume的体系结构 Flume 运行的核心是 Agent。Flu
Flume-ng-1.6.0-cdh.zip
04-08
Flume-ng-1.6.0-cdh.zip 内压缩了 3 个项目，分别为：flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz 和 flume-ng-1.6.0-cdh5.10.1.tar.gz，选择你需要的版本。
学习kafa的笔记，可以看看目录选择下载
06-01
1. 什么是kafka？ 2. 消息队列介绍 3. 为什么使用消息队列？ 4. kafka的特点 5. kafka的使用场景 6. kafka系统的架构...19. kafka和flume的整合—kafkasource—kafkasink 20. kafka原理加强—日志分段条件 .....
2017最新大数据架构师精英课程
11-01
123_hbase版本机制 124_hbase-ttl-min-versions-keep-deleted-cells" @- N5 [2 s; S3 T$ H' C 125_keep-deleted-cells控制是否保留删除的shell$ V8 |; Q7 g" ]- C# j% |! y 126_过滤器rowkey-family 127_过滤器-分页...
saphana的jdbc驱动
05-08
java连接saphana的jdbc驱动,驱动类：com.sap.db.jdbc.Driver，连接URL：jdbc:sap://${ip}:${port}/${example}?reconnect=true
一、Flume 概述及安装
嘻哈吼嘿呵的博客
10-03 155
一、概念 Flume 是 Cloudera 提供的一个高可用的， 高可靠的， 分布式的海量日志采集、 聚合和传输的系统。 Flume 基于流式架构， 灵活简单。 二、Flume 组成架构 1、Flume 架构中的组件 （1）Agent Agent 是一个 JVM 进程， 它以事件的形式将数据从源头送至目的， 是 Flume 数据传输的基本单元。 Agent 主要有 3 个部...
flume介绍之版本及其原理
vinsuan93的专栏
05-08 5430
一.概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 Flume 功能的扩展，Flume OG 代码工程臃肿、
flume版本演变
weixin_45207388的博客
03-11 1235
flume初始发行版本为 Flume OG(Original Generation)，属于cloudera。缺点：代码工程臃肿、核心组件设计不合理、核心配置不标准，日志传输不稳定。2011年，cloudera 完成了 Flume-728，对 Flume 进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，重构后的版本统称为 Flume NG（next generation）；改动的另一原因...
Flume 各种坑
热门推荐
语不惊人死不休
01-04 4万+
1. 背景 最近一段时间在做安全大数据分析环境搭建以及初步的数据采集、录入工作，这个过程中用到了 Hadoop+HBase+Flume+Kafka这套大数据分析的工具。在数据分析环境架构中，Flume-1.7.0 主要用来收集各种来源、形式的数据，并把数据传给 Kafka 集群，由 Kafka 集群统一分发给 HBase集群。 用 Flume ，主要用到的 Source 是 spool
flume
weixin_44077750的博客
12-09 2588
flumeflume简介flume架构Flume数据流Flume可靠性Flume的安装及使用Flume的安装1、上传至虚拟机，并解压2、重命名目录，并配置环境变量3、查看flume版本4、测试flume5、flume的使用spoolingToHDFS.confhbaseLogToHDFShbaselogToHBasehttpToLogger flume简介 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进
Kafka flume 整合
czw698的专栏
04-16 5855
前提 前提是要先把flume和kafka独立的部分先搭建好。 下载插件包 下载flume-kafka-plus:https://github.com/beyondj2ee/flumeng-kafka-plugin 把lib目录下的 和package下的   都放到flume的lib目录 修改原有的flume-conf文件
Flume
qq_41072814的博客
04-25 322
Flume Flume概述 ​ 定义：Flume是cloudera开发的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。 ​ 特点：Flume基于流式架构，简单灵活。 ​ 作用：实时读取服务器本地磁盘的数据，并将数据写入到HDFS中。当然Flume并非只能从磁盘读取数据或是将数据上传到HDFS中，Flume也可以从python爬虫数据平台抓取数据到HDFS或是Kafka中。 Flume基础架构 ​ Flume基础架构图 ​ 图一、Flume基础架构图 Agent ​
Flume架构
Zonzereal的博客
11-30 3166
1.1. 什么是Flume  flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行
Linux下Flume的安装
weixin_54707168的博客
03-26 199
Linux下Flume的安装 文章目录Linux下Flume的安装一、前置条件二 、安装步骤2.1 下载并解压2.2 配置环境变量2.3 修改配置2.4 验证 一、前置条件 Flume 需要依赖 JDK 1.8+，JDK 安装方式见本仓库： Linux 环境下 JDK 安装 二 、安装步骤 2.1 下载并解压 下载所需版本的 Flume，这里我下载的是 CDH 版本的 Flume。下载地址为：http://archive.cloudera.com/cdh5/cdh/5/ # 下载后进行解压 tar -z
linux服务器安装flume
最新发布
10-08
要在Linux服务器上安装Flume，您可以按照以下步骤进行操作： 1. 首先，确保您已经安装了Java Development Kit（JDK）和Apache Maven。您可以使用以下命令检查是否已安装： ``` java -version mvn -version ``` 2. 下载Flume的二进制文件。您可以从Apache Flume官方网站（https://flume.apache.org/）或Apache镜像站点（https://www.apache.org/dyn/closer.lua/flume/）下载。选择一个适合您的操作系统和版本的二进制文件进行下载。 3. 解压缩下载的文件。您可以使用以下命令将文件解压缩到所需的位置： ``` tar xzf apache-flume-<version>.tar.gz ``` 4. 在解压缩后的Flume目录中，创建一个名为conf的子目录，并进入该目录： ``` mkdir conf cd conf ``` 5. 创建一个名为flume.conf的配置文件，并使用文本编辑器打开它： ``` vi flume.conf ``` 6. 在flume.conf文件中，配置Flume的代理（agent）和通道（channel）。这涉及到指定数据源、数据接收器和中间传输方式等。根据您的需求和数据流程进行相应的配置。 7. 保存并关闭flume.conf文件。 8. 返回到Flume的根目录，并运行以下命令来启动Flume代理： ``` bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name <agent-name> -Dflume.root.logger=INFO,console ``` 将`<agent-name>`替换为您为代理指定的名称。 9. Flume代理将开始运行并处理数据流。您可以根据配置的日志路径和其他输出方式来监视和验证Flume的工作情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值