Flume apache和cdh版本的差异

最新推荐文章于 2021-09-14 16:46:31 发布
最新推荐文章于 2021-09-14 16:46:31 发布
阅读量717 收藏 2
点赞数
分类专栏： Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40454655/article/details/92838450
版权

apache版本的flume和cdh版本的flume在配置上是有一些区别的需要注意：

例如：cdh版本1.6.0-cdh5.7.0中kafka sink 的配置中是brokerList,但是apache 1.7.0 中是kafka.bootstrap.servers

http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0/FlumeUserGuide.html#kafka-sink

http://flume.apache.org/releases/content/1.7.0/FlumeUserGuide.html#kafka-sink

 

 

异常备注：brokerList must contain at least one Kafka broker

出错原因：cdh版本的flume使用了apache的配置。

谜失落的世界
关注
专栏目录
hadoop发行版本介绍 cdh和apache hadoop优缺点统计 cdh使用踩坑
weixin_43941899的博客
03-26 2249
发行版本的介绍 Cloudera 最成型的发行版本，拥有最多的部署案例。提供强大的部署、管理和监控工具。Cloudera开发并贡献了可实时处理大数据的Impala项目。 Hortonworks 不拥有任何私有（非开源）修改地使用了100%开源Apache Hadoop的唯一提供商。Hortonworks是第一家使用了Apache HCatalog的元数据服务特性的提供商。并且，它们的Stin...
Hadoop版本信息对比2.6.0-3.0.0
qq_44293181的博客
01-02 2358
目前我搭建的大数据集群的hadoop主要版本为2.6.0，版本日期为2014.11.18。为了适应大数据的不断发展和更新换代，特此分享hadoop主要版本信息，为版本升级做准备。 原始版本：2.6.0 版本日期：2014.11.18 第三方版本信息：HDP2.2.6 目标版本：3.0.0 版本日期：2017.12.13 第三方版本信息：CDH6.0.1 涉及中间版本：2.7.0|3.0.0 alp...
flume-ng-1.6.0-cdh5.13.2
12-19
CDH版本的flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。
分布式日志收集系统 —— Flume
weixin_30362083的博客
08-31 276
一、Flume简介 Apache Flume 是一个分布式，高可用的数据收集系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本，NG 在 OG 的基础上进行了完全的重构，是目前使用最为广泛的版本。下面的介绍均以 NG 为基础。 二、Flume架构和基本概念 下图为 Flume 的基本架构图：...
cdh版本的flume安装以及配置
小宁哥博客
05-14 6688
Apache版本下载地址：http://archive.apache.org/dist/flume/CDH版本下载地址：http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.5.0-cdh5.3.6.tar.gzsystem requrequirements1、安装解压缩tar -zxvf /opt/softwares/flume-ng-1.5.0-c...
flume介绍之版本及其原理
vinsuan93的专栏
05-08 5523
一.概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 Flume 功能的扩展，Flume OG 代码工程臃肿、
flume-ng-1.6.0-cdh5.14.2.tar.gz
08-07
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。
大数据平台比较-CDH、HDP、CDP
Allenzyg的博客
08-24 4万+
说到大数据，不得不提一下Hadoop。先来谈一谈 Apache Hadoop与CDH、HDP的比较 一、Hadoop版本综述 不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Platform，简称HDP），对于国内而言，绝大多数选择CD
0487-CDH6.1的新功能
Hadoop_SC的博客
01-12 902
北京时间2018年12月19日，Cloudera正式发布Cloudera Enterprise 6.1.0，上次发布CDH6.0是8月30日，差不多过去了3个多月的时间，参考Fayson之前的文章《Cloudera Enterprise 6正式发布》。从CDH6.0到CDH6.1是一次minor version的更新，但更新内容较多，在开始接下来的细化功能讨论前，我们先看看几项重点更新的内容： 1...
数仓架构（离线和实时）--企业版
xiaohu21的博客
10-13 2371
数仓架构图–企业版 1. 背景 数仓，这是一个并不新颖的词语。在PC时代，就有传统数仓，当时数据一般存放在数据库中，一般是Oracle或者Mysql集群中。因为那时候数据量还不是非常大，所以使用数据库集群就可以进行数据的存储和查询分析，集合前端web页面就能做数据交互式的查询和展示。 进入互联网时代之后，由于移动设备和移动通信技术快速发展，来自移动端的数据几何倍数增加，传统数仓技术已经无法支撑这么海量的数据存储和查询分析。现代化数仓应运而生。 PS： 移动互联网时代，因为都是敏捷开发，为了更好研究客户
Flume-ng-1.6.0-cdh.zip
04-08
Flume-ng-1.6.0-cdh.zip 内压缩了 3 个项目，分别为：flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz 和 flume-ng-1.6.0-cdh5.10.1.tar.gz，选择你需要的版本。
flume-ng-1.6.0 cdh5.7.0安装包
03-01
flume-ng-1.6.0 cdh5.7.0安装包，稳定版本。大家可以自由下载
flume-ng-1.6.0-cdh5.5.0.tar.gz
03-07
flume-ng-1.6.0-cdh5.5.0.tar.gz
Apache Flume
weixin_34116110的博客
09-13 133
1． 概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。Flume支持定制各类数据发送...
记maven导包一个坑：Cannot resolve org.apache.poi:${poi.version}
qq_41322100的博客
04-14 2万+
在子工程中导入maven依赖时遇到了错误 Cannot resolve org.apache.poi:${poi.version} 依赖明明没有错，就是导入失败，依赖如下 <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> ...
CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 )
热门推荐
wt334502157的博客
09-14 5万+
CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 ) 第一章：CDH简介 CDH概念 ​ CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。 简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间
CDH5.14.X安装Kafka过程（Kafka版本选择的过程）
BigData_Mining的博客
06-29 1万+
CDH5.14安装Kafka过程：在CDH官网中关于Kafka的安装和升级中已经说到，在CDH中，Kafka作为一个分布式的parcel，单独出来作为parcel分发安装包。只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了，就可以实现完美集成了。注意集成之前请阅读官方文档，特别是版本支持方面。查看kafka与CDH版本对应：https://www.cloudera.com/...
flume性能调优
bzq629的博客
06-05 2960
调优的出发点是因为在项目当中，那多个百兆的文件进行读写测试，发现默认配置在刚开始数据量较小的时候响应速度很快，但是随着数据量的增加，响应速度越来越慢。 我们知道，flume-ng agent包括source、channel、sink三个部分，这三部分都运行在JVM上，而JVM运行在linux操作系统之上。因此，对于flume的性能调优，就是对这三部分及影响因素调优。 1、source的配置 该项目...
120吨双级反渗透程序+混床程序，以及阻垢剂、杀菌剂 加药 一键制水，一键反洗，一键正洗，无人值守 西门子S7-200 sm
最新发布
09-12
120吨双级反渗透程序+混床程序，以及阻垢剂、杀菌剂 加药。 一键制水，一键反洗，一键正洗，无人值守。 西门子S7-200 smart编程软件写的程序，程序+画面+电气原理图。 打包送出去，供初学者学习和研究。 程序有注释。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值