CDH大数据平台搭建之FLUME安装

已于 2022-05-27 15:13:31 修改
阅读量613 收藏
点赞数
分类专栏： 大数据集群搭建 文章标签： 大数据
于 2021-06-11 15:21:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41924766/article/details/117817909
版权
本文档详细介绍了如何在CDH大数据平台上安装和配置FLUME。首先提供了下载FLUME的两种途径，包括从官网和使用网盘链接（提取码：cdh5）下载。接着，讲述了安装步骤，包括解压文件到指定目录、重命名文件夹以及修改配置文件，如将`flume-env.sh.template`重命名为`flume-env.sh`并设置JAVA_HOME环境变量。
摘要由CSDN通过智能技术生成

CDH大数据平台搭建之FLUME安装

一、下载

1、官网下载
2、网盘下载 提取码：cdh5
备注：官网下载的是apache版本，网盘的是cdh5.7.6的版本

二、安装及配置

1.解压

tar -zxvf flume-ng-1.6.0-cdh5.7.6.tar.gz -C /opt/modules/

2.重命名文件夹

mv apache-flume-1.6.0-cdh5.7.6-bin flume-1.6.0-cdh5.7.6

3.修改配置文件

1、重命名文件

mv conf/flume-env.sh.template conf/flume-env.sh

2、修改配置

export JAVA_HOME=/opt/modules/jdk1.8.0_9
码上_成功
关注
专栏目录
CDH大数据平台 14Cloudera Manager Console之flume安装和配置(markdown新版)
80后大叔爱学习
10-06 2171
flume配置，数仓必备采集数据工具
CDH-CM大数据管理平台详解 附CDH离线安装包
悦分享
10-07 2105
一般认为，大数据主要具有 四方面的典型特征——规模性（Volume）、多样性（Variety）、高速性（Velocity）和价值性（Value）, 即所谓的"4V“。volume(大量)：目前处理的数据量基本为PB、EB级别velocity(高速)：在极短的一段时间内能产出大量数据（秒杀活动等）variety（多样）：数据种类比较多，如日志文件、音频、视频、地理位置信息等value（低价值密度）：数据本身的价值比较低，通过对数据分析出有价值的东西。
CDH中Flume的基本安装
张不帅
07-21 2694
文章目录添加服务日志采集Flume配置启动Flume 添加服务 选择所有节点 然后完成 日志采集Flume配置 Flume直接读log日志的数据，log日志的格式是app-yyyy-mm-dd.log。两台Flume生产一台消费.如果直接点击配置,配置的是所有集群中的Flume 点击Flume中的实例 点击Agent 在这里点击配置,只配置hadoop001的,修改配置中Agent为a1,...
flume-ng-1.6.0 cdh5.7.0安装包
03-01
flume-ng-1.6.0 cdh5.7.0安装包，稳定版本。大家可以自由下载
基于CDH安装部署的flume导入mysql数据到kafak的jar包
04-18
利用flume将mysql的数据同步到kafak，flume是基于CDH6.2.0安装的。解决已下问题：java.lang.NoSuchMethodError:    org.apache.flume.Context.getSubProperties(Ljava/lang/String;)Lcom/google/common/collect/ImmutableMap;
CDH 安装 Flume、Kafka、Kudu
あずにゃん梓喵的博客
04-05 1365
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用 Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 Kudu 创建主键 =========...
大数据-Hadoop-搭建-(三)：CDH大数据全家桶【统一安装管理HDFS、YARN、Zookeeper、Kafka、Sqoop、Spark等】【6.3.3版以后开始收费】
u013250861的博客
03-28 1182
Cloudera Manager是用于管理CDH群集的B/S应用程序。Cloudera Manager通过对CDH集群的每个部分提供细粒度的可视性和控制来设置企业部署的标准，使运营商能够提高性能，提高服务质量，提高合规性并降低管理成本。使用Cloudera Manager，可以轻松部署和集中操作完整的CDH堆栈和其他托管服务（Hadoop、Hive、Spark、Kudu）。其特点：应用程序的安装过程自动化，将部署时间从几周缩短到几分钟;并提供运行主机和服务的集群范围的实时监控视图;
大数据平台搭建与部署实践
大数据平台概述 1.1 什么是大数据平台 大数据平台是指基于大数据技术栈构建的一套数据处理、存储、管理、分析和应用的系统，用于处理海量、复杂、多样化的数据。它通常包括分布式存储、分布式计算、实时处理、...
CDH5部署_大数据_
10-01
《CDH5部署——大数据平台搭建详解》 在大数据领域，Cloudera Distribution Including Hadoop (CDH) 是一个广泛使用的开源平台，它为数据处理、分析和存储提供了全面的解决方案。CDH5是其中的一个重要版本，包含了...
01_大数据项目之电商数仓_用户行为采集平台.docx
07-20
在这个大数据项目中，我们将使用 Apache/CDH/HDP 等技术来搭建电商数仓用户行为采集平台，并使用 Flume、Kafka、Sqoop、Logstash、DataX 等工具来采集和传输数据。同时，我们还将使用 HDFS、HBase、Redis、MongoDB ...
flume-ng-1.6.0-cdh5.13.2
12-19
CDH版本的flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。
CDH配置启动flume
北京小辉
01-03 9957
目录：一、如何使用flume二、进入配置管理三、关于配置文件———————————————————————————-请提前参考我的Flume博客：http://blog.csdn.net/silentwolfyh/article/category/6186343一、如何使用flume在CDH界面添加服务，选择flume之后选择主机，flume服务就启动了，下面就是配置参数二、进入配置管理三、关于配置
Linux下Flume安装教程(CDH)
zhaoguowei的博客
11-14 456
Flume安装 1. 安装好JDK 网上资源多，不赘述 2. 安装flume 2.1下载flume http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0.tar.gz 2.2 解压并配置环境变量 解压 tar -zxvf flume-ng-1.6.0-cdh5.7.0.tar.gz vim ~/.bash_profile...
flume学习笔记（一）：cdh5.14.2中安装，启动，测试flume
zlsdmx的博客
08-16 5949
说明：此文特为初次使用cdh上flume，并且对flume有一定认识的同学参考使用，具体请参考官网： Apache Flume™ 环境：centos7.3 1708 ，cdh 5.14.2 1. 在cdh中添加flume服务 看图： 图一 图二 图三 图四 图片五 图片六 在这里启动一下flume 图片七 图片八 2.使用默认配...
cdh版本的flume安装以及配置
小宁哥博客
05-14 6696
Apache版本下载地址：http://archive.apache.org/dist/flume/CDH版本下载地址：http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.5.0-cdh5.3.6.tar.gzsystem requrequirements1、安装解压缩tar -zxvf /opt/softwares/flume-ng-1.5.0-c...
CDH下配置Flume进行配置传输日志文件（尚硅谷版）
Jecky的博客
11-11 1780
CDH下配置Flume进行日志采集配置 说明：许多企业目前都在使用CDH进行大数据开发，CDH具有方便，高效，一键配置，方便管理和搭建大数据组件的特点，所以下面说一下尚硅谷的Flume配合Kafka进行日志文件的采集。 架构图 下图蓝框内为采集架构图，由架构图得到数据是以Flume --> kafka --> Flume --> HDFS进行采集的，可以看到使用了两次Flume 第一层Flume架构及配置 这一块的source是TAILDIR，channel是memory，sink是k
cdh5.4.7 flume使用
onlyForCloud的专栏
11-06 3083
一，如何使用flume flume的原理和使用 二，关于配置文件 可以知道， cloudera-monitor.properties里配置agent_name来使用。flume.conf里面设置具体的agent信息。
CDH5.1从采集(Flume)到索引(Solr)
zh_yi的专栏
04-08 6520
众所周知，CDH是Cloudera公司推出的基于稳定版的ApachHadoop环境。并且比官方的Hadoop更新更快。坚持季度update，年度release。其中集成的Hadoop生态系统中的所有组件互相兼容，并坚持更新其中的bug和feature，在学习测试、生产环境中都有很好的应用。 如果在生产环境中需要用到Hadoop，自行部署Hadoop，在其上再部署类似HBase、Flume、Imp
centos7桌面版 CDH5.9.3 安装 flume 1.6.0
小萌妹的作死笔记
09-03 313
1 .下载 flume   并解压 [root@hadoop1 yao]# wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.9.3.tar.gz [root@hadoop1 yao]# tar -zxvf flume-ng-1.6.0-cdh5.9.3.tar.gz  2 .修改环境变量 export FLUM...
CDH大数据平台与Impala交互式查询解析
通过Web界面，CDH提供了一种集中式的管理方式，使得安装、配置和维护大数据环境变得更加容易。 ClouderaManager作为CDH的核心组件，具有以下关键功能： 1. **管理**：允许管理员进行集群级别的操作，例如添加或...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值