centos7上基于完全分布式搭建flume

最新推荐文章于 2021-11-23 15:40:17 发布
最新推荐文章于 2021-11-23 15:40:17 发布
阅读量377 收藏 1
点赞数
分类专栏： centos7 hadoop完全分布式 flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dengliming123/article/details/106310220
版权

1.上传flume包到服务器并解压

在这里插入图片描述
在这里插入图片描述

2.编辑配置文件 /etc/profile
在这里插入图片描述
标红的部分是在以前的配置文件基础上需要添加的
在这里插入图片描述
配置完之后保存退出.source一下这个配置文件,输入flume按两下tab建,如下就说说明配置成功
在这里插入图片描述

3.接下来需要修改flume解压目录下的配置文件
配置文件直接去flume官网复制下来传到服务器即可
hdfs的配置文件用来进行flume信息同步到hdfs
在这里插入图片描述

4.启动flume，启动命令也可以去官网复制
在这里插入图片描述
在这里插入图片描述

5.验证flume
在这里插入图片描述
这样就可以了
在这里插入图片描述

复制两个回话信息会同步
在这里插入图片描述

柚子坨坨i
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分布式搭建-5 Flume搭建
QYmufeng的博客
09-24 381
环境： 1..版本选择 参考： hadoop集群版本兼容问题 hadoop-2.5.0 hive-0.13.1 spark-1.2.0 hbase-0.98.6 flume-ng-1.7.0 jdk-8u161-linux-x64.tar.gz 下载地址：ht...
Flume集群搭建
10-25
Flume集群搭建
hadoop-flume完全分布式集群搭建
柒柒柒柒
11-23 2356
本次使用的是flume1.7.0版本 以及hadoop-2.7.7版本 flume下载地址如下： 链接：https://pan.baidu.com/s/193j6s-FNePUShCR5ZPNRWg 提取码：qwer 一、解压spark文件 本次依旧解压在opt文件夹中。 #解压 tar zxvf apache-flume-1.7.0-bin.tar.gz #重命名 mv apache-flume-1.7.0-bin flume-1.7.0 二、修改flume-env.sh文件 #进入文件夹 cd .
CentOS7搭建Flume1.6环境
weixin_39400271的博客
06-03 288
写在最前，后面测试会用到HDFS2，所以本次环境搭建是在Hadoop2.6.1，三节点的基础上完成的。 （关于搭建Hadoop环境，可参考：https://blog.csdn.net/weixin_39400271/article/details/89057884） 说明： 集群环境： Master 192.168.112.10 Slave1 192.168.112.11 Slave2...
Flume分布式海量日志收集框架搭建部署
何星驰的专栏@[email protected]
01-18 1677
Flume官网 Flume部署: 下载安装包并上传服务器解压 /apache-flume-1.6.0-bin/conf目录下,将flume-env.sh.template模板文件改名为flume-env.sh,并配置jdk 配置局部环境变量 source ~/.bash_profilesource命令生效 执行如下命令: yum install telnet -y yum in...
Centos7+hadoop2.6.0分布式集群搭建
01-21
Centos7上搭建hadoop2.6.0分布式系统，教程超详细! 搭建过程中如果有什么疑问可以邮我[email protected] 单机搭建伪分布式也适用！
基于CentOS的Hadoop分布式环境的搭建开发
09-15
本篇文章介绍了基于CentOS的Hadoop分布式环境的搭建开发，有兴趣的可以了解一下。
Centos7搭建minio分布式集群
最新发布
10-27
Centos7搭建minio分布式集群
企业实用-CentOS 7搭建MFS网络分布式文件系统.docx
10-08
MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服 务器上，而呈现给用户的则是一个统一的资源。
在centos7中分布式部署pyspider
09-21
PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。
Flume1.8安装部署
04-23
Flume1.8安装部署，包含目录结构为1、下载地址，安装环境工具下载地址 2、单个Flume安装 3、多个Flume安装及HA 4、应用场景 5、Flume-Ng组件概述
CentOS7环境下搭建flume
逍遥子曰：
04-18 3337
一、flume安装与配置1.将flume解压到指定目录/home/jason/bigdata下：[root@clsserv202 bigdata]# pwd/home/jason/bigdata[root@clsserv202 bigdata]# ll总用量 4drwxrwxrwx. 8 root root 4096 9月 8 14:38 flume-1.6.02.将flume的目录添加到环境
教你一步搭建Flume分布式日志系统
weixin_34290096的博客
05-31 78
　　在前篇几十条业务线日志系统如何收集处理？中已经介绍了Flume的众多应用场景，那此篇中先介绍如何搭建单机版日志系统。 环境 　　CentOS7.0       Java1.8 下载 　　官网下载 http://flume.apache.org/download.html 　　当前最新版  apache-flume-1.7.0-bin.tar.gz 　　下载后上传到CentOS中的...
Flume入门以及常见分布式架构搭建
KDLin‘s Blog
12-07 333
Flume 引言 大数据要解决三件事，存储，传输，计算。Flume的定位是在传输这一块，其需求是采集不同框架，集群的日志，要求是高可靠性。比如后端程序一般不和大数据框架部署在同一个集群，但是作为数据平台，我们需要事实获取到相关程序的日记、记录、数据等等，例如电商系统，用户点击的瞬间已经开始计算下一次推荐。 基本架构 flume的基本存在是一个Agent，这是一个jvm进程 通过三个模块来管理数据传输的功能，分别是source，负责输入源对接，sink负责输出目标对接，chann..
centos7安装 flume
Gorilla的博客
11-19 309
1.上传flume压缩包 2.解压 3.在conf文件夹下复制flume-env.sh.template并改名为flume-env.sh并添加Java环境 完成
centos7大数据hadoop集群搭建flume并测试使用
weixin_45779793的博客
04-18 545
centos7大数据hadoop集群搭建flume 前提：apache-flume官网下载flume 链接: https://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz 1.将flume放入虚拟机指定目录下并解压（我这边为了方便把flume包改了名字） 2.在环境变量中加入flume环境变量 export FLUME_HOME=/usr/soft/flume-1.9.0 export PATH=$PATH:
记一次 Centos7.x Hadoop3.x 集群安装部署 Flume v1.9.0
一花一世界
01-26 790
基本信息 官网http://flume.apache.org/ （1）：Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 （2）：Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中 （3）：一般的采集需求，通过对flume的简单配置即可实现 （4）：Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景 Flume是一个分布式、可靠、高可用
Centos7 安装Flume
深度
05-04 462
1. 配置环境变量 export FLUME_HOME=/JavaApp/flume/apache-flume-1.9.0-bin # 然后在path里加入flume的bin目录 2. 更改配置文件 # 先改名 mv flume-env.sh.template flume-env.sh # 然后在外面找到JDK的目录 echo $JAVA_HOME # 编辑 flume-en...
CentOS7环境搭建Kafka2.11+(flume测试、多producer——单topic——多consumer）
weixin_39400271的博客
06-08 557
写在最前，本次环境搭建是在Hadoop2.6.1，Zookeeper3.4.11，三节点的基础上完成的。 （关于搭建Hadoop环境，可参考：https://blog.csdn.net/weixin_39400271/article/details/89057884 关于搭建zookeeper环境，可参考：https://blog.csdn.net/weixin_39400271/articl...
centos7hadoop完全分布式
09-10
要将CentOS 7上的Hadoop配置为完全分布式模式，您需要执行以下步骤： 1. 配置网络：确保每台机器都能相互访问，并且可以通过主机名进行通信。您可以使用静态IP或DNS解析来实现。 2. 安装Java：确保每台机器上都...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值