Flume kafka 简洁快速安装

最新推荐文章于 2023-12-09 16:07:29 发布
最新推荐文章于 2023-12-09 16:07:29 发布
阅读量158 收藏
点赞数
分类专栏： 大数据 文章标签： kafka 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunbin11220904/article/details/108061760
版权

Flume
下载flume1.8

1:将下载的flume包，解压到/opt目录中
cd /opt
tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt
mv apache-flume-1.8.0-bin flume
2:修改conf下的 flume-env.sh 配置文件,主要是JAVA_HOME变量设置
cp复制flume-env.sh.template为flume-env.sh
export JAVA_HOME=/opt/jdk
3)验证是否安装成功
./bin/flume-ng version

Kafka
Kafka必须依赖ZooKeeper，所以应该确保ZooKeeper已成功运行。Kafka内置了ZooKeeper，故如果未安装ZooKeeper可以使用其内置ZooKeeper。但我们一般使用外部zookeeper服务。

1.下载Kafka:http://kafka.apache.org/downloads
其中"kafka_2.11-2.4.0"表示 Kafka 版本2.4.0，Scala版本2.11。建议Scala2.11 版本，Kafka 目前最新版本为2.6.0（2020-08-03），但实际上很多企业还在使用Kafka 0.11.x版本
在这里插入图片描述

孙彬不像个好程序员
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
检查Windows上EXE进程是否存在/运行
Hello_Mr_Zheng的博客
07-09 1505
@检查Windows上EXE进程是否存在/运行 检查Windows上EXE进程是否存在/运行 最近要做个服务器进程状态的检查脚本，Linux直接用shell搞定比较方便。举例如： ps aux | grep *** | grep -v grep > /dev/null if [ $? -eq 0 ];then echo "*** is running." else echo "*** is not running." fi 本文以windows为例，语言选用python（不上头，容易上手），这里
python 进程(池)、线程(池)
weixin_41817636的博客
09-24 241
进程、多进程、进程池 进程总概述 进程 from multiprocessing import Process import os # 子进程要执行的代码 def run_proc(name): print('Run child process %s (%s)...' % (name, os.getpid())) if __name__=='__main__': print('Parent process %s.' % os.getpid(
windows下判断某程序（.exe）是否在执行
最新发布
new_zhou的博客
12-09 596
Windows环境下判断某程序是否正在运行
VC++中如何启动外部进程和关闭某个进程
ccf19881030的专栏
05-24 2710
参考资料 c++ 启动exe(外部程序) 三个SDK函数: WinExec， ShellExecute，CreateProcess C++ 枚举进程信息，并结束指定进程 C/C++ Windows API——枚举进程、结束进程及提升权限 CreateProcess-Creating Processes The CreateProcess function creates a new process, which runs independently of the creating process. Howe
软件看门狗--别让你地程序无响应
jiangxinyu的专栏
01-20 8188
正文一．概述一些重要的程序，必须让它一直跑着；而且还要时时关心它的状态——不能让它出现死锁现象。当然，如果一个主程序会出现死锁，肯定是设计或者编程上的失误。我们首要做的事是，把这个Bug揪出来。但如果时间紧迫，这个Bug又“飘忽不定”，那么，我们还是先写一个软件“看门狗”，暂时应一下急吧。“看门狗”的需求描述：“看门狗”的运行不出现界面窗口，具有一定的隐蔽性；定时判断目标进程是否运
Flume笔记.zip
04-04
结合配套视频资源（https://space.bilibili.com/320773563/channel/detail?cid=173209），可以深入学习 Flume 的安装、配置、使用案例以及如何与其他大数据组件集成，提升你在大数据实时处理领域的技能。通过实践，...
大数据flume组件使用指导手册中文版
08-03
它设计简洁，易于扩展，是大数据环境中常用的数据采集工具，尤其在离线数据处理场景下，Flume 的作用尤为重要。本手册将深入解析 Flume 的核心概念、配置方法以及实际应用案例，帮助读者理解和掌握其工作原理与实践...
Flume++构建高可用、可扩展的海量日志采集系统
01-05
4. **Flume-ng 和 Flume++**：Flume-ng是Flume的下一代版本，它提供了更强大的功能和更简洁的配置模型。Flume++可能指的是基于Flume-ng的高级用法或扩展，它可能包含了一些优化策略，如动态负载平衡、自动故障恢复等...
flume 简介安装使用案例(将log4j数据写到hdfs中)
08-09
在安装 Flume 之前，确保已经安装了 Java 运行环境（JRE）。接着，下载与 Hadoop 版本兼容的 Flume 发行版，并解压到指定目录。配置 `conf/flume-env.sh` 文件，设置 FLUME_HOME 和 JAVA_HOME 环境变量。启动 Flume-...
apache-flume-1.8.0
10-15
flume官网下载太慢，请从这里下载，次文件是官方网站的1.8版本，也就是支持jdk1.8的，不支持jdk1.7，如果要支持jdk1.7的，请下载我的资源里面也有，flume1.7，
flume安装包
02-13
flume安装包 flume安装包 flume安装包 看好版本再下载，以免下错
python通过D盘或C盘搜索软件.exe的安装路径及启动软件
水亦流人必上的博客
06-28 715
无
python 检测exe是否未响应_python学习笔记
weixin_39722759的博客
12-23 557
1.在cmd中查看python关键字：Import keywordKeyword.kwlist2.有关python运算符计算3.关系运算符4.字符串切片5.字符串反转方法：6.字符串替换1.为什么说c语言指针节省空间？用指针直接指向你的地址，就省去了检索的过程，在内存分配时，有时不一定就是顺序的，那么遍历内存的速度肯定没有直接找地址的速度快了。2. 在计算机科学中，Shell俗称壳（用来区别于核）...
python判断进程是否存在
热门推荐
墨痕诉清风的博客
12-20 2万+
1. 进程名 import psutil def judgeprocess(processname): pl = psutil.pids() for pid in pl: if psutil.Process(pid).name() == processname: print(pid) break els...
python简单代码-10分钟学会用python写游戏！Python其实很简单！
q6q6q的专栏
10-28 5312
原标题：10分钟学会用python写游戏！Python其实很简单！Python现在非常火，语法简单而且功能强大，很多同学都想学Python！所以在这里给各位看官们准备了高价值Python学习视频教程，都放在了文章结尾，欢迎前来领取！ 安装pygame本人电脑是windows 10、python3.6，pygame下载地址：https://pypi.python.org/pypi/Pygame/1....
python关机自动检测_python定时检测无响应进程并重启的实例代码
weixin_39997089的博客
02-03 322
python定时检测无响应进程并重启的实例代码来源：中文源码网浏览： 次日期：2019年11月5日【下载文档:python定时检测无响应进程并重启的实例代码.txt】(友情提示:右键点上行txt文档名->目标另存为)python定时检测无响应进程并重启的实例代码总有一些程序在windows平台表现不稳定，动不动一段时间就无响应，但又不得不用，每次都是发现问题了手动重启，...
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）
showswoller的博客
12-21 959
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）
win10 安装最新版python 39 , cmd下查看版本号无反应解决
香宝的私房小厨
11-30 1001
在 系统键 + R 中输入cmd, 然后输入你的 python安装目录;%PATH% 即可， 例：set PATH=C:\Users\mrwanghc\Python39;%PATH%
flume kafka
07-27
Flume 是一个分布式、可靠的、高可用...同时，Flume 也可以作为 Kafka 的消费者，从 Kafka 中读取数据并将其传输到其他系统（如HDFS、HBase等）进行存储和分析。这种结合使用的方式可以实现数据的高效传输和实时处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值