第87课：Flume推送数据到SparkStreaming案例实战和内幕源码解密--flume安装篇

最新推荐文章于 2022-08-03 11:57:33 发布
最新推荐文章于 2022-08-03 11:57:33 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： 大数据IMF传奇行动－Spark Hadoop
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/51223749
版权
本文介绍了如何使用Flume将数据推送到SparkStreaming的实战步骤，包括下载Flume，配置环境变量，设置Flume配置文件，启动Flume代理，并通过创建测试文件验证数据传输成功。在过程中，详细解析了配置文件的关键参数，如spoolDir、hdfs.path等，并展示了启动Flume时的日志输出。
摘要由CSDN通过智能技术生成

1、  下载flume 老师提供的包

2、  安装 vi/etc/profile

 

exportFLUME_HOME=/usr/local/apache-flume-1.6.0-bin

 

exportPATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$HIVE_HOME/bin:$FLUME_HOME/bin

了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
专栏目录
订阅专栏
Spark-Spark Streaming例子整理(一)
阿里Darker
05-19 5万+
（摘自王家林） 流（Streaming），在大数据时代为数据流处理，就像水流一样，是数据流；既然是数据流处理，就会想到数据的流入、数据的加工、数据的流出。 日常工作、生活中数据来源很多不同的地方。例如：工业时代的汽车制造、监控设备、工业设备会产生很多源数据；信息时代的电商网站、日志服务器、社交网络、金融交易系统、黑客攻击、垃圾邮件、交通监控等；通信时代的手机、平板、智能设备、物联网等会
Flume推送数据到SparkStreaming案例实战和内幕源码解密
吾心光明
08-20 1321
本博文内容主要包含以下几个方面： Flume on HDFS案例回顾 Flume推送数据到Spark Streaming实战 原理绘图剖析 一：Flume on HDFS 案例回顾： 文件配置在上篇博文中已经详细介绍，接下来的操作基于已经成功安装完成Flume：拷贝conf/flume-conf.properties.template，更名为conf/flume-cong.properties，只
高可用flume-ng搭建
路漫漫其修远兮
04-21 461
一、概述1.通过搭建高可用flume来实现对数据的收集并存储到hdfs上，架构图如下：二、配置Agent1.cat flume-client.properties#name the components on this agent  声明source、channel、sink的名称  a1.sources = r1  a1.sinks = k1 k2  a1.channels = c1      ...
hadoop使用HDFS报错：ls: ‘.‘: No such file or directory
DJL新时代农民工DJL
04-27 9370
安装好的Hadoop系统验证是否安装成功时使用命令： [root@localhost hadoop]#bin/hdfs dfs -ls ls: '.': No such file or directory 解决方法: hdfs dfs -ls 命令的完整语法是：hdfs dfs -ls [path] 默认情况下当你未指定[path] 时，hadoop会在HDFS里面将路径扩展为/home/[username]；这样的话[username]就会被执行命令的Linux用户名替代。因此，当执行此命令时，hdfs
hdfs dfs -ls后出现No such file or directory解决
binbin_09_10的博客
10-25 2万+
原因是因为-ls默认目录是在hdfs文件系统的/user/用户名（用户名就命令行@符号前面的那个东西），但是你的hdfs系统内没有这个文件夹，所以会显示No such file or directory。 所以你需要在hdfs文件系统内创建 root1@ubuntu:~$ hdfs dfs -mkdir /user mkdir: Cannot create directory /user. ...
案例 | 光大银行如何解决传统监控痛点，打造一体化监控平台？
weixin_53971298的博客
02-09 1017
“光大银行为了解决传统监控管理的痛点，从监控平台的建设和全站监控能力，大屏可视化展现和智能监控分析这四点出发，打造了新一代的一体化的统一监控管理平台。”——马文杰, 中国光大银行总行信息科技部 高级项目经理   本文整理自马文杰在2020Zabbix中国峰会的演讲，ppt网盘链接:https://pan.baidu.com/s/1Q4QttDD_4OCf1J978NFF5A 密码:nbac。更多演讲视频可关注官方Bilibili账号主页（ID：Zabbix中国）。   一 开源监控探索历程 我将从开源监控
2022年Java 工程师面试题
weixin_42572320的博客
03-03 2512
第 1 页 共 485 页 目录 1、什么是 Mybatis？............................................................................... 33 2、Mybaits 的优点：............................................................................... 33 3、MyBatis 框架的缺点：.............................
Java知识点概览
qq_48403611的博客
08-03 3293
java后端开发常见面试题总结
Flume直接到SparkStreaming的两种方式
allen的博客
08-04 3125
一般是flume->kafka->SparkStreaming,如果非要从Flume直接将数据输送到SparkStreaming里面有两种方式,如下: 第一种:Push推送的方式 程序如下:package cn.lijieimport org.apache.log4j.Level import org.apache.spark.streaming.flume.FlumeUtils import or
flume读取log日志文件存储到HDFS
chy2z的专栏
07-25 4028
配置hadoop环境 配置flume环境 配置flume文件 D:\Soft\apache-flume-1.8.0-bin\conf  将 flume-conf.properties.template 重新命名为  hdfs.properties # 组装 agent a1.sources = s1 a1.channels = c1 a1.sinks = k1 # 配置source：...
Flume 实时监控单个配置文件上传到HDFS上面去 *
张俊杰 的博客
10-23 569
需求 实时监控Hive日志内容，将内容写入到HDFS 前置条件 需要有hive Hadoop HDFS Flume Zookeeper 分析 tail -f 命令可以实时监控文件,将监控到的信息封装成event存到channel里面,然后再用sink写到hdfs上. 组件选择 因为数据源需要运行一个Linux命令,所有需要使用EXECSource EXECSource 介绍： execsource会在agent启动时，运行一个linux命令，运行linux命令的进程要求是一个可以持续产生数据的进程,将标准
hadoop从入门到放弃（一）之flume获取数据存入hdfs
曾经是个DBA
08-09 3560
一、解压flume到/hadoop/目录下 tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /hadoop/ 二、配置flume配置文件 [hadoop@hadoop01 flume]$ cat conf/agent1.conf # Name the components on this agent agent1.sources = spo
flume采集启动报错，权限不够
weixin_34129696的博客
04-18 1884
18/04/18 16:47:12 WARN source.EventReader: Could not find file: /home/hadoop/king/flume/103104/data/HD20180417213353.data java.io.FileNotFoundException: /home/hadoop/king/flume/103104/trackerDir/.flum...
让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
热门推荐
lskyne的专栏
07-07 2万+
转自：http://www.aboutyun.com/thread-7949-1-1.html 问题导读： 1.什么是flume？ 2.如何安装flume？ 3.flume的配置文件与其它软件有什么不同？ 一、认识flume 1.flume是什么？ 这里简单介绍一下，它是Cloudera的一个产品 2.flume是干什么的？ 收集日志的 3.flume如何搜
flume-ng启动时遇到报错时的解决
vincentzhwg的专栏
02-25 2972
在命令行下启动bin/flume-ng时,竟然遇到报错,找到如下解决办法 错误如下： bin/flume-ng: line 82: syntax error in conditional expression: unexpected token `(' bin/flume-ng: line 82: syntax error near `^java\.library\.path=(.' ...
nginx 错误, flume 集锦，太多bugs netstat -ntpl
06-26 376
netstat -ntpl[root@bigdatahadoop sbin]# ./nginx -t -c /usr/tengine-2.1.0/conf/nginx.conf nginx: [emerg] "upstream" directive is not allowed here in /usr/tengine-2.1.0/conf/nginx...
Flume 传递数据到HDFS上
我是小坏
09-06 1883
使用瑞士军刀(netcat 作为输入源) ,hdfs 作为flume 的输出源（sink） flume 配置文件内容如下: a1.sources = r1 a1.channels = c1 a1.sinks = k1 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 8888 a...
构建实时大数据处理系统：Flume-Kafka-Storm-HDFS集成实战
"本文主要介绍了如何构建一个基于flume-ng、Kafka、Storm和HDFS的实时处理系统，探讨了项目架构的特点、数据准确性保证、Kafka的原理以及flume与Kafka的集成方法，同时提供了监控数据传输的手段。" 大数据处理中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值