关于flume接受socket信息输入到IDEA

最新推荐文章于 2022-01-22 11:42:33 发布
最新推荐文章于 2022-01-22 11:42:33 发布
阅读量622 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/power_k/article/details/97039413
版权
本文介绍了如何使用Flume配置文件设置netcat源，监听master上的556677端口，通过内存channel传递数据，并通过SparkSink将数据发送至node02的9999端口。接着，展示了启动Flume agent和nc的命令，最后提及了IDEA中SparkStreaming的代码演示部分。
摘要由CSDN通过智能技术生成

文章目录

1.flume配置文件

a1.sources = s1
a1.channels = c1
a1.sinks = k1

#定义agent的source属性
a1.sources.s1.type = netcat
a1.sources.s1.bind = master
a1.sources.s1.port = 556677
#channel
a1.channels.c1.type =memory
a1.channels.c1.capacity = 20000
a1.channels.c1.transactionCapacity=5000
#sinks
a1.sinks.k1.channel = c1
a1.sinks.k1.type = org.apache.spark.streaming.flume.sink.SparkSink
a1.sinks.k1.hostname=node02
a1.sinks.k1.port = 9999
a1.sinks.k1.batchSize= 2000

2.启动命令

启动flume
flume-ng agent -n a1 -c /opt/software/flume-1.7.0/conf -f /opt/software/flume-1.7.0/conf/flume-poll.conf -Dflume.root.logger=INFO,console
启动nc
nc localhost 556677

3.IDEA的Sparkstreaming代码演示

最低0.47元/天 解锁文章
power_k
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flume架构与组件概述
程序员光剑
06-28 830
Flume架构与组件概述 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：数据管道、日志收集、实时流处理、数据整合、Apache Flume 1.背景介绍 1.1 问题
如何远程调试自定义开发的Flume应用
IT大狮兄的博客
08-16 313
一、前言 Flume作为当下最流行的大数据采集组件之一。其本身拥有分布式/高可靠/高可用等优点，但相比较于Flink/Spark/Kafka等大数据组件，其对于本地调试的功能支持度并不高，如果我们没有掌握Flume的远程调试要领，就只能不停的进行打日志，部署，打日志，部署这样低效的工作，而这对于程序员来说无异于折磨。所以今天小编就和大家一起来探究Flume的远程调试方法。 二、环境准备 flink官网下载上传服务器并解压。 开发自定义Source，这里以简单的读取mysql表数据为demo，部分代码
Flume实战案例（socket中接收数据打印到控制台，单个文件中实时读取数据到HDFS上，多个文件中实时读取数据存储HDFS上，两个Agent聚合到一个Agent再存储到HDFS上）
Super_repuS的博客
09-08 603
Flume实战案例（socket中接收数据打印到控制台，单个文件中实时读取数据到HDFS上，多个文件中实时读取数据存储HDFS上，两个Agent聚合到一个Agent再存储到HDFS上） socket中接收数据打印到控制台 基本框架图 配置文件 在flume所在的文件夹下创建一个文件夹用来放相关的配置文件 例：vim /opt/flume/conf/myconf/netcat_logger.conf 具体配置内容如下： # Name the components on this agent # a1是我们
Flume配置Socket输入源HBase+Kafka输出源
LMR的博客
06-07 7560
本文的Flume输入源为netcat输出为HBase和Kafka，其中需要为HBase实现相应的方法。 配置如下： ​ a1.sources = r1 a1.channels = kafkaC hbaseC a1.sinks = kafkaSink hbaseSink a1.sources.r1.type = avro a1.sources.r1.channels = hba...
Flume配置Socket输入源HDFS+Kafka输出源
LMR的博客
06-05 7870
我使用得Flume版本是1.6，输入源是netcat（socket通信），输出源分别是HDFS和Kafka两个，整体框架如下所示： 具体配置如下： a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 c2 #define the source #a1.sources.r1.type = spooldir a1.sources.r1.chan...
socket之flume监控系统
一只没有脚的鸟
11-10 3456
用来监控flume服务器的运行情况
flume
月夜楓
10-16 628
1：配置了两个flume实例以后，会报错误：2016-07-11 12:40:27,845 (conf-file-poller-0) [INFO - org.mortbay.log.Slf4jLog.info(Slf4jLog.java:67)] jetty-6.1.262016-07-11 12:40:27,871 (conf-file-poller-0) [INFO - org.mortbay
flume报错客户机无法正常启动
AsProtoss的博客
10-18 704
Exception follows. org.apache.flume.FlumeException: Failed to set up server socket at org.apache.flume.source.AvroSource.start(AvroSource.java:248) at org.apache.flume.source.EventDrivenSourceRunner.s...
Flume-分布式日志采集
qq_36915093的博客
02-06 705
一.Flume的概述 Flume是什么 1.flume能做什么 Flume是一种分布式(各司其职)，可靠且可用的服务，用于有效地收集，聚合(比如某一个应用搭建集群，在做数据分析的时候，将集群中的数据汇总在一起)和移动大量日志数据。Flume构建在日志流之上一个简单灵活的架构。 2.flume的特性 ①它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。使用Flume这套架构实现对日志...
Flume参数详解
04-02
consumer的配置参数、producer的配置参数、listener的配置参数详解
Flume
生活不止眼前的枸杞， 还有蜂蜜和咖啡！
09-26 662
///\\\\\\ 1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。 2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。 3.agent里面包含3个核心组件：source、channel、sink。 3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、s...
小白初入前端之分页爬坑
Hmuddled的博客
11-06 155
懒得废话 稍微记录下 定义一个函数pageDataFn() 定义请求参数：pageSize //请求条数 current //求情页数 data //分页数据 pageDataFn(current,pageSize,data ){ let pagedata = [];//保存每页数据的数组 let start = (pageSize * current) - pageSize;//设置开始...
015 大数据之Flume
小哥哥咯的博客
01-22 1939
1、Apache Flume初识 【Flume】Flume 简单理解及使用实例 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume-og采用了多Master的方式。为了保证配置数据的一致性，Flume引入了ZooKeeper，用于保存配置数据，ZooKeeper本身可保证配置数据的一致性和高可用，另外，在配置数据
Flume实战监听网络端口
松门一枝花
03-23 4922
具体的配置解释见官网 http://flume.apache.org/FlumeUserGuide.html#flume-sources 1、flume安装目录下新建文件夹 example  2、在example下新建文件  netcat-logger.conf 内容如下： #name the components on this agent a1.sources = r1
flume 读取tcp写到hdfs
Ran
02-27 2093
flume 读取tcp写到hdfs
flume通过tcp/udp采集数据并存到kafka配置及操作方式
热门推荐
萝卜地里的兔子的博客
11-03 1万+
/*官方提供的kafka sink*/ a1.sinks.k1.channel = c1 a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = mytopic a1.sinks.k1.kafka.bootstrap.servers = localhost:9092 a1.sin
Flume高可靠传输实现原理
buzaiQQ的专栏
06-05 5992
简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（o
flume1.8在线上业务中的使用和总结
csa121的博客
02-27 1791
什么是flume？ flume是一个日志采集、聚合和传输的系统 作用是什么？ 作用就是将业务集群上各个机器上的日志收集起来，对数据做集中处理。 部署文档 最新版的flume1.8，请参官网 http://flume.apache.org/FlumeUserGuide.html 的使用说明，真的很详细。 网上也有flume1.7的搭建教程，Google一下就可以，搭建过程...
Java大数据实战：Flume收集Nginx日志到HDFS
"本资源提供了一个关于Java大数据处理的经典案例，涉及了Flume、Kafka、Sqoop和Lucene等工具。案例的核心是将Nginx的access log日志收集并存储到Hadoop分布式文件系统（HDFS）中。通过使用Apache Flume，可以高效地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值