使用net cat单数据源多出口(Sink组)案例之常见问题：

最新推荐文章于 2024-09-11 21:29:29 发布
最新推荐文章于 2024-09-11 21:29:29 发布
阅读量228 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45817632/article/details/104488890
版权

单数据源：

就是只有一个Source、Channel和多个Sink(负载均衡)

单数据多出口分析：

在这里插入图片描述

在尝试做这个案例的时候老报错：

在这里插入图片描述

报错出现：无法设置套接字

经查询，是因为上一次的flume进程还未关闭
jps查看进程：

在这里插入图片描述

可以看到有三个Application,这个就是flume的进程,原因是关闭flume时，使用了Ctrl+Z，所以导致前台关闭了flume，但是后台进程未关闭。

使用kill-9 杀死进程 ，重新启动就OK，注意的是：下次关闭尽量使用Ctrl+C

小刘学编程
关注
flink通过sink的方式写入dorisdb数据源
直到世界的尽头
03-09 6241
我们在之前的文章中已经 通过 mongodbsource获取了 相关数据，详情参考 flink读取mongodb数据源批处理全量获取实践 本篇文章 记录把获取到的数据 sink导入到 dorisdb。 创建erp_order_test表 在dorisdb的shell命令行中使用命令创建表格 create table erp_order_test (order_id STRING, order_time DATETIME) DISTRIBUTED by hash(order_id) BUCKETS 10 P
Flume数据采集案例（二）单数据源多出口(Sink组)以及负载均衡、故障转移
weixin_43230682的博客
06-19 741
准备工作： 同上一篇 Flume数据采集案例之单数据源多出口(选择器) 本次需求： 使用在机器weekend110上部署的Flume-a1准实时监控本机目标端口44444的数据变动，Flume-a1将变动的内容分别传递给在weekend01上部署的Flume-a2 和 在weekend02上部署的Flume-a3，然后Flume-a2和Flume-a3都是在控制台进行输出。 实现： 分别在三台机器上的 /home/hadoop/app/flume-1.7.0-bin/ 下创建一个job目录，用来专门存放
flume由于关闭方式错误启动报错
曦玥Moonight的博客
10-31 970
flume使用命令启动 ../bin/flume-ng agent -c ./ -f ./flume.properties -n a1 -Dflume.root.logger=INFO,console 报错了： 2020-10-31 21:19:59,613 (lifecycleSupervisor-1-1) [ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.jav
flume启动关闭重启脚本
hello_java_lcl的博客
07-06 1520
#!/bin/bash #参数：start|stop|restart #功能：flume 启动停止重启 #使用方法: #./execflume.sh start flume_cmbc.conf(配置文件，自己修改) Cobub（代理名称，自己修改） #./execflume.sh stop#./execflume.sh restart flume_cmbc.conf(配置文件，自己修改) Cobub（代理名称，自己修改） path=$(cd `dirname $0`; pwd) echo $p
Flume配置与运行（前台、后台）
sinat_34974437的博客
04-23 5141
#!/bin/bash #echo "begin start flume..." #flume的安装根目录（根据自己情况，修改为自己的安装目录） path=/sysware/apache-flume-1.8.0-bin echo "flume home is :$path" #flume的进程名称，固定值（不用修改） JAR="flume" #flume的配置文件名称（根据自己的情况，修改为自己的flume配置文件名称） Flumeconf="flume-conf.conf" #定义的soure名称 ag.
flume使用中的一些常见错误解决办法 （地址已经使用）
张国荣家的弟弟
12-16 3687
原因：因为不断的启动flume ，而且flume没有关闭，还在后台。 kill -9 15199 2.必须要flume对应的版本，或者参数不能错 重启 flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger=INFO,console ...
Flume-Flume结构，单数据源多出口，故障转移（Failover），负载均衡，聚合等案例
H_X_P_的博客
06-05 692
Flume-Flume结构，单数据源多出口，故障转移（Failover），负载均衡，聚合等案例
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的高性能库。 它有两个触发器来加载数据：超时和缓冲区大小。 版本图 闪烁 flink-clickhouse-sink 1.3。* 1.0.0 1.9。* 1.3.1 ...
flume-logstash-sink:Flume sink 使用 logstash V2 格式将日志事件发送到 ES 集群
07-07
Flume sink 使用 logstash V2 格式将日志事件发送到 ES 集群 看到 要启用事件序列化器，您需要将此行添加到水槽接收器配置中： [agent_name].sinks.[sink_name].indexNameBuilder = ...
Flume 经验浅谈
程序员学习圈
09-21 1195
  1.Flume 的停止     使用 kill 停止 Flume 进程。     不可使用 kill -9，因为 Flume 内部注册了很多钩子函数执行善后工作，如果使用 kill -9 会导致钩子函数不执行，使用 kill 时，Flume 内部进程会监控到用户的操作，然后调用钩子 函数，执行一些善后操作，正常退出。   2.Flume 数据丢失问题的讨论     在一些网络资料中...
flumn的配置启动和关闭
jacobwe的博客
06-13 662
flume 的三大组件 source 对应的是 channel thick 1 flume 配置 从 log 到 hdfs cat pingback_sdk_app.conf p1.sources = r1 p1.sinks = k1 k2 p1.channels = c1 c2 p1.sources.r1.type = avro p1.sources.r1.bind = w133 p1.s...
linux nc命令常用用法
weixin_33849942的博客
05-07 190
为什么80%的码农都做不了架构师？>>> ...
flume学习（一）——安装和一个简单的netcat程序
archer的技术故事
02-10 4668
flume学习（一）——安装和一个简单的netcat程序 本文主要参考： http://flume.apache.org/FlumeUserGuide.html#configuring-individual-components 首先介绍一下flume的主要作用 apache flume 是一个分布式，可靠的，可用的系统，主要用于高效的数据收集，从不同源中移动大量日志数
SparkStreaming整合Flume的pull启动报错:Unable to load sink type: org.apache.spark.streaming.flume.sink
彪悍大蓝猫的博客
10-16 1381
Flume配置文件： simple-agent.sources = netcat-source simple-agent.sinks = spark-sink simple-agent.channels = memory-channel #Describe/configure the source simple-agent.sources.netcat-source.type = netcat ...
Flume单数据源多出口案例(Sink组)
理科男同学
03-23 855
今天就在向大家演示一个案例，Flume单源数据多出口案例（注意：此案例是sink组），与我写的另一篇文章：https://blog.csdn.net/qq_38163244/article/details/105057505略有不同。话不多说，一切用图说话： 单Source、Channel多Sink(负载均衡)单Source、Channel多Sink(负载均衡)，此图来自官网哈 我们的需...
Elasticsearch7.x 集群迁移文档
happy_king_zi的博客
09-11 1009
同时检查当前运行集群状态是否为green。如果出现异常，可以配置discovery.zen.ping.unicast.hosts: [“10.200.112.149”, “10.200.112.151”,“10.200.112.153”,“172.31.2.84”, “172.31.0.147”,“172.31.0.94”]，恢复当前关闭节点。操作顺序操作动作1。
flink增量检查点启动恢复的时间是很久的，业务上不能接受，怎么处理
goTsHgo的博客
09-11 912
针对增量检查点恢复时间长的问题，可以从多个方面进行优化，包括合并检查点、提升存储性能、优化 RocksDB 配置、并行化恢复过程等。同时，也可以考虑替代方案，如多活架构、预热恢复、降低状态依赖和改进状态管理策略。此外，在业务层面上，适当调整业务容忍度和提高用户透明度也是有效的应对措施。通过综合应用这些策略，可以有效地降低恢复时间并提高业务的连续性和可靠性。
【RabbitMQ】工作模式
最新发布
weixin_73060900的博客
09-11 1015
对RabbitMQ工作模式的简单概述以及代码案例
从AI到大数据，数字技术服务平台全栈赋能企业升级
smjt2024的博客
09-11 584
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
最大流问题详解：单源单Sink网络与多源多Sink转换
网络规划中的最大流问题是一个经典的问题，它涉及到在给定的网络图中，从指定的源节点（供应流量）到目标汇节点（需求流量）传输流量，同时满足各边的流量上下限条件。这种问题在实际生活中广泛应用，例如交通、水力...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值