记录cm下flume遇到的坑

最新推荐文章于 2022-07-17 13:10:25 发布
最新推荐文章于 2022-07-17 13:10:25 发布
阅读量326 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Antony868/article/details/103410363
版权
在CM 5.12中安装的Flume在采集日志时出现OOM问题，初始启动参数-Xmx20M过小。尝试通过CM配置将其修改为256M，但重启后发现配置未生效，依旧显示-Xmx20M。进一步操作包括卸载重装、修改flume-env.sh文件添加JAVA_OPTS，甚至搜索解决方案，但问题仍未解决。最后怀疑flume-ng命令可能添加了错误的参数，导致CM配置无法正常应用。
摘要由CSDN通过智能技术生成

记录cm下flume遇到的坑

仅记录一下…
CM 5.12 安装的 flume采集日志一直oom，查看jps，居然agent启动参数-Xmx20M？？？！！！
在这里插入图片描述
怀疑是cm配置有问题，默认为50M，改为256M
在这里插入图片描述
重启后发现任然是-Xmx20M？？、！！！
在这里插入图片描述
可是后面又跟着我修改的-Xmx258M，猜测是安装的flume有问题…然后删除又重装…一顿操作以后，任然-Xmx20M？？？？！！！！
受不了了，搜了一下，说修改flume-env.sh添加export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"，然后find / -name “flume-env.sh” ，找到几个文件，都添加进去了…又是一顿操作…还是无效？？？？
最后想起是否是flume-ng命令有问题？？？？
然后>…
在这里插入图片描述
不知道为何flume-ng命令为何会加入这行而且cm配置无法生效？？？

channnnnnn
关注
hadoop基础----hadoop实战(六)-----hadoop管理工具---Cloudera Manager---CDH介绍
直到世界的尽头
10-28 6644
我们在之前的文章中已经初步介绍了Cloudera。hadoop基础----hadoop实战(零)-----hadoop的平台版本选择从版本选择这篇文章中我们了解到除了hadoop官方版本外很多公司都对hadoop进行了改版发布，其中Cloudera就是其中最成型的发行版本，并且配备了相应的管理工具。本篇文章我们就来学习Cloudera的相关知识。什么是CDHCloudera's Distribut
Spark面试问题总结
最新发布
weixin_41367158的博客
03-07 379
在Spark中有两类task，一类是shuffleMapTask，一类是resultTask，第一类task的输出是shuffle所需数据，第二类task的输出是result，stage的划分也以此为依据，shuffle之前的所有变换是一个stage，shuffle之后的操作是另一个stage。但是这里必须要注意的是，在实际的生产环境中，恐怕能够直接用这种策略的场景还是有限的，如果RDD中数据比较多时（比如几十亿），直接用这种持久化级别，会导致JVM的OOM内存溢出异常。如果提交失败了，它将会重试；
Flume 各种坑
热门推荐
语不惊人死不休
01-04 4万+
1. 背景 最近一段时间在做安全大数据分析环境搭建以及初步的数据采集、录入工作，这个过程中用到了 Hadoop+HBase+Flume+Kafka这套大数据分析的工具。在数据分析环境架构中，Flume-1.7.0 主要用来收集各种来源、形式的数据，并把数据传给 Kafka 集群，由 Kafka 集群统一分发给 HBase集群。 用 Flume ，主要用到的 Source 是 spool
flume学习（三）：flume将log4j日志数据写入到hdfs
xiao_jun_0820的专栏
07-25 2万+
在第一篇文章中我们是将log4j
CM所有监控指标
那又怎样？的博客
03-04 1241
转载来自cm case Case 276303 - cm页面图表问题 （1）经过我对文档的研究，我认为CM应该是没有办法获取到每个HDFS用户的存储使用量。 （2）这个文档包含了所有CM可以监控到的metric, 你可以查看一下是否有您需要的信息https://www.cloudera.com/documentation/enterprise/5-13-x/topic...
flume学习（二）：如何找到cm安装的flume的配置文件
xiao_jun_0820的专栏
07-25 5949
通过CM安装好flume-ng之后，可以在管理界面上修改flume.conf配置，但是
flume安装 and 官方小案例
qq_44028464的博客
01-11 225
1. flume概述及组成架构 Flume概念 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单 Flume的最主要左右是：实时读取服务器本地磁盘的钱数据，将数据写入到HDFS。 Flume组成架构 Agent Source ————> Channel ————>Sink Flume组成架构详解...
rhel6.5+CDH5.14+CM 2台集群安装说明
whn360的专栏
02-13 1579
声明： 本文是本人经过N次安装实验后整理编写，安装配置过程中参考了大量的网上资料，正文中也有引用，在此表示感谢！因为自己安装配置经历比较坎坷，长达2个月坚持不懈的努力（跨过元旦、春节），总算把基础环境搭建起来了。这里也记录了自己安装配置过程中遇到的所有问题与解决办法。希望后边学习的人，能在此文的帮助下，顺利的搭建好测试环境。如有错误，还请谅解指正，谢谢！ rhel6.5+CDH5.14+CM 2台...
大数据知识汇总
weixin_44328257的博客
07-17 7538
本文主要介绍大数据相关的技术和项目目录1.1文章介绍介绍1.2项目介绍1.3 项目指标1.3.1离线指标1.3.2实时指标1.3.3最难的两个指标1.4项目遇到问题1.4.1 Sqoop1.4.2Flume1.4.3Kafka1.4.4Hadoop1.5 项目相关流程问题1. 如何保证你写的 sql 正确性？2. 测试数据哪来的？3. 测试环境什么样？4. 测试之后如何上线？5. 你做的项目工作流程是什么？6. 项目实际工作流程？7.公司项目版本迭代多久一次多久一次 ，迭代到哪个版本？8.项目开发中每天做什
大数据技术之高频面试题
XIAOMO__的博客
11-12 9011
第一章 项目涉及技术 1.1Linux&Shell 1.1.1 Linux常用高级命令 序号 命令 命令解释 1 top 查看内存 2 df -h 查看磁盘存储情况 3 iotop 查看磁盘IO读写(yum install iotop安装） .
flume 真实案例配置文件
10-18
flume agent收集数据 一个源对于两个sink 同时输出到hdfs和kafka 的配置文件，注意其中的 source绑定channel时候 channel1 channel2 不能分开写，该配置文件已经过集群实验成功收集到数据的
[Flume基础]-- 使用Kafka与Flume
欢迎来到我的博客，一起探索代码里的世界！
11-22 7938
一、描述       在CDH 5.2及更高版本中，Flume包含Kafka源和sink。 使用这些从Kafka到Hadoop或从任何Flume源到Kafka的流数据。 二、条件       在CDH 5.7及更高版本中，Kafka的Flume连接器仅适用于Kafka 2.0及更高版本。 三、要点       不要配置Kafka源以将数据发送到Kafka接收器。 如果这样做，Kafka源...
cdh版本的flume安装以及配置
小宁哥博客
05-14 6688
Apache版本下载地址：http://archive.apache.org/dist/flume/CDH版本下载地址：http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.5.0-cdh5.3.6.tar.gzsystem requrequirements1、安装解压缩tar -zxvf /opt/softwares/flume-ng-1.5.0-c...
简单记录CDH 做ETL的坑（会陆续增加）
yueyinmian的博客
05-29 675
CDH打包安装后，很多配置信息在 CM上设置了，但是sqoop这类工具一般还是命令行执行的，取的配置信息还是原生位置； ERROR: JAVA_HOME is not set and could not be found. 注意： sqoop执行需要 hadoop & hbase 的环境脚本中指定JAVA_HOME flume 进行数据库的数据监听，需要打一个 flu...
记录Flume使用中遇到的坑
weixin_45436471的博客
11-18 604
Flume使用中遇到的坑 1.avro sink 连接失败 问题： 在实现自定义拦截器中，分别开启slave1、slave2，master的flume任务时，master和slave1有连接成功的日志，但master和slave2死活连不上。检查并修改了配置文件和自定义拦截器的Java代码好多次后依然连不上。 解决： 单独写了个以master的netcat作为source，slave2作为sink，slave2的控制台作为接收到master的消息的输出sink做测试，发现还是连不上，所以排除了配置文件和代码
Flume的多层代理和防止数据丢失
涤生大数据
01-12 1万+
实际开发中，当我们用Flume采集日志时，由于数据源的
flume集成CDH步骤与异常解决
hexinghua0126的博客
05-12 2828
1、  确定你的flume在哪台主机上2、  确认该台主机上的flume是否可以正常使用? 在指定的目录下，创建一个bigdata_page_to_hive.conf内容可以是官网的实例：http://flume.apache.org/FlumeUserGuide.html启动：flume-ng agent --conf conf --conf-file bigdata_page_to_hive....
Windows环境下Flume 1.7配置与使用教程
"这篇文档是关于在Windows环境下使用Apache Flume 1.7版本将数据同步上传至HDFS的详细指南。" Apache Flume 是一个专门设计用于收集、聚合和移动大量日志数据的分布式系统，它具有高可用性和可靠性。在Flume的工作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值