flume
小萌猿
本人的所有文章仅代表个人想法与经验,有问题的地方望多多指教
展开
-
Flume文件通道(file channel)报错:Usable space exhausted, only 0 bytes remaining, required 524288000 bytes
文件通道是数据存储在磁盘中,错误原因,磁盘空间不足,具体来说,是一下两个配置目录空间不足: a1.channels.c2.checkpointDir = /mnt/flume/checkpoint a1.channels.c2.dataDirs = /mnt/flume/data 对应到我的错误,磁盘空间已经没有了,为0。 这是我删除部分数据后,留出了几百兆,没删之前已经占用百分之百了。 然后在...原创 2018-10-15 19:44:22 · 3619 阅读 · 1 评论 -
flume监控文件内容遇到的问题
在Lamda架构分析日志流水线时用到flume监控日志文件的变化。 开始测试时,用shell脚本模拟的简单日志,单条日志格式为:uid-url-ip 如下为我的shell脚本: #! /bin/bash randnum(){ shuf -i 1-100 -n 1 } randseq(){ head /dev/urandom | tr -dc a-z | head -c 3 } wh...原创 2018-10-17 23:33:06 · 3248 阅读 · 0 评论