Flume
文章平均质量分 76
Syn良子
这个作者很懒,什么都没留下…
展开
-
Cannot obtain block length for LocatedBlock故障分析和解决
摘要: 作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 这几天想cat一下某天的HDFS文件内容的时候突然报Cannot obtain block length for LocatedBlock异常,get也一样,这样无法访问hdfs文件的问题必须解决,Mark一下问题背景和解决过程 一.问题背景 问题产生的原因可能是由于前几日Hadoop集原创 2017-08-31 17:50:30 · 585 阅读 · 1 评论 -
修改Flume-NG的hdfs sink解析时间戳源码大幅提高写入性能
转自:http://www.cnblogs.com/lxf20061900/p/4014281.html Flume-NG中的hdfs sink的路径名(对应参数"hdfs.path",不允许为空)以及文件前缀(对应参数"hdfs.filePrefix")支持正则解析时间戳自动按时间创建目录及文件前缀。 在实际使用中发现Flume内置的基于正则的解析方式非常耗时,有非常大的提升空间。如果你不需原创 2017-08-31 17:50:10 · 373 阅读 · 0 评论