- 博客(4)
- 收藏
- 关注
RSS订阅转载 [解决]java.io.IOException: Cannot obtain block length for LocatedBlock
在hadoop测试集群运行job的过程中发现部分运行失败，有Cannot obtain block length for LocatedBlock，使用hdfs dfs -cat ${文件}的时候也报这个错，看过代码后发现是文件未被正常关闭(flume传到hdfs上的，可能由于Namenode长时间gc或者切换或者重启会留下很多.tmp结尾的文件)，为此，使用hadoop命令显示处于打开状态的文件
2016-08-26 15:36:12
3874
转载 Hbase 统计表行数的3种方式总结
zz:http://blog.csdn.net/chaolovejia/article/details/46328983有些时候需要我们去统计某一个hbase表的行数，由于hbase本身不支持SQL语言，只能通过其他方式实现。可以通过一下几种方式实现hbase表的行数统计工作：1.count命令最直接的方式是在hbase shell中执行count的命令可以统计行数。
2016-08-24 09:21:48
33909
2
转载 如何恢复Hadoop中被删除的文件
hadoop的hdfs中被删除文件的恢复原理和回收站原理是一样的，就是在删除hdfs文件时，被删除的文件被移动到了hdfs的.Trash文件夹中，恢复时只需将该文件夹中文件拿出即可。具体操作如下： 1 设置.Trash文件夹 如果需要恢复hdfs中文件，就需要设置.Trash，hadoop的.Trash默认是关闭的。具体设置如下： fs.trash.inter
2016-08-08 15:56:43
8361
转载 漫游Kafka之过期数据清理
转自：http://blog.csdn.net/honglei915/article/details/49683065Kafka将数据持久化到了硬盘上，允许你配置一定的策略对数据清理，清理的策略有两个，删除和压缩。数据清理的方式删除log.cleanup.policy=delete启用删除策略直接删除，删除后的消息不可恢复。可配置以下两个策略：清理超过指
2016-08-08 09:34:55
890
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人