hdfs
guiyuguiyu
这个作者很懒,什么都没留下…
展开
-
自开发跨HDFS版本的拷贝工具
虽然HDFS提供了distcp的远程拷贝工具,在同版本之间拷贝很方便,功能也很强大。但是,在跨版本、跨 运维机制时,它就不可用了。另外,HDFS也专门为跨版本提供了hftp协议,提供只读功能,但是该功能也有个致命缺陷,即需要配置被拷贝集群的所有节点的hosts,因为这个协议走的是HDFS的web管理接口,里面每个数据节点都是以hostname对外提供服务,所以,不配置hosts是...2013-05-15 11:29:34 · 159 阅读 · 0 评论 -
独家 安装 Hadoop 2.0.0-cdh4.3.0 LZO 成功
在经历过忍饥挨饿、老眼昏花的深夜加班,最后扛不住没搞定,今天周六,再次来从新梳理思路和审核每一步操作,最终苍天终不负,让我搞定了LZO的安装,使集群间lzo文件的对拷和读写成为现实。期间,重启集群不下30遍,甚至一度丢掉了所有文件(测试环境),重新格式化。真心不容易,同时我很喜悦!因此,只要坚持和努力,结果不会令人太失望! 言归正传,把我安装的过程记录一下,以备下次再安装时,我就驾轻就熟了。 ...2013-08-31 11:42:01 · 182 阅读 · 0 评论