2015年07月_wisgood

11月 09月 08月 07月 05月 04月 03月 02月 01月

原创 hive之窗口函数理解与实践

快过年了，总算没那么忙了，可以完善一下这篇文章了。之前只能说是备忘罢了，很多细节没说清楚。首先，我们要知道什么是窗口子句：需要指定一个窗口的边界，语法是这样的：ROWS betweenCURRENT ROW | UNBOUNDED PRECEDING | [num] PRECEDING AND UNBOUNDED FOLLOWING | [num] FOLLOWI

2015-07-27 19:07:40 3396 3

转载 Hadoop 2.x中fsimage和edits合并实现

在《Hadoop 1.x中fsimage和edits合并实现》文章中，我们谈到了Hadoop 1.x上的fsimage和edits合并实现，里面也提到了Hadoop 2.x版本的fsimage和edits合并实现和Hadoop 1.x完全不一样，今天就来谈谈Hadoop 2.x中fsimage和edits合并的实现。　　我们知道，在Hadoop 2.x中解决了NameNode的单点故障

2015-07-26 10:47:06 1879

转载 hadoop edits 文件损坏修复办法

前段时间公司hadoop集群宕机，发现是namenode 磁盘满了。。清理出部分空间后，重启集群时，重启失败。又发现集群Secondary namenode 服务也恰恰坏掉，导致所有的操作log持续写入edits.new 文件，等集群宕机的时候文件大小已经达到了丧心病狂的70G+..重启集群报错加载edits文件失败。分析加载文件报错原因是磁盘不足导致最后写入的log只写入一半就宕机了。

2015-07-26 10:40:55 2076

原创 cloudera hadoop相关源码下载

地址： http://archive.cloudera.com/cdh5/cdh/5/

2015-07-24 16:11:56 1194

原创 hadoop distcp拷贝数据问题

hadoop distcp checksum校验

2015-07-23 15:03:10 6702

原创 Hadoop运维-删除目录下过期的数据

hadoop运维-删除目录下过期数据

2015-07-21 19:08:44 3744

原创 hadoop 新增Namenode

hadoop 集群新增namenode

2015-07-21 19:05:02 2272

转载在 CentOS 6.x上安装 docker.io成功

转自：http://segmentfault.com/a/1190000000735011docker是什么就不多说了，见docker基础原理介绍。docker容器最早受到RHEL完善的支持是从最近的CentOS 7.0开始的，官方说明是只能运行于64位架构平台，内核版本为2.6.32-431及以上（即>=CentOS 6.5，运行docker时实际提示3.8.0及以上），

2015-07-19 09:58:04 3328