2014年04月_slx_2011

转载 linux快速删除大量小文件

zhttp://www.hivefans.net/linux%E7%B3%BB%E7%BB%9F/linux%E5%BF%AB%E9%80%9F%E5%88%A0%E9%99%A4%E5%A4%A7%E9%87%8F%E5%B0%8F%E6%96%87%E4%BB%B6/在linux下面删除大量文件夹的情况，如：需要删除100万个文件或者文件夹。这个时候，我们本来的删除命令

2014-04-30 16:03:05 1551

原创 2014数据库大会会后感想

昨天去参加了数据库技术大会，主要听了一下hadoop相关的技术演讲，干货不多，不过也有一些，跟大家分享一下会议上讲的最多的是两个名词ha和spark，ha主要涉及namenode和jobtracker的高可用，大家分享了一下各自ha的方案，感觉大同小异，基本上是参考了facebook的avatarnode方案实现热备，使用zookeeper主从选取方式实现自动切

2014-04-30 11:42:00 760

原创 sqoop异常处理java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)B

1、异常描述使用sqoop从mysql向hive导数据时抛出2、3、

2014-04-30 09:49:14 5001

原创 sqoop 异常处理Not implemented by the DistributedFileSystem FileSystem implementation

但当时一直报如下错误 java.lang.UnsupportedOperationException:Not implemented by the DistributedFileSystem FileSystem implementation at org.apache.hadoop.fs.FileSystem.getScheme(FileSystem.java:207)

2014-04-30 09:45:03 4256

转载 pdsh简介

快速了解这个小工具作用就是批量在集群节点执行命令，比如我想在 node_1至node_9上执行hostname命令： /usr/bin/pdsh -R ssh -w node_[1-9] hostname -R：指定传输方式，默认为rsh，本例为ssh，如果希望ssh传输需要另行安装pdsh-rcmd-ssh，如果希望ssh无密码访问需要提前配置好

2014-04-18 16:25:38 1978

转载 hadoop容错性分析

转自：http://dongxicheng.org/mapreduce/hadoop-mapreduce-failure-tolerance/本文讲述Hadoop-0.21.0 以及以上版本中MapReduce的容错机制。包括JobTracker，TaskTracker，Job，Task，Record等级别的容错机制。1. JobTracker暂无容错机制，挂掉

2014-04-18 13:45:05 991

转载 hive结果及中间结果压缩

转自：hadoop中常见的压缩格式及特性如下：压缩格式工具算法文件扩展名多文件可分割性DEFLATE*无DEFLATE.deflate不不GzipgzipDEFLATE.gz不不ZIPzipDEFLATE.zip是是，在文件范围内

2014-04-18 13:43:51 2820

转载 hadoop黑名单机制

转自：http://blog.csdn.net/liangliyin/article/details/7606275Note：这里描述的黑名单是指jobtracker网页summary表格中显示的”Blacklisted Nodes"，称之为集群黑名单. 在HADOOP-4305之前，Hadoop中每个job会维护一个TaskTracker黑名单，这里称之为job

2014-04-18 13:42:56 2266

转载动态调整配置

转自：http://blog.csdn.net/liangliyin/article/details/6557248对于Hadoop集群这样的分布式系统，有些参数是需要经常调整的，但是又不想重启daemon进程。原因很明显，重启任何一个daemon进程都是要付出代价的。例如重启master相当于停服务，集群直接不可用；重启TaskTracker会导致部分task失败重跑，延长j

2014-04-18 13:41:51 1214

转载 GMT、UTC与24时区等时间概念

许多人都知道两地时间表简称为GMT或UTC，而世界时区表则通称为World Time，那么GMT与UTC的实质原意又是为何？世界时区又是怎么区分的？面盘上密密麻麻的英文单字代表着什么意义与作用呢？这些都是新手在接触两地时间表或世界时区表时，脑海中所不断浮现的种种疑问，以下将带您一探时区奥妙的究竟。世界时区及国际换日线示意图全球24个时区的划分

2014-04-03 15:43:51 2069

道听途说