2012年02月_jingling_zy

转载 hadoop集群崩溃恢复记录

转载：http://www.blogjava.net/badqiu/archive/2011/12/14/366178.html一.崩溃原因搭建的是一个hadoop测试集群，所以将数据备份参数设置为dfs.replication=1,这样如果有一台datanode损坏的话，数据就会失去。但不幸的是，刚好就有一台机器由于负载过高，导致数据操坏。进而后面需要重启整个hadoop集群,重

2012-02-29 19:35:24 2770

原创 Cannot open channel to 1 at election address（待续）

这段时间搭了一个7台机器的hbase集群，启动hbase的时候，出现了以下异常：2011-05-16 15:07:21,171 - WARN [WorkerSender Thread:QuorumCnxManager@384] - Cannot open channel to 1 at election address /192.168.0.103:3888java.net.Co

2012-02-27 11:53:23 21917 4

原创随笔

昨天很有幸参加了淘宝的技术沙龙，在交流会上，认识了很多技术牛人，所见所闻都让人热血沸腾……首先听到的是AdMaster公司的@爱的马斯特的有关流式计算的分享，之前对流式计算也稍稍了解了一些，但是了解不多，在这里我了解到他们使用storm实现了日志分析、ETL的功能，用Redis来做多个数据集的关联计算、join计算，实现了cookie，使用hbase做存储，离线分析使用MongoDB（这个主要

2012-02-26 23:17:18 1247

原创 java: cannot execute binary file问题的解决

这两天在虚拟机中搭建环境，从另一台虚拟机中拷贝的jdk，在我这台虚拟机中不能执行，系统报出了java: cannot execute binary file的异常信息。很是费解啊！找了半天终于明白原因了，我装的这个虚拟机的系统是32位，而另外那台虚拟机是64位的，那么jdk必定用不了啊！呵呵，在这里记录一下，也给大家提供一些参考信息。

2012-02-19 21:06:05 19778 6

原创 tomcat出现java.lang.OutOfMemoryError: PermGen space问题解决

稳定了很久的tomcat今天抛出了一个异常，java.lang.OutOfMemoryError: PermGen space。在网上找了一下PermGen space的作用，这部分空间用于存放Class和Meta的信息,Class在被 Load的时候被放入PermGen space区域，它和和存放Instance的Heap区域不同,GC(Garbage Collection)不会在主程序运行

2012-02-16 17:26:01 2077 1

转载如何更有效地学习开源项目的代码

转自：http://sd.csdn.net/a/20111219/309355.html导读：对于开发者来说，社区里丰富的开源代码其实是笔极为宝贵的财富。如果能充分利用好开放源代码的资源，不仅可以掌握多种编程方法，提高实践能力，还能获得好的思想，激发编程灵感。开源代码怎么学以及怎样才能学好是大家经常关注的话题，日前，在问答网站知乎上，有人抛出了“如何更有效地学习开源项目的代码？”的话题，众技术

2012-02-16 00:09:16 831

原创 bulk load关于分隔符的问题

在查看bulk load的源码了解到，其默认的分隔符为\t，也就是说如果数据是tab键分割的，就不需要指定分隔符了，如果需要换成其它分割符，在执行时加上-Dimporttsv.separator=","，则变成了以","分割。前两天，无意间使用bulk load导入数据，导入的数据是以“\t”分割的，我在命令中指定了-Dimporttsv.separator="\t"，怪事就出现了，报出异常：

2012-02-15 14:19:36 4397

转载 HBase bulkload的一个bug定位

在HBase bulkload过程中，如果rowkey和version都一致，无法取得最新导入的数据。问题定位：在HBase里，如果两个HFile中都有相同rowkey和version的数据，是靠HFile的fileinfo里的MAX_SEQ_ID_KEY来判断哪个文件是最新，MAX_SEQ_ID_KEY越大的文件越新。1.通过flush写的HFile文件有往fileinf

2012-02-14 15:41:43 1502

转载 HBase 压缩算法设置及修改

Compression就是在用CPU换IO吞吐量/磁盘空间，如果没有什么特殊原因推荐针对Column Family设置compression，下面主要有三种算法: GZIP, LZO, Snappy，作者推荐使用Snappy，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。HBase comes with support for a number of compre

2012-02-14 14:20:37 5720 1

原创 telnet的配置和启动

修改配置：/etc/xinetd./krb5_telent service telnet{ flags = REUSE socket_type = stream wait = no user = root

2012-02-11 21:11:23 671

原创 hbase 使用LZO笔记

之前我们发现数据录入到hbase中，数据占用的空间变大，所以我们考虑使用压缩来降低，下面是安装使用lzo的过程，在这记录一下备忘。一、hbase添加LZO注意：root用户安装，否则安装会出现错误1、首先要让系统支持lzo动态库，安装lzo-2.00以上版本：http://www.oberhumer.com/opensource/lzo/download/2、解压 tar -z

2012-02-11 20:56:49 6224

原创 hbase0.90.4安装总结

前段时间安装了hbase，这里总结一下备忘。安装前的准备工作：1、保证将纳入集群中各个机器能够ssh无密码访问；2、将各个机器的时间统一，一面集群启动后出现不可预料的问题1、通过命令tar xvf hbase-0.90.4.tar.gz解压到当前文件夹2、修改HBase的配置文件：编辑所有机器上的hbase安装目录conf目录下的hbase-site.xml、hbas

2012-02-11 20:42:07 2860

原创 bulkload出现了KeeperException问题

昨天使用hbase的bulk load的时候，出现了以下异常：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/zookeeper/KeeperException at java.lang.Class.getDeclaredMethods0(Native Method)

2012-02-11 19:24:34 3031

原创 java 日期格式化问题

这段时间写了一个数据查询接口，测试的case中设置开始时间为12点、结束时间为13点，查询出来的数据竟然有8点的。看了一下代码： Date start = DateUtils.parseDate(map.get("START_TIME"), "yyyyMMddhhmmss"); Date end = DateUtils.parseDate(map.ge

2012-02-10 15:44:59 844

小泥巴的玩伴