2011年04月_xyz2011

10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Apache Hadoop 0.21版本新功能ChangeNode

Apache Hadoop 0.21.0 在2010年8月23日release了。Cloudera的Tom White哥（OReilly.Hadoop.The.Definitive.Guide第一版的作者）已经将该版本对比0.20的修改进行了整理，记录下来以作备忘。apache社区上一个release的版本还是0.20.0版本，还是在去年的四月份 release的。所以这个版本中引入了许多新的...

2011-04-21 22:04:45 176

原创 Hadoop关于处理大量小文件的问题和解决方法

小文件指的是那些size比HDFS 的block size(默认64M)小的多的文件。如果在HDFS中存储小文件，那么在HDFS中肯定会含有许许多多这样的小文件(不然就不会用hadoop了)。而HDFS的问题在于无法很有效的处理大量小文件。任何一个文件，目录和block，在HDFS中都会被表示为一个object存储在namenode的内存中，没一个object占用150 bytes的内存空间。所以...

2011-04-21 11:07:34 236

挣钱养家

如果各位有私活的话忙不过来，可以通过QQ（282215036）联系我！晚上下班回家和周末我都有时间。不为别的，就想多干点活，挣点钱养家！

2011-04-14 22:19:58 123

perl自定义模块的调用！

周末没事，看了下perl的书，刚开始不是很理解perl的自定义模块调用。刚弄明白，顺便记录下来！1 #!/usr/bin/perl2 push (@INC,'pwd');3 use Cocoa;4 $cup = new Cocoa; 第一行指出Perl解释器的位置，第二行中，将当前目录加到路径寻找列表@INC中供寻找包时使用。你也可以在不同的目录中创建你的模块并指出该绝对路径。例如，如果在D:...

2011-04-10 14:20:09 1407

原创 hadoop常见错误及解决办法！

转：1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/secu...

2011-04-07 12:18:27 2372

原创 Hadoop节点热拔插

转：一、 Hadoop节点热拔插在Hadoop集群中经常会进行增添节点操作，即实现节点的热拔插。在这些操作中不希望对集群进行重启。2.在集群中添加节点：a. 把新节点IP或者主机名字加入到主节点的slaves文件。b. 登录到新节点，执行：cd $HADOOP_HOME && bin/hadoop-daemon.sh start datanode ...

2011-04-07 12:16:45 118

原创 hadoop动态添加节点

转：有的时候， datanode或者tasktracker crash，或者需要向集群中增加新的机器时又不能重启集群。下面方法也许对你有用。1.把新机器的增加到conf/slaves文件中（datanode或者tasktracker crash则可跳过）2.在新机器上进入hadoop安装目录 $bin/hadoop-daemon.sh start datanode...

2011-04-07 12:14:19 121

欢迎大家讨论hadoop性能优化

大家知道hadoop这家伙是非常吃内存的。除了加内存哦！如果大家有什么好的优化方法的话，欢迎一起来讨论。

2011-04-06 15:42:50 191

使用perl连接mysql数据库

用Perl DBI连接MySQL数据库Perl中一个最酷的模块就是Perl数据库接口(Perl Database Interface，简称DBI)。通过提供一系列在内部上能够转化成原始调用函数的功能，DBI模块为很多不同的数据库提供了一个统一的接口。由此，使用Perl就可以很容易地利用数据库和建立动态Web网页。当前，MySQL是广泛用于Web网站开发的数据库，它是一种免费、开源的SQL操...

2011-04-05 22:21:31 148