- 博客(4)
- 收藏
- 关注
RSS订阅转载 java 读写
平时写IO相关代码机会挺少的，但却都知道使用BufferedXXXX来读写效率高，没想到里面还有这么多陷阱，这两天突然被其中一个陷阱折腾一下：读一个文件，然后写到另外一个文件，前后两个文件居然不一样？ 解决这个问题之后，总结了几个注意点。 注意点一：Reader/Writer读写二进制文件是有问题的 ： [java] view plainc
2013-02-28 13:43:41
356
转载 Hadoop安装
本文主要是以安装和使用 hadoop-0.12.2 为例，指出在部署Hadoop的时候容易遇到的问题以及如何解决。硬件环境 共有3台机器，均使用的centos4.4系统，Java使用的是jdk1.5.0。IP配置如下： dbrg-1：202.197.18.72 dbrg-2：202.197.18.73 dbrg-3：202.197.18.74 这里有一点需要强调的就是，务必要确保每台
2013-02-20 16:35:06
426
转载 深度分析如何在Hadoop中控制Map的数量
很多文档中描述，Mapper的数量在默认情况下不可直接控制干预，因为Mapper的数量由输入的大小和个数决定。在默认情况下，最终input占据了多少block，就应该启动多少个Mapper。如果输入的文件数量巨大，但是每个文件的size都小于HDFS的blockSize，那么会造成启动的Mapper等于文件的数量（即每个文件都占据了一个block），那么很可能造成启动的Mapper数量超出限制而导
2013-02-01 10:45:15
320
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人