- 博客(6)
- 收藏
- 关注
转载 Hadoop参数汇总
linux参数以下参数最好优化一下:文件描述符ulimit -n用户最大进程 nproc (hbase需要 hbse book)关闭swap分区设置合理的预读取缓冲区Linux的内核的IO调度器JVM参数JVM方面的优化项Hadoop Performance Tuning GuideHadoop参数大全适用版本:4.3.0主要配置文件:
2016-07-20 10:34:02 459
转载 Log4j配置详解
转自:http://www.blogjava.net/zJun/archive/2006/06/28/55511.htmlLog4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的,它可接key=value格式的设置或xml格式的设置信息。通过配置,可以创建出Log4J的运行环境。1. 配置文件Log4J配置文件的基本格式如下:
2016-07-15 17:25:20 183
转载 Mybatis中selectOne的空指针异常
selectOne调用了selectList方法,当selectList方法返回值的size小于1 的时候,selectOne方法会返回null值。我们再来看一下mybatis的xml. 如果你写了resultType为Integer,然后在业务代码中很自然的用一个变量int去接当前这个方法的返回值:int id = dao.methodName(param);如果按照你传入的条件
2016-07-07 09:43:27 3867
原创 git笔记
进入到本地git目录从git服务器把代码克隆下来 git clone列出所有分支 git branch删掉里面的代码,创建本地分之 git branch 分支名称切换到某个分支 git checkout 分支名称把代码拷贝到此分支中 查看状态 git status提交代码到本地分支 git commit -a 里面的注释一定要写.否则提交无效提交本地分支到远
2016-07-06 11:21:02 292
原创 MapReduce的map端join
用的都是旧的API,不知道怎么使用新的APIimport java.io.IOException;import java.util.ArrayList;import java.util.Iterator;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apach
2016-07-05 15:26:01 296
转载 Mapreduce之间的参数传递
对于复杂的数据可以考虑把数据保存的公共的结点,然后在map'的setup方法中去读取这个文件,从而获得共享的数据,而对于简单的数据可以用conf进行传递。在驱动函数里面Configuration conf2=getConf();conf2.set("temp", String.valueOf(123));Job job2 = new Job(conf2, "Idf"
2016-07-02 16:17:51 750
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人