2014年09月_52Pig

11月 10月 09月 07月 06月 05月 03月 02月 01月

原创 maven配置文件中修改默认jre

方法一：打开%maven_home%\conf\setting.xml,只会在新建项目时自动使用1.6的导入项目不会在标签内添加如下配置： jdk-1.8 true 1.8 1.8 1.8 1.8 方法二：不同的项目使用不同的jre，pom.xml里添加如下配置导入项目可以这样配置然后进行maven

2014-09-29 15:13:04 6409 3

原创 Hadoop性能调优--用户角度

hadoop性能调优--用户角度

2014-09-09 22:58:21 2919

原创 hadoop性能调优--管理员角度二

hadoop参数调优1.合理规划资源1.设置合理的槽位数目在hadoop中，计算资源是用槽位slot表示的。slot分为两种：map slot和reduce slot。每种slot代表一定量的资源，且同种slot代表的资源量是相同的。管理员需根据实际需要为TT配置一定数目的Map slot和Reduce slot，从而限制每个TT上并发执行的Map Task和Red

2014-09-08 22:43:55 1497

原创 Hadoop性能调优--管理员角度一

管理员角度主要在四方面进行调优：硬件选择、操作系统、jvm参数调优、hadoop参数调用硬件选择 master（JT或者NN）的配置要远远好于各个slave（TT或者DN）；可参考书籍《Hadoop Opertions》操作系统参数调优1.增大同时打开的文件描述符合网络连接上限。管理员在启动hadoop集群时，应使用ulimit命令将允许同时打开的文件描述符数目上限

2014-09-08 13:57:04 987