2014年06月_KingBoxing

12月 11月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 hadoop jar .jar 与java -classpath .jar运行mapreduce

运行mapreduce的jar包的命令是hadoop jar **.jar运行普通main函数打的jar包的命令时

2014-06-24 18:18:55 6941

转载 Hadoop Map&Reduce个数优化设置以及JVM重用

Hadoop与JVM重用对应的参数是mapred.job.reuse.jvm.num.tasks，默认是1，表示一个JVM上最多可以顺序执行的task数目（属于同一个Job）是1。也就是说一个task启一个JVM。比如在集群中配置每个slave节点最多同时运行16个map和2个reduce。那么在map阶段，slave节点会启动最多16个JVM用于map

2014-06-23 22:40:55 4459

转载深度分析如何在Hadoop中控制Map的数量

很多文档中描述，Mapper的数量在默认情况下不可直接控制干预，因为Mapper的数量由输入的大小和个数决定。在默认情况下，最终input占据了多少block，就应该启动多少个Mapper。如果输入的文件数量巨大，但是每个文件的size都小于HDFS的blockSize，那么会造成启动的Mapper等于文件的数量（即每个文件都占据了一个block），那么很可能造成启动的Mapper数量超出限制而导

2014-06-23 22:32:49 887

转载 Hadoop MapReduce Job性能调优——修改Map和Reduce个数

map task的数量即mapred.map.tasks的参数值，用户不能直接设置这个参数。Input Split的大小，决定了一个Job拥有多少个map。默认input split的大小是64M（与dfs.block.size的默认值相同）。然而，如果输入的数据量巨大，那么默认的64M的block会有几万甚至几十万的Map Task，集群的网络传输会很大，最严重的是给Job Tracker的调度

2014-06-23 21:30:15 12391

原创 shell脚本接收参数并判断是否为空

#!/bin/shset -xa=$1b=$2if [ "$a" ]; thenecho "$a"fiif [ "$b" ]; thenecho "$b"fi

2014-06-18 16:49:56 6384

原创 shell调用mapreduce无法执行后续脚本问题

把mapreduce打成jar包然后用shell去调用，但是mapreduce执行结束后，总是卡在

2014-06-18 14:25:58 2499

转载 Linux Shell的 & 、&& 、 ||

转载地址：http://www.kankanews.com/ICkengine/archives/113878.shtml& 放在启动参数后面表示设置此进程为后台进程默认情况下，进程是前台进程，这时就把Shell给占据了，我们无法进行其他操作，对于那些没有交互的进程，很多时候，我们希望将其在后台启动，可以在启动参数的时候加一个’&’实现这个目的。如： tianfang

2014-06-18 11:44:29 711

原创 jquery请求node并返回值

前端触发程序：

2014-06-13 18:24:59 1027

转载 jsonp详解

json相信大家都用的多，jsonp我就一直没有机会用到，但也经常看到，只知道是“用来跨域的”，一直不知道具体是个什么东西。今天总算搞明白了。下面一步步来搞清楚jsonp是个什么玩意。同源策略首先基于安全的原因，浏览器是存在同源策略这个机制的，同源策略阻止从一个源加载的文档或脚本获取或设置另一个源加载的文档的属性。看起来不知道什么意思，实践一下就知道了。1.随便建两个网页一个端口是

2014-06-13 13:21:20 507

转载 Node.js 究竟是什么？

简介如果您听说过 Node，或者阅读过一些文章，宣称 Node 是多么多么的棒，那么您可能会想：“Node 究竟是什么东西？” 即便是在参阅 Node 的主页之后，您甚至可能还是不明白 Node 为何物？Node 肯定不适合每个程序员，但它可能是某些程序员一直苦苦追寻的东西。为试图解释什么是 Node.js，本文将简要介绍一些背景信息：它要解决的问题，它如何工作，如何运行一个简单应用程序

2014-06-05 17:57:35 562