hadoop之MapReduce调用R的一次失败的总结~

MapRedure调用R遇到了一系列奇怪的问题，包括前面2篇blog也是为了这个问题去测试。

时至今日，我已经耗费了一个星期的时间去追踪它的缘由，但是我依然没有发现它。

或许我应该暂时的放下。有待以后换个hadoop的环境再去尝试。毕竟我还不能保证这个hadoop的环境是非常优质的！

现在我尽量把问题描述清楚，做一次归档，希望以后有机会从源码的角度去追踪它。

毕竟目前自己对hadoop的理解尚浅，也许是hadoop的bug现在都无法确定。

首先R的一些异常，可能历史数据导致，可以不管。

1: In auto.arima(ds) :
  Unable to fit final model using maximum likelihood. AIC value approximated
2: In auto.arima(ds) :
  Unable to fit final model using maximum likelihood. AIC value approximated

hadoop是多线程的，因为看到单进程CPU使用率超过100%！

hadoop 任务失败重复执行机制，任务失败了，可以尝试的次数！

mapreduce.map.maxattempts
mapreduce.reduce.maxattempts

hadoop推测执行机制，同一个任务可能启动2个Map，先结束的把后结束的kill掉。

mapreduce.map.speculative
mapreduce.reduce.speculative

hadoop调用其它语言可能长时间既没有输入，也没有输出。就会超时。0为关闭超时。

mapreduce.task.timeout

hadoop查询任务，kill任务的命令，方便调试使用

hadoop job -list
hadoop job -kill  job_ID

hadoop关闭和启动的一些参数顺序

scp hdfs-site.xml 192.168.101.108:/home/hadoop/hadoop-2.6.0/etc/hadoop
hbase-daemon.sh stop thrift
stop-hbase.sh 
zkServer.sh stop   --关闭其他机器
stop-all.sh 
**********************************
start-all.sh
zkServer.sh start   --启动其他机器
start-hbase.sh
hbase-daemon.sh start thrift

50010端口问题，执行以下命令，2台机器加起来200多

netstat -anp | grep 50010 |wc -l

而观察namenode，会从100左右慢慢涨至几万，最后又恢复100左右！

下面我们从异常开始记录。

R端总会抛出这个异常 rhbase<hbScannerGetList>:: (IOError) D