MapRedure调用R遇到了一系列奇怪的问题,包括前面2篇blog也是为了这个问题去测试。
时至今日,我已经耗费了一个星期的时间去追踪它的缘由,但是我依然没有发现它。
或许我应该暂时的放下。有待以后换个hadoop的环境再去尝试。毕竟我还不能保证这个hadoop的环境是非常优质的!
现在我尽量把问题描述清楚,做一次归档,希望以后有机会从源码的角度去追踪它。
毕竟目前自己对hadoop的理解尚浅,也许是hadoop的bug现在都无法确定。
首先R的一些异常,可能历史数据导致,可以不管。
1: In auto.arima(ds) :
Unable to fit final model using maximum likelihood. AIC value approximated
2: In auto.arima(ds) :
Unable to fit final model using maximum likelihood. AIC value approximated
hadoop是多线程的,因为看到单进程CPU使用率超过100%!
hadoop 任务失败重复执行机制,任务失败了,可以尝试的次数!
mapreduce.map.maxattempts
mapreduce.reduce.maxattempts
hadoop推测执行机制,同一个任务可能启动2个Map,先结束的把后结束的kill掉。
mapreduce.map.speculative
mapreduce.reduce.speculative
hadoop调用其它语言可能长时间既没有输入,也没有输出。就会超时。0为关闭超时。
mapreduce.task.timeout
hadoop job -list
hadoop job -kill job_ID
hadoop关闭和启动的一些参数顺序
scp hdfs-site.xml 192.168.101.108:/home/hadoop/hadoop-2.6.0/etc/hadoop
hbase-daemon.sh stop thrift
stop-hbase.sh
zkServer.sh stop --关闭其他机器
stop-all.sh
**********************************
start-all.sh
zkServer.sh start --启动其他机器
start-hbase.sh
hbase-daemon.sh start thrift
50010端口问题,执行以下命令,2台机器加起来200多
netstat -anp | grep 50010 |wc -l
而观察namenode,会从100左右慢慢涨至几万,最后又恢复100左右!
下面我们从异常开始记录。
R端总会抛出这个异常 rhbase<hbScannerGetList>:: (IOError) D