Hadoop和Spark修改shh端口以及web监控端口

SSH端口不是默认端口22

hadoop

如果ssh端口不是默认的22，在etc/hadoop/hadoop-env.sh里改下。如：

export HADOOP_SSH_OPTS="-p 18921"

spark

在spark-env.sh添加
export SPARK_SSH_OPTS="-p 37294"

ps :spark master 默认web 端口是8080，如果8080被占用，spark会自动就加1.所以当8080你访问不到spark时，你可以试试8081.worker是8082

hbase web监控端口

在安装hbase-1.0.1时发现一个问题，hbase能够正常使用，hbase shell 完全可用，但是60010页面却打不开，最后找到问题，是因为1.0.1版本的hbase的master web 默认是不运行的，所以需要自己配置默认端口。配置如下

在hbase-site.xml中加入一下内容即可

<property>
       <name>hbase.master.info.port</name>
       <value>60010</value>
     </property>

同理可以配置regionserver web端口 （ps：我在1.0.3版本中hbase.regionserver.info.port 配置了没有用，发现16301是regionserver ）

hadoop系列端口介绍：http://debugo.com/hbase-params/   http://blog.csdn.net/ff19910203/article/details/24986333

spark-submit 出错

1.提交scala运行任务时出现sparkMaster找不到 connect refuse的错误，解决办法：

spark-env.sh文件里加了export SPARK_MASTER_IP=localhost就可以了。。

但是看别人说：

export SPARK_MASTER_IP=localhost后,系统会认为spark部署为cluster模式,

执行./bin/spark-shell后会报找不到master的错误!

所以spark-env.sh里只加export SPARK_LOCAL_IP=localhost就可以了

2.在网页界面中8082端口查看日志stderr报错：ERROR executor.CoarseGrainedExecutorBackend: Driver Disassociated [akka.tcp://sparkExecutor@pc-jfqdfx31:48586] -> [akka.tcp://sparkDriver@pc-jfqdfx30:41656] disassociated! Shutting down.
15/07/23 10:50:56 ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM

　　这个错误比较隐晦，从信息上看来不知道是什么问题，但是归根结底还是内存的问题，有两个方法可以解决这个错误，一是，如上面所说，加大excutor-memory的值，减少executor-cores的数量，问题可以解决。二是，加大executor.overhead的值，但是这样其实并没有解决掉根本的问题。所以如果集群的资源是支持的话，就用1的办法吧。

　　另外，这个错误也出现在partitionBy(new HashPartition(partiton-num))时，如果partiton-num太大或者太小的时候会报这种错误，说白了也是内存的原因，不过这个时候增加内存和overhead没有什么用，得去调整这个partiton-num的值。

http://www.cnblogs.com/fbiswt/p/4679403.html