在利用spark以cluster方式提交application时会发现这个警告:Warning: Master endpoint spark://ip:7077 was not a REST server. Falling back to legacy submission gateway instead.
提交方式:spark-submit --master spark://ip:port --deploy-mode client(cluster)
原因:端口问题,
解决方式:spark以client方式提交时,port应该设置为7077;以cluster方式提交时,port设置为6066,因为这种方式提交时,是以rest api方式提交application。
参考:
https://mail-archives.apache.org/mod_mbox/spark-user/201512.mbox/%3CD2905870.2629A%25Andy@SantaCruzIntegration.com%3E