在aws的ec2上部署spark

在spark官网上有详细的在ec2上部署spark的教程。

在并发编程网上也有相关中文教程。

但是在使用情况下还是遇到了不少问题。

特别提醒，这种部署方式是要钱的！！！别问我是怎么知道，看着信用卡我吃土！官方文档没有说明收费问题，我当时也好奇免费套餐配置很低，这么配置后居然工作实例配置那么高，可惜我当时一股脑在解决问题上，没有细究，后来才知道配置过程中要你的身份验证文件就是为了无感申请有偿的服务器！~~~

首先，accessid和密钥对不是一个概念，我就是弄错了，所以一直登录不上。

然后，在运行脚本过程中，一些错误忘记记录了，主要是一个连接spark集群的错误：

Copying SSH key /home/tj/private/aws_spark.pem to master...
ssh: connect to host ec2-***-***-***-***.compute-1.amazonaws.com port 22: Connection refused
Error connecting to host Command 'ssh -t -o StrictHostKeyChecking=no -i /home/tj/private/aws_spark.pem root@ec2-***-***-***-***.compute-1.amazonaws.com 'mkdir -p ~/.ssh'' returned non-zero exit status 255, sleeping 300