真诚的程序员

Spark发展太快了，生态系统庞大，作为2016年主要的学习对象 http://www.infoq.com/cn/articles/2015-Review-Spark?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global

一直没有找到此篇文章的真正出处，不知道到底是否允许全篇转载，暂时引用http://h2ex.com/634的文章 谭政，Hulu 网大数据基础平台研发。曾在新浪微博平台工作过。专注于大数据存储和处理，对 Hadoop、HBase 以及 Spark 等等均有深入的了解。 Spark 最新的特性以及功能 2015 年中 Spark 版本从 1.2.1 升级到当前最新的 1

我们想现在windows环境下开发调试好spark程序，然后打包，最后放到linux spark集群环境去运行。

Spark三种集群Spark支持Standalone、Hadoop Yarn、Mesos三种集群方式。下面我只介绍Standalone的安装。Standalone集群的安装 设置好集群机器的主机名以及/etc/hosts文件 安装好JDK1.7或者以上，导出JAVA_HOME，以及PATH环境变量。具体的可以参考Storm集群的安装。 进行ssh的无密码登录执行ssh-keygen -t rsa产生