SNS程飞的专栏

参考资料：1. http://www.cnblogs.com/vincent-hv/p/3298416.html

scala> val broadcastVar = sc.broadcast(Array(1, 2, 3))broadcastVar: org.apache.spark.broadcast.Broadcast[Array[Int]] = Broadcast(0)scala> broadcastVar.valueres0: Array[Int] = Array(1, 2, 3)

Hadoop首先看一下Hadoop解决了什么问题，Hadoop就是解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。HDFS，在由普通PC组成的集群上提供高可靠的文件存储，通过将块保存多个副本的办法解决服务器或硬盘坏掉的问题。MapReduce，通过简单的Mapper和Reducer的抽象提供一个编程模型，可以在一个由几十台上百台的PC组

spark开发简单指南

其它步骤请参考【系列4】注意单机跑的时候

scala程序

1.官网下载spark源码，我下载的是0.9.1版本的2.在spark目录下，运行S

参考资料：1.官网 http://spark.apache.org/docs/latest/mllib-guide.html

其它流程请参考【spark系列4】代码

INFO org.apache.spark.deploy.yarn.ApplicationMaster: Unregistering ApplicationMaster with FAILED (diag message: User class threw exception: org.apache.spark.SparkException: Job aborted