一 Spark与kafka基本特点

spark与kafka的介绍
一 spark是什么
hadoop MapReduce：从集群中读取数据，分片读取 进行一次处理，将结果写到集群，从集群中读取更新后的数据，进行下一次的处理，将结果写到集群
Spark ：从集群中读取数据，把数据放入到内存种，完成所有必须的分析处理，将结果写回集群。数据挖掘要比hadoop快100倍
Spark的数据对象存储在分布于数据集群中的叫做弹性分布式数据集，
RDD（Resilient Distributed Dataset）这些数据对象既可以放在内存，也可以放在磁盘，所以RDD同样也可以提供完成的灾难恢复功能

二 spark能做什么
实时流计算，与Storm很相似
RDD ResultSet:一开始没有数据集，读取数据进行处理，把结果再写入mysql和集群中

三 kafka是什么
kafka是一中异步通信框架，底层采用Scala语言，通信框架采用AKK框架
SPark 与 kafka都是采用Scala语言写的。
kafka吞吐量非常高

Kafka可以消息回放：从新播放，可以消息持久化，但是RabbitMQ不能从新恢复消息，
 消息持久化
 非常简单方便的分布式
 分组读取消息（容灾，负载均衡读取数据）容灾，一个挂了，其它的来顶替它。
 每一组消费者只能有一个消费这些数据，各种之间又只有一组

kafka相对于其他的MQ有什么优点


一基本含义
Spark时一个实现快速通用的集群计算平台，通用内存并行计算框架，用来构建大型的，低延迟的数据分析应用程序。扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模型，包括交互式查询和流计算。
Spark的一个主要特点是能够在内存中进行计算，及时依赖磁盘进行复杂的运算，Spark比MapReduce更加高效。 

中间结果输出：基于MapReduce的计算引擎通常会将中间输出到磁盘上，进行存储和容错。出于任务管道承接的，考虑，当一些查询翻译到MapReduce任务时，往往会产生多个Stage,而这些串联的Stage又依赖于底层文件系统(如HDFS)来存储每一个Stage的输出结果。 
Spark是MapReduce的替代方案，而且兼容HDFS，Hive,可融入Hadoop的生态系统，弥补MapReduce的不足

二 Spark的四大特性
1高效性：运行速度提高100倍
Apache Spark使用最先进的DAG调度程序，查询优化程序和物理执行引擎，实现批量和流失数据的高效性

2易用性
Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的shell，可以非常方便地在这些shell中使用Spark集群来验证解决问题的方法

3通用型
Spark可用于批处理，交互式查询(Spark SQL), 实时流处理(Spark Streaming) 机器学习(Spark MLlib) 和图计算(GraphX)

4兼容性
Spark可以非常方便地与其他的开源产品进行融合。比如，Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase和Cassandra等。这对于已经部署Hadoop集群的用户特别重要，因为不需要做任何数据迁移就可以使用Spark的强大处理能力。Spark也可以不依赖于第三方的资源管理和调度器，它实现了Standalone作为其内置的资源管理和调度框架，这样进一步降低了Spark的使用门槛，使得所有人都可以非常容易地部署和使用Spark。此外，Spark还提供了在EC2上部署Standalone的Spark集群的工具。

Mesos: Spark可以运行在Mesos里面(Mesos类似于yarn的一个资源调度框架)
standalone: Spark自己可以给自己分配资源(master,worker)
Yarn: Spark可以运行在yarn上面
Kubernetes: Spark接收Kubernetes的资源调度

三Spark的组成
Spark组成(BDAS):全程伯克利数据分析栈，通过大规模集成算法，机器，人之间展现大数据应用的一个平台。也是处理大数据，云计算，通信的技术解决方案
主要组件有：
SparkCore: 将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度，RPC，序列化和压缩，并为运行在其上的上层组件提供API
SparkSQL: Spark Sql是Spark来操作结构化数据的程序包，可以让我们使用SqL语句的方式来查询数据，Spark支持多种数据源，包含Hive表，parquest以及JSON等内容
SparkStreaming: 是Spark提供的实时数据进行流式计算的组件
MLlib:提供常用机器学习算法的实现库
GraphX:提供一个分布式图计算框架，能高效进行图计算。
BlinkDB:用于在海量数据上进行交互式SQL的近似查询引擎
Tachyon:以内存为中心高容错的分布式文件系统
四应用场景

spark与Kafka如何进行流计算
kafka实时接收数据，采用Spark并行计算能力，来做用户的行为分析。
Spark最好安装在hadoop当中

Yahoo将Spark永在Audience Expansion中的应用，进行点击预测和即时查询
淘宝技术团队使用Spark来解决多次迭代的机器学习算法，高计算复杂度的算法等。 应用于内容推荐，社区发现等。 
腾讯大数据精准推荐借助Spark快速迭代的优势，实现了在“数据实时采集，算法实时训练，系统实时预测"的全流程实时并行高维算法，最终成功应用于广点通pCTR投放系统上
优酷土豆将Spark应用于视频推荐（图形学)，广告业务，主要实现机器学习，图计算等迭代计算