什么是spark:
1.他能干MapReduce的活,区别主要放在内存技术,更快,如果内容满了,就内存+磁盘。
2.支持编程语言:top1-scala、top2-python、top3-java、top4-R
3.大数据计算框架全家桶,包含:批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming)、机器学习(Spark MLlib)和图计算(GraphX)
4.兼容性强:可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器,可以处理所有Hadoop支持的数据,包括HDFS、HBase和Cassandra等。
已经部署Hadoop集群的用户特别重要,因为不需要做任何数据迁移就可以使用Spark的强大处理能力。
Spark个人理解
最新推荐文章于 2022-11-08 21:27:00 发布