CC00014.spark——|Hadoop&Spark.V02|——|Spark.v02|sparkcore|RDD编程&RDD编程模型|

一、RDD编程模型
### --- RDD编程模型

~~~     RDD表示数据对象
~~~     通过对象上的方法调用来对RDD进行转换
~~~     最终显示结果 或 将结果输出到外部数据源
~~~     RDD转换算子称为Transformation是Lazy的(延迟执行)
~~~     只有遇到Action算子,才会执行RDD的转换操作
### --- 要使用Spark,需要编写 Driver 程序,它被提交到集群运行

~~~     Driver中定义了一个或多个 RDD ,并调用 RDD 上的各种算子
~~~     Worker则执行RDD分区计算任务
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
SparkHadoop都是大数据处理领域的重要技术,它们各自有着优缺点和适用场景。下面是它们之间的对比: 1. Hadoop缺点: - Hadoop中的MapReduce编程模型在处理迭代式和交互式应用时效率较低,因为它需要将数据写入磁盘并读回内存,导致性能瓶颈。 - Hadoop的数据存储和计算是分离的,需要将数据从HDFS中读入内存进行计算,造成了较大的IO开销。 - Hadoop的数据处理过程是批处理的,无法实时响应数据变化。 2. Spark如何改进的: Spark针对Hadoop的缺点,做出了以下改进: - Spark采用了内存计算,将数据缓存到内存中,避免了MapReduce中频繁读写磁盘的开销,从而提升了计算性能。 - Spark提供了RDD(弹性分布式数据集)的概念,将数据存储和计算融为一体,避免了Hadoop中的大量IO操作。 - Spark支持流处理和批处理,可以实时处理数据。 3. Spark优势: - Spark的性能比Hadoop更高,因为它采用了内存计算和RDD概念。 - Spark支持流处理和批处理,可以实时响应数据变化。 - Spark提供了丰富的API,包括Spark SQL、Spark Streaming、MLlib和GraphX等,支持多种应用场景。 - Spark支持多种语言,包括Java、Scala、Python和R等。 4. Spark能否取代HadoopSparkHadoop都是大数据处理的重要技术,它们之间并不是取代关系。实际上,Spark可以与Hadoop生态系统中的其他组件(如HDFS、YARN和Hive等)集成使用,以便更好地处理大规模数据。Spark可以作为Hadoop的一个补充,提供更高效的数据处理能力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yanqi_vip

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值