小白spark学习感悟 AND spark两大版本的比较!!!

本文是作者学习Spark三个月的心得体会,特别对比了Spark1.0和Spark2.0的区别。强调了学习Scala基础的重要性,并指出Spark2.0在性能、API统一、SparkSQL、SparkSession、DataFrames和Datasets等方面的改进,为初学者提供了学习路径建议。
摘要由CSDN通过智能技术生成

这个时候的我学了spark已经3个月左右的因为还有平时上课所以学的比较零散,有不足的地方希望大家指出来

对于刚刚入spark的小白(me too)来说我觉得你们很有必要读读这篇介绍,你可能看不懂,你也有可能觉得没什么实在的内容,但是我劝你好好看看,看完之后对你的学习spark2.0应该会有比较的好的帮助,因为市面上的对spark2.0介绍的书记比较少,所以我是队对照着官网的文档来学习,英语不好学起来很吃力,中间想过放弃,但是还是坚持下来了!!!生气


基本的介绍完毕了,希望能为大家起到引导的作用,在学习spark一定要把scala基础看看,不然你最多留在只能理解什么是什么,而不会理解什么为什么是什么,学什么深入学习一样技能之前一定要明白服务和服务之间的关系不然到后期很容出现概念混淆的情况,学习的时候一定要把重点放在基础上,基础学的好怎么学都快(切身体会),我身边的大佬们都觉的前期一定要把core这部分弄清晰明了,

还有切记眼高手低,我才开始的时候看视频学的看完了,发现自己没有api啥都不会,后来奋发图强把常用的算子用java和scala都实现了一遍,现在想想真的有点不容易,那时候才刚刚学习啊,就像一刚刚开学我就把所有的课文都抄了一遍,超级有成就感的,平时没事多练习,觉得差不多了可以看看源码了但是我个人觉得这个时候你可以找一本书看看(强烈推荐《图解spark》),看看深度解析部分我觉得你可以先随便看一遍大概知道什么是DAG,进程间通信等,然后再开始跟源码就跟WC的源码,然后后面就可以找个项目工程来跟源码(我还没走到这一步)

Spark2.x0引入了很多优秀特性,性能上有较大提升,API 更易用。在编程统一方面非常惊艳,实现了离线计算和流计算

  • 2
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值