好像是以后有spark的项目,然后,就开始学习spark。
正儿八经的从0开始,看了几天文档,看了几天视频,敲了点代码,ran然呼呼的,似懂非懂,跟大家交流下。
spark目前为止的感觉是要比java 好用,不用担心类型,不用担心调用,不用担心返回值啥的,代码简单...巴拉巴拉 一堆的好处,缺点就是难,不好想,java可以边写边想,这个就得想好了再写,还有写高级函数,函数中有函数,各种匿名函数,各种操作。还有就是想学好spark,还是先学习下scala,spark的语法计数应该就是来自scala。
整个环境我装了一天还多,一个字,烦。
各种版本问题,还有网上好多过期的不能用的链接。下载安装好后,一运行版本不行,尴尬的不要不要。
建议大家直接下一个scala—SDK ,eclipse的环境,用的也熟悉。
我装的版本是 spark-1.6.1-bin-hadoop2.6,hadoop-2.6.5.tar,Scala-version-2.10.6
,JDK是1.8,用着没啥故障。
环境啥的和java一样,scala,spark,hadoop都要配。具体的网上搜搜。
这几天一直都是在看scala的基础,之前主要是写java,学习scala还好,但是太多的地方不一样,不得已还得从类型开始看,别说,没看一遍都会有收获的,所以哈,还是要建议刚开始学的童鞋,一定要从最基础的开始看,系统的学习。
项目组两个月没项目做了,整天都是嫌的蛋疼,看这看那,没点目的性,有志同道合的兄台给建议下,发展之路哈。
spark从零开始
最新推荐文章于 2024-01-28 14:30:55 发布