bigdata
冬子一定要努力
你可以菜,但不能不努力呀
展开
-
spark基本原理理解(好文章汇总)
一,Spark优势特点作为大数据计算框架MapReduce的继任者,Spark具备以下优势特性。1,高效性不同于MapReduce将中间计算结果放入磁盘中,Spark采用内存存储中间计算结果,减少了迭代运算的磁盘IO,并通过并行计算DAG图的优化,减少了不同任务之间的依赖,降低了延迟等待时间。内存计算下,Spark 比 MapReduce 快100倍。2...原创 2019-07-01 21:54:38 · 383 阅读 · 0 评论 -
idea配置scala插件验证
1.需要下载完idea后。在file---setting-----plugls里面下载scala插件;因为下载12m很慢,我们可以通过自行下载关联上也可以。两种方式都行。2.我是通过idea下载的,然后开始验证。需要下载对应得sdk。这个也很慢。我就后悔了。还不如直接下载关联。。。...原创 2019-08-07 23:55:54 · 235 阅读 · 0 评论