Spark
文章平均质量分 80
miaote
这个作者很懒,什么都没留下…
展开
-
Spark上提交运行简单WordCount程序---Spark学习笔记(1)
其实这个时候应该继续学习hadoop的,但是猛然发现目前的需求是spark,不过spark可以基于hadoop运行。 目前使用的spark版本是:spark-1.6.2-bin-hadoop2.6 运行Spark简单程序的思路是现在IDE上导入spark API包并写好scala程序,然后像写Hadoop MapReduce程序一样,导出做成jar包,接下来用spark-submit提交jar包原创 2016-11-18 12:10:37 · 1269 阅读 · 0 评论 -
Spark简单数据分析---Spark学习笔记(2)
上次学习Spark还是两个月前的事情,期中好多事情耽搁了,现在开始正式地学习Spark的使用。前面所学习的Scala基本知识也能用上了,终于可以从简单了解过渡到应用和实现的阶段。 这次学习的内容跟进的是《Spark高技术据分析》一章,里面的内容感觉很灵活,不仅是从最简单的Spark对数据的处理开始,而且其中稍带的Scala知识提及,可以加深对Scala的印象,从而运用起来就更加能了解其原创 2017-01-07 16:22:43 · 4606 阅读 · 1 评论 -
Hadoop完全分布式部署---Hadoop学习笔记(3)
偶然看到家里的台式机闲置没用,于是索性想到了部署一次完全分布式的Hadoop试试看。本来伪分布式模式部署好了就用到现在,苦于装备条件不够,没办法实现真正的分布式运算。现在终于有时间又有机器,可以部署(折腾)一番。 我用的hadoop和spark是: 1. Hadoop-2.6.0 2. spark-1.6.0-hadoop2.6.0 将hadoop部署完毕之后再部署spark原创 2017-01-22 21:41:16 · 481 阅读 · 0 评论