Spark实践
隔壁的王二
想进步?勤思考,然后码不停蹄地码吧!
展开
-
Spark实践1(Spark简介)
Spark简介: 简而言之,Spark就是一个准实时的分布式计算系统。 准实时怎么理解,这里不展开了,就简单理解为已经接近实时。 分布式这个东西,说得玄乎其玄,一言蔽之,就是把一个任务,分解到多个节点(这里我们简单假定一个节点就是一台机器),让每台机器运算好了之后,然后合并结果,就是那么简单。跟包工头领了搬砖活,然后分给下面的工人做,工人完成自己的任务...原创 2018-02-28 10:25:57 · 4123 阅读 · 0 评论 -
Spark实践2(Spark单点的安装)
有个笑话是这样的, 程序员小明说,我的女朋友,我就得让她给我买好菜,烧好饭,洗好衣服,叠好被子...... 然后运营的妹子轻轻得问了一句,那是不是首先得有一个女朋友?#¥$^%@..... 没错,同样的道理,要Spark实践,我们首先得有个Spark,哪怕他是个单点的。参考官网:http://spark.apache.org/docs/latest/index.htm...原创 2018-02-28 11:15:21 · 1172 阅读 · 0 评论 -
Spark实践3(Spark的简单操作)
前面经过部署之后,Spark就可以用了。 怎么用呢? 可以有两个办法: 1.直接在shell中调用Spark提供的API方法,去做一些运算。 2.通过Scala,Java或者Python等语言的编程去调用Spark提供的api,去实现相关的功能,如流运算,图运算,SQL运算等。 由于实践应该是一个由浅入深的阶段,由于,我们可以先用shell来简单调用一下...原创 2018-02-28 13:56:44 · 3943 阅读 · 0 评论