spark学习
一个扑向大数据的pre北漂
这个作者很懒,什么都没留下…
展开
-
Spark学习-本地模式-1
Spark Shell下载完spark安装包,解压后进去bin目录,运行./spark-shell即可打开scala版本的Spark Shell。 书上或者网上举得的例子都是如图:接下来介绍一些简单的spark shell函数(1)flatMap,collectflatMap把每一行进行指定操作返回对象,然后把返回的所有对象合并成一个对象(2)map,collectmap把每一行输入进行指定操作,...原创 2018-02-27 11:27:10 · 617 阅读 · 0 评论 -
Spark学习-本地模式-2
spark项目打成jar运行需要去掉 setMaster("local")因为在参数中会指定。(1) 运行在本地模式的spark集群中:./spark-submit--class FirstScala --master local /Users/zfj/sparktesttwo/out/artifacts/sparktesttwo_jar/sparktesttwo.jar(2)运行在远端的spa...原创 2018-02-27 17:27:39 · 275 阅读 · 0 评论 -
四种常见的MapReduce设计模式
四种常见的MapReduce设计模式使用MapReduce解决任何问题之前,我们需要考虑如何设计。并不是任何时候都需要map和reduce job。整个MapReduce作业的阶段主要可以分为以下四种:Input-Map-Reduce-OutputInput-Map-OutputInput-Multiple Maps-Reduce-OutputInput-Map-Combiner-Reduce-O...转载 2018-04-08 11:29:09 · 695 阅读 · 0 评论 -
阿里云学生机搭建spark、hadoop集群(踩坑之路)
服务器:三台阿里云学生机(三个账号,都在华南1c)系统:ubuntu一、通过外网ip登录服务器需要修改安全组,出入方向都一样,都加入这两条。为何加这两条后续慢慢说明。第一条安全组功能之一就是为了能够本地ssh到服务器。(网上第一条几乎所有的端口配置都是22/22,后续解释为何改成1/65000)授权策略协议类型端口范围授权类型授权对象描述优先级创建时间操作允许自定义 TCP1/65000地址段访问...原创 2018-04-04 16:56:53 · 2859 阅读 · 5 评论