大数据-spark
文章平均质量分 74
一九八八@
这个作者很懒,什么都没留下…
展开
-
IDEA下创建scala sbt项目
1.在IDEA->Preference->plugins中搜索scala, 没有安装过的下载即可,下载后重新启动IDEA 2.新建工程,选择scala-SBT,下一步,这里构建SBT会特别慢(有条件可以用VPN或者阿里镜像) JDK版本选择1.8,SBT版本选择0.13.8,Scala版本选择2.10.5,finish即可 3.在新建工程页面,原创 2018-01-11 13:58:53 · 922 阅读 · 0 评论 -
Mac下的ssh免密码登录
1.打开终端,输入ssh-keygen -t rsa 2.公钥和私钥就生成在.ssh目录下(显示隐藏文件) 3.创建authorized_keys,输入touch authorized_keys 4.把id_rsa.pub放到authorized_keys中,终端输入:cat id_rsa.pub > authorized_keys原创 2018-01-12 08:51:50 · 278 阅读 · 0 评论 -
JAVA Spark中的操作集合的方法
JavaRDD rdd1 = jsc.parallelize(Arrays.asList("coffee", "coffee", "panda", "monkey", "tea")); JavaRDD rdd2 = jsc.parallelize(Arrays.asList("coffee", "monkey", "kitty")); //distinct 去重操作 JavaRDD rdd_di原创 2018-01-16 08:41:28 · 1511 阅读 · 0 评论 -
Java RDD键值对
SparkConf conf = new SparkConf(); JavaSparkContext jsc = new JavaSparkContext("local", "keyValueRDDTest", conf); List, Integer>> list = Arrays.asList( new Tuple2, Integer>(1, 2), new原创 2018-01-16 13:18:48 · 473 阅读 · 0 评论