![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
会飞的鹅_
学无止境
展开
-
cloudera manager5.14 手动安装spark2
准备好一个测试文件,随便添加些内容 上传到hdfs /user/spark/test 启动spark-shell bin/spark-shell --master yarn val countRDD = sc.textFile("hdfs://n1:8020/user/spark/test"); 读取hdfs中的文件到RDD中 val result = countRDD.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_...原创 2020-11-07 20:07:00 · 372 阅读 · 0 评论 -
cm 5.14 离线安装spark2.2 on yarn 并测试
cm5.14中的spark版本是默认是1.6,安装2.2版本的需要手动安装 安装准备: csd包:http://archive.cloudera.com/spark2/csd/ SPARK2_ON_YARN-2.2.0.cloudera3.jar parcel包:http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera3/ 注意: 这里cloudera3对应上边下载的jar包的3,版本要一致 el5...原创 2020-11-07 19:14:39 · 351 阅读 · 0 评论