![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
佳乐一百
这个作者很懒,什么都没留下…
展开
-
大数据Spark中的RDD操作
大数据Spark中的RDD操作一、上传1.txt文本到本地,并分为2个区:二、上传文件到hadoop伪分布式系统1、启动hadoop2、查看hadoop根目录文件:3、上传文本到hadoop伪分布式系统4、查看文本5、在spark操作文本:6、把List 数组乘以2,makeRDD方法和map方法7、textFile方法和flatMap方法8、filter方法...原创 2019-11-28 02:24:33 · 471 阅读 · 0 评论 -
Spark单机模式安装,现基于hadoop伪分布模式运行与操作
Spark单机模式安装,现基于hadoop伪分布模式运行与操作一、导包:1.把spark-2.0.1-bin-hadoop2.7.tgz导入software目录并解压2.进入spark3.进入conf目录:4.把文件spark-env.sh.template改名为spark-env.sh5.进入spark-env.sh配置文件修改6.进入bin目录7.进入spark客...原创 2019-11-28 02:01:27 · 458 阅读 · 0 评论