spark
windflyhuang
这个作者很懒,什么都没留下…
展开
-
在VM虚拟机上搭建Hadoop2.7.3+Spark2.1.0完全分布式集群
1.选取三台服务器(CentOS系统64位) 114.55.246.88主节点 114.55.246.77 从节点 114.55.246.93 从节点 之后的操作如果是用普通用户操作的话也必须知道root用户的密码,因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题。 我是用root用户操作的。转载 2017-08-30 11:29:15 · 2687 阅读 · 0 评论 -
基于HDFS的spark分布式Scala wordcount程序测试
基于HDFS的spark分布式Scala wordcount程序测试 本文是在Hadoop分布式集群和基于HDFS的spark分布式集群部署配置基础上进行Scala程序wordcount测试,环境分别是spark-shell和intelliJ IDEA 。 环境基础是: 节点 地址 HDFS Yarn Spark VM原创 2017-08-31 10:26:56 · 1312 阅读 · 0 评论