spark
meepomiracle
这个作者很懒,什么都没留下…
展开
-
spark2.2.0集群环境搭建
1.环境 阿里云弹性云主机两台,一台master,一台slave,操作系统CentOs7.2.1511 spark版本2.2.0, hadoop版本2.7 scala版本2.11 java版本1.8 2.java安装和环境变量 官网下载linux64位jdk,地址:jdk官网 创建目录,mkdir /usr/java 在该目录下解压jdk,tar -zvxf jdk-8u1...原创 2017-11-10 01:09:10 · 310 阅读 · 0 评论 -
spark2.2.0搭建standalone集群环境
在上一篇文章spark单机安装已经阐述了如何在单台服务器上安装spark本地环境,接下来本文介绍如何通过简单配置将所有安装好spark的服务器以集群方式组织并运行起来,本文将仅介绍spark自带的standalone模式。1.spark的几种运行模式主要分为单机模式和集群模式,其中,集群模式支持standalone,Apache Mesos,Hadoop Yarn等模式。stand...原创 2017-11-12 23:06:00 · 814 阅读 · 0 评论 -
spark开发环境搭建(idea和maven)
spark idea maven开发环境搭建,maven多module工程构建原创 2017-11-14 00:27:52 · 400 阅读 · 0 评论