![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 74
斌小哥
这个作者很懒,什么都没留下…
展开
-
Spark2.2.0集群搭建部署之【软件准备篇】
本文主要展示如何在虚拟机上搭建部署Spark2.2.0的详细步骤,包括环境安装、无密登录、Hadoop集群,Spark集群。需要准备的软件为:VMware-WorkStationCentOS-7-x86_64-DVD-1708.isojdk-1.8.0-openjdkscala-2.11.11.tar.gzhadoop-2.7.7.tar.gzspark-2.2.0-bin-...原创 2018-08-26 21:53:25 · 216 阅读 · 0 评论 -
Spark2.2.0集群搭建部署之【基础配置篇】
软件准备信息,详见Spark2.2.0集群搭建部署之【软件准备篇】Spark集群在生产环境中,主要部署在linux的集群中,所以需要先安装JDK,SCALA等基础配置。由于Spark是计算框架,所以需要预先在集群内有搭建好存储数据的持久化层,如HDFS,最后可以通过启动脚本运行应用。在VMware Workstation 虚拟机中新建两台机器,分别起名master,slave1。在两台...原创 2018-08-26 22:16:34 · 262 阅读 · 0 评论 -
Spark2.2.0集群搭建部署之【无密访问篇】
软件准备信息,详见Spark2.2.0集群搭建部署之【软件准备篇】基础配置信息,详见Spark2.2.0集群搭建部署之【基础配置篇】通过SSH无密访问来达到集群中机器相互访问的目的。首先固定机器的ip地址,避免每次重启机器ip改变的问题。通过ifconfig命令查看当前ip地址,若该命令无法使用的话,则需要先安装net tools。yum install net-tools待...原创 2018-08-26 22:43:53 · 211 阅读 · 0 评论 -
Spark2.2.0集群搭建部署之【HADOOP集群篇】
软件准备信息,详见Spark2.2.0集群搭建部署之【软件准备篇】基础配置信息,详见Spark2.2.0集群搭建部署之【基础配置篇】SSH无密访问,详见park2.2.0集群搭建部署之【无密访问篇】将hadoop-2.7.7.tar.gz 进行解压tar -zxvf hadoop-2.7.7.tar.gz配置环境变量信息,vi /etc/profile export HA...原创 2018-08-26 23:02:25 · 195 阅读 · 0 评论 -
Spark2.2.0集群搭建部署之【SPARK集群篇】
软件准备信息,详见Spark2.2.0集群搭建部署之【软件准备篇】基础配置信息,详见Spark2.2.0集群搭建部署之【基础配置篇】SSH无密访问,详见park2.2.0集群搭建部署之【无密访问篇】HADOOP集群,详见Spark2.2.0集群搭建部署之【HADOOP集群篇】解压spark-2.2.0-bin-hadoop2.7.7.tar.gztar -zxvf spark-...原创 2018-08-26 23:17:37 · 158 阅读 · 0 评论