centos7+jdk1.8+scala+spark+IEDA(mac可参考)集群环境搭建

最新推荐文章于 2024-05-23 15:22:57 发布

pends

最新推荐文章于 2024-05-23 15:22:57 发布

阅读量1k

点赞数

分类专栏：大数据学习 spark 文章标签： centos spark scala jdk mac

本文链接：https://blog.csdn.net/ydq1206/article/details/53520715

版权

   因为硬件原因，博文一直没有更新，非常抱歉，最近去买了一个配置比较好的笔记本，尝试了下spark在linux下环境的搭建，利用一个星期的业余时间，终于是搭建成功了，特此记下了，也是给大家一些借鉴，如有问题，可以留言，或者邮箱(xlydq1206@sina.com)。好，下面切入正题啦~
   首先，我的笔记本是双核四线程的，大环境是mac下同下用平行桌面搭建了四个虚拟机(win7+3个centos的linux系统)，亲测可以正常同时使用(之前很长一段时间被网上的一些言论误导为N核CPU就最多能支持N个虚拟机同时工作，亲测只要内存和CPU使用率不高就可以继续加虚拟机)。

还是惯例，先列举下本文要讲的事情：
目录
1、centos安装
2、jdk安装
3、openssh安装
4、scala安装
5、spark安装
6、集群配置

1、centos安装
这个在VM或者Parallel Desktop上都很容易，基本是傻瓜式的，可参考
Mac OS X 开发环境搭建之利用 Parallel Desktop 安装 CentOS 7

2、jdk安装
spark是依赖于JVM的，所以它也算是跨平台的。jdk的安装就很常规了，一般是下载文件、加入环境变量和是环境变量生效——
下载文件就不说了，去官网或者参照上一篇博客
添加环境变量：

vim ~/.bashrc
    export JAVA_HOME = /usr/lib/java/jdk1.8.0 #jdk安装路径  
    export PATH=$JAVA_HOME/bin:$PATH

退出编辑后 source ~/.bashrc

3、openssh安装(非常重要)
先一句话说下这一步的重要性吧，集群之间的无密连接靠的就是SSH协议(外壳协议)。并且还需要用root用户操作（su root），否则在测试spark集群的时候会出现什么情况呢，来，看下图
这里写图片描述
即最后连接的时候都被拒绝了(spark2是spark2，spark1/spark3是slaves)，使用root可是统一管理集群。下面来讲下步骤。
首先需要更换下主机名：

hostname spark1
vi /etc/sysconfig/network
HOSTNAME=spark1

vi /etc/hosts
192.168.1.105 spark1
192.168.1.107 spark2
192.168.1.108 spark3
192.168.1.105 localhost

参考博客设置主机名
a、查看ssh协议的安装情况：rpm -qa | grep ssh
b、启动ssh协议：service sshd rest