Spark大数据学习笔记_第1篇_CentOS集群环境搭建
文章目录
1. CentOS安装
1、下载镜像CentOS镜像。
2、创建虚拟机:打开Virtual Box,点击“新建”按钮;输入虚拟机名称为sparkproject1,选择操作系统为Linux,选择版本为Red Hat;分配1024MB内存;后面所有选项全部用默认的设置;注意,在Virtual disk file location and size中,一定要自己选择一个目录来存放虚拟机文件;最后点击“create”按钮,开始创建虚拟机。
3、设置网卡(桥接网卡):选择创建好的虚拟机,点击“设置”按钮,在网络一栏中,连接方式中,选择“Bridged Adapter”,即桥接网卡。
4、安装CentOS 6.4操作系统:选择创建好的虚拟机,点击“开始”按钮;选择安装介质(即本地的CentOS 6.4镜像文件);选择第一项开始安装-Skip-欢迎界面Next-选择默认语言-Baisc Storage Devices-Yes, discard any data-主机名:sparkproject1-选择时区-设置初始密码为hadoop-Replace Existing Linux System-Write changes to disk-开始安装。
5、安装完以后,会提醒你要重启一下,就是reboot,reboot就可以了。
2. 网络配置
1、先临时性设置虚拟机ip地址:ifconfig eth0 192.168.1.110,在/etc/hosts文件中配置本地ip到host的映射
2、配置windows主机上的hosts文件:C:\Windows\System32\drivers\etc\hosts,192.168.1.110 sparkproject1
3、使用SecureCRT从windows上连接虚拟机
4、永久性配置CentOS网络
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.110
NETMASK=255.255.255.0
GATEWAY=192.168.1.254
5、重启网卡
service network restart
3. 关闭防火墙
vi /etc/selinux/config
SELINUX=disabled
4. 配置DNS服务器、替换repo文件、配置yum
1、配置DNS服务器
vi /etc/resolv.conf
nameserver 61.139.2.69
ping www.baidu.com
2、repo下载地址及操作方式
3、配置yum
yum clean all
yum makecache
yum install telnet
5. 解决无法访问外网的问题
即使更换了ip地址,重启网卡,可能还是联不通网。那么可以先将IPADDR、NETMASK、GATEWAY给删除,将BOOTPROTO改成dhcp。然后用service network restart重启网卡。此时linux会自动给分配一个ip地址,用ifconfig查看分配的ip地址。然后再次按照之前说的,配置网卡,将ip改成自动分配的ip地址。最后再重启一次网卡。
6. 安装JDK 1.8
1、将jdk-xx.rpm或者jdk-xx.tar.gz上传到虚拟机中JDK1.8下载路径
2、安装JDK:rpm方式
rpm -ivh jdk-xx.rpm
安装JDK:tar方式
tar -zxf jdk-xx.tar.gz
3、配置jdk相关的环境变量
vi ~/.bashrc
export JAVA_HOME=/usr/java/latest
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc
4、测试jdk安装是否成功:
java -version
5、
rm -f /etc/udev/rules.d/70-persistent-net.rules
7.安装第二台和第三台虚拟机
1、安装上述步骤,再安装两台一模一样环境的虚拟机。
2、另外两台机器的hostname分别设置为sparkproject2和sparkproject3即可
3、在安装的时候,另外两台虚拟机的centos镜像文件必须重新拷贝一份,放在新的目录里,使用各自自己的镜像文件。
4、虚拟机的硬盘文件也必须重新选择一个新的目录,以更好的区分。
5、安装好之后,记得要在三台机器的/etc/hosts文件中,配置全三台机器的ip地址到hostname的映射,而不能只配置本机,这个很重要!
6、在windows的hosts文件中配置全三台机器的ip地址到hostname的映射,方便访问
8. 永久修改主机名方法
编辑/etc/hostname
文件
vi /etc/hostname
重启
reboot
9. 配置集群ssh免密码登录
1、在三台机器的/etc/hosts文件中,都配置对三台机器的ip-hostname的映射
2、首先在三台机器上配置对本机的ssh免密码登录
生成本机的公钥,过程中不断敲回车即可,ssh-keygen命令默认会将公钥放在/root/.ssh目录下
ssh-keygen -t rsa
将公钥复制为authorized_keys文件,此时使用ssh连接本机就不需要输入密码了
cd /root/.ssh
cp id_rsa.pub authorized_keys
3、接着配置三台机器互相之间的ssh免密码登录
使用
ssh-copy-id -i sparkproject2
命令将本机的公钥拷贝到指定机器的authorized_keys文件中(方便好用)
注:sparkproject2 为已在hosts文件配置好的ip与主机名相对应好的主机名,可以使用目标ip代替