大数据学习之路(准备篇)---------(一)集群环境准备

前一阵子刚换了15寸的MBP,所有的东西又要重新开始准备了,不过也好,这次要来一次完整的记录,顺便提一句,MAC是真的好用啊,所有的操作都是那么顺滑流畅。正应了那句话,一入Mac深似海,从此钱财是路人。?

虚拟机准备

VMware Fusion下安装CentOS7

VMware Fusion是我不管在Windows还是Mac下最喜欢的虚拟机软件。
打开浏览器,下载地址:http://mirrors.aliyun.com/centos/7/isos/x86_64/
本次使用CentOS-7-x86_64-DVD-1908.iso,哪个版本都可以。
1.打开VMware Fusion进行安装,单击继续按钮。随后单击自定义按钮选择你想要的配置
在这里插入图片描述

  1. 配置CentOS7虚拟机,在这里我自己定的配置是,namenode是3核2G内存,datanode是1核1.5G内存。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  2. 选好后我们点击存储就开始安装Linux,在安装之前我们要把虚拟网卡整好,Mac OS会新增两张网卡vmnet1以及vmnet8,其中vmnet1是Host-only模式,vmnet8是NAT模式,这里选择vmnet8使用NAT进行网络设置。
    sudo vi /Library/Preferences/VMware\ Fusion/networking
    在这里插入图片描述
    sudo vi /Library/Preferences/VMware\ Fusion/vmnet8/nat.conf 设置成固定IP
    在这里插入图片描述
  3. 然后一直点击下一步安装linux
    在这里插入图片描述
    在配置网络时选择IPv4 settings选择Method:Automatic(DHCP) addresses only;配好刚才你设置的IP。
    在这里插入图片描述
  4. 然后点击安装就可以,设置你的用户名密码。安装好后,登录进去使用ip addr看看IP对不对,然后ping www.baidu.com如果能ping通,那么恭喜你linux就安装好了。
    在这里插入图片描述
    在这里插入图片描述
    原本想立马克隆虚拟机,但想到上次克隆完之后一个一个更新yum源和安装jdk,这次还是都弄好了在一下克隆吧。

配置yum源,安装JDK。

  1. 配置yum源,我们就选通用的阿里yum源吧。
    第一步:备份你的原镜像文件,以免出错后可以恢复。
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

第二步:下载新的CentOS-Base.repo 到/etc/yum.repos.d/

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

第三步:运行yum makecache生成缓存

yum clean all
yum makecache
   2. 安装JDK,配好环境变量。
mkdir /usr/java
cd /usr/java
tar -xvf jdk-8u231-linux-x64.tar
mv jdk-8u231-linux-x64   jdk1.8

在这里插入图片描述
解压完毕后配置环境变量。

#set java environment
JAVA_HOME=/usr/java/jdk1.8
CLASS_PATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:
PATH=.:$JAVA_HOME/bin:$PATH
export  PATH JAVA_HOME CLASS_PATH

在这里插入图片描述

java  -version

在这里插入图片描述
到此为止,一台虚拟机终于配好,下面开始克隆。

克隆虚拟机

  1. 创建完整性克隆
    一定要选择完整性克隆。配置跟第一步虚拟机自定义一样。但在网络高级配置下一定要重新生成主机Mac地址,然后开机登录就可以。
    在这里插入图片描述
    在这里插入图片描述

  2. 我看网上有说要在虚拟机里面手动改Mac地址的,但我的虚拟机克隆好后,在网络设置里生成Mac地址后,在克隆后的linux下Mac地址已经改好了,如果你的Linux没改,那就去这个文件下修改Mac地址,跟你网络设置里面生成的Mac地址要一样。
    vim /etc/udev/rules.d/70-persistent-net.rules
    vim /etc/sysconfig/network-scripts/ifcfg-ens33在这里插入图片描述
    在这里你只需更改的想要的固定IP地址即可。更改完之后要更改你的Hostname.
    查看hostname : hostname

    修改hostname : hostnamectl set-hostname master (比如要修改为master)

    修改完重启生效 :reboot.
    剩下几台虚拟机重复此操作即可。好啦,我们的虚拟机环境已经配好啦,那下一步就配置安装我们所需要的Hadoop环境吧。?
    有需要大数据视频教程的小朋友,请关注公众号哦:
    在这里插入图片描述

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值