- 内存分配根据自己电脑性能而定,最低不能低于512MB,多多益善
- 使用NAT网络类型
- IO控制器默认
- 磁盘类型默认
- 选择磁盘默认
- 磁盘容量40GB,这不是实际占用的磁盘大小,请放心
- 指定磁盘文件默认
- 点击完成,等待安装
- 安装完成
- 登录,用户密码是刚刚在新建虚拟机时的那个账号密码
- 右键打开终端
- 切换到root用户
su - root
注意!此处需要输入密码,密码就是你在新建虚拟机时写的那个用户密码,这里输入密码没有回显!
- 安装网络组件
yum install net-tools
- 配置虚拟机网络环境
+ 配置VM8虚拟网卡的dhcp服务器分配地址范围
![Untitled](https://img-blog.csdnimg.cn/img_convert/019156d8d394be1c15db3539bf11dcdd.png)
![Untitled](https://img-blog.csdnimg.cn/img_convert/180dcd8c5e28dc661e8fc738acd36214.png)
+ 配置网关
![Untitled](https://img-blog.csdnimg.cn/img_convert/e645f7a05279c7a2b1e171255bb84d78.png)
![Untitled](https://img-blog.csdnimg.cn/img_convert/f76d7958cd4451dff3c90ae713d45112.png)
![Untitled](https://img-blog.csdnimg.cn/img_convert/93a8950cbaeac6ba782cf60a0dcd790e.png)
- 重启虚拟机
reboot
- 重启后打开终端,切换到root用户
su - root
- 配置网络文件
vim /etc/sysconfig/network-scripts/ifcfg-ens33
注意,网卡的名字不同,配置文件也不同!
保存退出
- 设置root密码
passwd root
设置密码为root
- 重启虚拟机
reboot
- 打开xshell,连接虚拟机
- 安装分发工具
yum install rsync -y
- 编写集群分发脚本
mkdir ~/bin && vim ~/bin/xsync
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
#这里的主机名是hadoop101~hadoop103,要根据情况修改代码
for i in hadoop102 hadoop103 hadoop104
do
echo ------------------- $i --------------
rsync -rvl $pdir/$fname $user@$i:$pdir
done
- 给脚本赋权
chmod +x ~/bin/xsync
- 关机
init 0
- 右键,克隆虚拟机
点击完成,克隆成功
再按照以上步骤克隆一台虚拟机,名称为hadoop104
完成后如下图
-
配置克隆的网络文件
- 开启hadoop103,切换至root用户
su - root
密码是root
- 编辑网络配置文件
vim /etc/sysconfig/network-scripts/ifcfg-ens33
保存退出
- 重启
reboot
- 开启hadoop104
- 切换至root用户
su - root
- 编辑网络配置文件
vim /etc/sysconfig/network-scripts/ifcfg-ens33
保存退出
- 重启hadoop104
reboot
-
启动hadoop102
确保3台节点启动成功
-
打开xshell,新建两个会话
- hadoop103会话
点击确定
- hadoop104会话
点击确定
- 连接
选中3个会话,点击连接
弹出如下提示,输入yes即可
搭建hadoop3.x完全分布式集群
集群规划
hadoop102 | hadoop103 | hadoop104 |
---|---|---|
namenode | resourcemanager | datanode |
datanode | datanode | nodemanager |
nodemanager | nodemanager | secondarynamenode |
-
配置host映射
- 点击hadoop102选项卡
- 编辑hosts文件
vim /etc/hosts
192.168.138.102 hadoop102 192.168.138.103 hadoop103 192.168.138.104 hadoop104
保存退出
-
配置集群ssh
- hadoop102配置ssh无密登录
ssh-keygen -t rsa
一直回车即可
ssh-copy-id hadoop102
输入yes,提示输入密码的地方输入root,这里也是没有回显的!!
如上操作再将公钥复制到hadoop103、hadoop104
ssh-copy-id hadoop103
ssh-copy-id hadoop104
- 分发hosts
xsync /etc/hosts
- hadoop103配置ssh无密登录
点击hadoop103选项卡
生成公钥
ssh-keygen -t rsa
如hadoop102的操作,将公钥复制到其他节点
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
- hadoop104配置ssh无密登录
选择hadoop104选项卡
生成公钥
ssh-keygen -t rsa
复制公钥到其他节点
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
-
上传hadoop安装包
- 回到hadoop102选项卡
创建目录
mkdir /opt/software && cd /opt/software
- 上传安装包
开启xftp
将下载好的hadoop和jdk移动到右边
回到xshell
- 创建目录并解压
mkdir /opt/module
tar -zxvf /opt/software/hadoop-3.1.3.tar.gz -C /opt/module/
tar -zxvf /opt/software/jdk-8u401-linux-x64.tar.gz -C /opt/module/
- 改名
mv /opt/module/jdk1.8.0_401/ /opt/module/jdk
-
添加JAVA_HOME
- 添加java环境变量
vim /etc/profile
#JAVA\_HOME export JAVA\_HOME=/opt/module/jdk export PATH=$PATH:$JAVA\_HOME/bin
-
添加HADOOP_HOME
- 添加hadoop环境变量
#HADOOP\_HOME export HADOOP\_HOME=/opt/module/hadoop export PATH=$PATH:$HADOOP\_HOME/bin export PATH=$PATH:$HADOOP\_HOME/sbin
最全的Linux教程,Linux从入门到精通
======================
-
linux从入门到精通(第2版)
-
Linux系统移植
-
Linux驱动开发入门与实战
-
LINUX 系统移植 第2版
-
Linux开源网络全栈详解 从DPDK到OpenFlow
第一份《Linux从入门到精通》466页
====================
内容简介
====
本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷,并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本,循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘,内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件,供读者免费下载。
本书适合广大Linux初中级用户、开源软件爱好者和大专院校的学生阅读,同时也非常适合准备从事Linux平台开发的各类人员。
需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!