搭建简易的hadoop集群(完全分布式)

• 内存分配根据自己电脑性能而定，最低不能低于512MB，多多益善

• 使用NAT网络类型

• IO控制器默认

• 磁盘类型默认

• 选择磁盘默认

• 磁盘容量40GB，这不是实际占用的磁盘大小，请放心

• 指定磁盘文件默认

• 点击完成，等待安装

• 安装完成

• 登录，用户密码是刚刚在新建虚拟机时的那个账号密码

• 右键打开终端

• 切换到root用户

su - root

注意！此处需要输入密码，密码就是你在新建虚拟机时写的那个用户密码，这里输入密码没有回显！

• 安装网络组件

yum install net-tools

• 配置虚拟机网络环境

+ 配置VM8虚拟网卡的dhcp服务器分配地址范围

 ![Untitled](https://img-blog.csdnimg.cn/img_convert/019156d8d394be1c15db3539bf11dcdd.png)

 ![Untitled](https://img-blog.csdnimg.cn/img_convert/180dcd8c5e28dc661e8fc738acd36214.png)
+ 配置网关

 ![Untitled](https://img-blog.csdnimg.cn/img_convert/e645f7a05279c7a2b1e171255bb84d78.png)

 ![Untitled](https://img-blog.csdnimg.cn/img_convert/f76d7958cd4451dff3c90ae713d45112.png)

 ![Untitled](https://img-blog.csdnimg.cn/img_convert/93a8950cbaeac6ba782cf60a0dcd790e.png)

• 重启虚拟机

reboot

• 重启后打开终端，切换到root用户

su - root

• 配置网络文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

注意，网卡的名字不同，配置文件也不同！

保存退出

• 设置root密码

passwd root

设置密码为root

• 重启虚拟机

reboot

• 打开xshell，连接虚拟机

• 安装分发工具

yum install rsync -y

• 编写集群分发脚本

mkdir ~/bin && vim ~/bin/xsync

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
#这里的主机名是hadoop101~hadoop103，要根据情况修改代码
for i in hadoop102 hadoop103 hadoop104
do
        echo ------------------- $i  --------------
        rsync -rvl $pdir/$fname $user@$i:$pdir
done

• 给脚本赋权

chmod +x ~/bin/xsync

• 关机

init 0

• 右键，克隆虚拟机

点击完成，克隆成功

再按照以上步骤克隆一台虚拟机，名称为hadoop104

完成后如下图

• 配置克隆的网络文件

  • 开启hadoop103，切换至root用户

  su - root
  
  

  密码是root

  • 编辑网络配置文件

  vim /etc/sysconfig/network-scripts/ifcfg-ens33
  
  

  

  保存退出

  • 重启

  reboot
  
  

  • 开启hadoop104
  • 切换至root用户

  su - root
  
  

  • 编辑网络配置文件

  vim /etc/sysconfig/network-scripts/ifcfg-ens33
  
  

  

  保存退出

  • 重启hadoop104

  reboot
  
  

• 启动hadoop102

确保3台节点启动成功

• 打开xshell，新建两个会话

  • hadoop103会话

  

  

  

  

  点击确定

  • hadoop104会话

  

  

  

  

  点击确定

  • 连接

  选中3个会话，点击连接

  

  弹出如下提示，输入yes即可

  

搭建hadoop3.x完全分布式集群

集群规划

hadoop102	hadoop103	hadoop104
namenode	resourcemanager	datanode
datanode	datanode	nodemanager
nodemanager	nodemanager	secondarynamenode

• 配置host映射

  • 点击hadoop102选项卡

  

  • 编辑hosts文件

  vim /etc/hosts
  
  

  192.168.138.102 hadoop102
  192.168.138.103 hadoop103
  192.168.138.104 hadoop104
  
  

  

  保存退出

• 配置集群ssh

  • hadoop102配置ssh无密登录

  ssh-keygen -t rsa
  
  

  一直回车即可

  

  ssh-copy-id hadoop102
  
  

  输入yes，提示输入密码的地方输入root，这里也是没有回显的！！

  

  如上操作再将公钥复制到hadoop103、hadoop104

  ssh-copy-id hadoop103
  
  

  ssh-copy-id hadoop104
  
  

  • 分发hosts

  xsync /etc/hosts
  
  

  • hadoop103配置ssh无密登录

  点击hadoop103选项卡

  

  生成公钥

  ssh-keygen -t rsa
  
  

  

  如hadoop102的操作，将公钥复制到其他节点

  ssh-copy-id hadoop102
  
  

  ssh-copy-id hadoop103
  
  

  ssh-copy-id hadoop104
  
  

  • hadoop104配置ssh无密登录

  选择hadoop104选项卡

  

  生成公钥

  ssh-keygen -t rsa
  
  

  复制公钥到其他节点

  ssh-copy-id hadoop102
  
  

  ssh-copy-id hadoop103
  
  

  ssh-copy-id hadoop104
  
  

• 上传hadoop安装包

  • 回到hadoop102选项卡

  创建目录

  mkdir /opt/software && cd /opt/software
  
  

  • 上传安装包

  开启xftp

  

  将下载好的hadoop和jdk移动到右边

  

  回到xshell

  • 创建目录并解压

  mkdir /opt/module
  
  

  tar -zxvf /opt/software/hadoop-3.1.3.tar.gz -C /opt/module/
  
  

  tar -zxvf /opt/software/jdk-8u401-linux-x64.tar.gz -C /opt/module/
  
  

  • 改名

  mv /opt/module/jdk1.8.0_401/ /opt/module/jdk
  
  

• 添加JAVA_HOME

  • 添加java环境变量

  vim /etc/profile
  
  

  #JAVA\_HOME
  export JAVA\_HOME=/opt/module/jdk
  export PATH=$PATH:$JAVA\_HOME/bin
  
  

• 添加HADOOP_HOME

  • 添加hadoop环境变量

  #HADOOP\_HOME
  export HADOOP\_HOME=/opt/module/hadoop
  export PATH=$PATH:$HADOOP\_HOME/bin
  export PATH=$PATH:$HADOOP\_HOME/sbin
  
  

最全的Linux教程，Linux从入门到精通

======================

1. linux从入门到精通(第2版)

2. Linux系统移植

3. Linux驱动开发入门与实战

4. LINUX 系统移植 第2版

5. Linux开源网络全栈详解 从DPDK到OpenFlow

第一份《Linux从入门到精通》466页

====================

内容简介

====

本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷，并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘，内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件，供读者免费下载。

本书适合广大Linux初中级用户、开源软件爱好者和大专院校的学生阅读，同时也非常适合准备从事Linux平台开发的各类人员。

需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！