Hadoop大数据集群搭建​ 详细教程

一、虚拟机安装

1.安装VMWARE工作站

自行安装vmware 15/16版

2.创建hadoop虚拟机

新建虚拟机

 

 

选择典型模式创建

 

 

先完成其他配置，后安装系统

 

 

选择系统为对应的centos版本

 

 

设置虚拟机名字为hadoop1，同时设置虚拟机的路径

 

 

 

分配空间

 

 

自定义硬件，安装系统镜像

 

 

 

完成安装

完成虚拟机创建和配置

启动虚拟机，等待读条结束

选择系统语言为中文

 

 

安装信息选择，软件选择（默认最小安装会没有可视化图形界面，如需可视化图形可以勾选为GNOME桌面，右侧除智能卡外全可以勾选）

 

 

分区默认为自动分区（不会调整分区可以选择默认）

 

 

网络配置（可视化图形配置比在终端配置简单，建议在这一步完成配置）

 

 

详细网络设置：选择IPV4的DHCP更改为静态地址(手动模式)（IPADDR,GATEWAY,NETMASK,DNS不能照抄，要根据自己硬件网卡虚拟网卡配置）

 

 

完成设置后退出到上一级，点击启动，如果出现连接受限或者网线已拔出则为配置错误，正常应如下图出现刚才设置的地址网关和掩码，完成网络配置。

 

 

保存退出后主页面出现已连接为成功

 

 

点击开始安装，设置用户和超级管理员

默认超级管理员账户名为root，密码选择为root便于记忆

 

 

用户设置（建议用户名为虚拟机名字hadoopxx以便区别，密码与用户名相同。因为会有多台hadoop虚拟机，设置不同密码，不利于记忆。可以将用户提升为管理员）

 

 

完成设置后等待安装进度条读完（5-10分钟）

 

 

完成后重启虚拟机

 

 

重启完后，接受许可证协议，完成配置

 

 

输入密码后进入系统（如果没装GNOME是直接进入终端黑窗口）

测试网络

 

 

输入百度网址，测试网络是否连接

 

 

没装GNOME的终端如下测试

 

 

到这一步就完成了CENTOS7的安装和基本配置

3.配置CentOS7

关闭系统和内核自动更新

下载安装yum-cron

yum install yum-cron

安装完之后修改配置文件yum-cron.conf

sudo vi /etc/yum/yum-cron.conf

修改如下内容禁用应用更新

update_messages = no
download_updates = no

添加如下代码可以禁用centos7的内核更新

exclude=kernel*
exclude=centos-release*

关闭GNOME桌面的自动息屏

 

 

 

空白屏幕设置为从不

 

---

二、Lunix（CentOS命令）

文件操作

改变权限

 

 

sudo chmod -R （权限代码）文件/文件夹

创建文件夹

mkdir 文件夹

删除文件（文件夹）

rm -f 文件
rm -rf 文件夹

写入（创建）文件

sudo vi 文件名

目录

# 跳转到用户的home
cd ~ 
# 跳转到根目录/
cd /
# 跳转到上一级
cd ..
# 进入当前目录的文件夹
cd ./文件夹
cd 文件夹
#/开头的路径表示绝对路径 非/开头的路径表示相对路径
​
# 查看目录内所有文件和文件夹
ls
# 查看目录内所有文件和文件夹的详细信息
ls -l
# 查看目录内的隐藏文件
ls -a

应用卸载

yum -y remove 软件包

用户和组的创建和权限

创建用户和修改密码

useradd 用户名
passwd 用户名

为用户添加sudo权限

给sudoers添加可写权限

chmod -v u+w /etc/sudoers

在sudoers文件中添加用户信息（在## Allow root to run any commands anywher 下）

## Allow root to run any commands anywher 
root ALL=(ALL) ALL 
dev ALL=(ALL) ALL #新增用户信息

取消sudoers写入权限

chmod -v u-w /etc/sudoers

新建工作组

groupadd 组名

新建用户同时添加工作组，注：-g 所属组 -d 家目录 -s 所用的SHELL

useradd -g 组名 用户名

给已有用户添加组

usermod -G 组名 用户名 
或者
gpasswd -a 用户名 组名

补充

查看用户和用户组的方法 
用户列表文件：/etc/passwd 
用户组列表文件：/etc/group 
查看系统中有哪些用户：cut -d : -f 1 /etc/passwd 
查看可以登录系统的用户：cat /etc/passwd | grep -v /sbin/nologin | cut -d : -f 1 
查看某一用户：w 用户名 
查看登录用户：who 
查看用户登录历史记录：last

防火墙

查看防火墙状态

systemctl status firewalld

关闭启用防火墙

systemctl stop firewalld
systemctl start firewalld

关闭selinux

sudo vi /etc/selinux/config
#SELINUX=enforcing
SELINUX=disabled #关闭selinux

系统更新

下载yum-cron

sudo yum install yum-cron

启动yum-cron服务

sudo systemctl enable yum-cron.service 
sudo systemctl start yum-cron.service 
sudo systemctl status yum-cron.service

修改yum-cron配置文件

sudo vi /etc/yum/yum-cron.conf

关闭自动更新

update_messages = no
download_updates = no

忽略内核更新

exclude=kernel*
exclude=centos-release*

关机和重启

关机和取消关机

shutdown
shutdown -c

重启

reboot

网络

查看网络信息

ifconfig

配置网络地址