Hadoop基础环境搭建

大家好，我是一名大一的学生，身为一个刚刚开始接触Hadoop的小白，写博客的主要目的是为了巩固自己在老师那里所学到的一些知识，并且分享自己的知识，希望能帮到一些跟我一样刚接触Hadoop的学者。好笔记不如烂笔头，这是一个从零到一的过程，一起加油吧~

百度是最好的老师，这里的安装过程不加赘述，可以百度，在CSDN搜索等等……
1、我们需要安装好15版本的虚拟机
提取码：a92y
2、准备好iso镜像文件，在这里我选用centOS7：
下载
3、创建3台新的虚拟机，选用下载好的centOS7镜像文件
4、网络改为桥接模式
5、虚拟机内存可以根据自己真实电脑的内存来设置，推荐把虚拟机内存设置为2G
6、硬盘40G。虚拟机是弹性的硬盘，不用担心占用空间。
7、主机名改成自己喜欢的，因为后面要用到三台虚拟机。我设置的是bigdata1，2，3
8、设置好后，开启虚拟机，安装步骤百度。
------都说图形化界面不好用，身为一个初学者，老师还是让我们先使用图形化界面。
为了方便以后的学习，可以先关闭真实电脑的防火墙~~

安装好虚拟机和centOS7后，打开虚拟机，root用户登录
三台虚拟机都需要同样操作
三台虚拟机都需要同样操作
三台虚拟机都需要同样操作
1、修改主机名hostnamectl set-hostname [YOUR NEW HOSTNAME]修改主机名，可以输入【hostname】查看是否修改成功，成功后这里会变

2、修改IP
在真实电脑win+r键打开运行窗口，输入cmd，使用ipconfig查看IP地址信息。
在虚拟机打开终端，输入
cd /etc/sysconfig/network-scripts/
vim ifcfg-ens33
修改配置文件，按【i】编辑，编辑完毕按【esc】，shift+： 输入wq保存退出。（q！是不保存退出）

GATEWAY是网关。
注意修改三台虚拟机的ip地址时，ip的前三个网段必须保持一致，最后一个网段可以任意改，但是不要改成和真是电脑ip一样。如真实电脑ip是192.168.1.1，那虚拟机ip可以改为192.168.1.2

输入【ip a】或者【ip addr】或者【ping -c 4 +ip】查看是否连通
3、修改hosts

vi /etc/hosts #编辑hosts文件

在文件尾部加上三台虚拟机的地址+主机名,如：

192.168.1.1 bigdata1
192.168.1.2 bigdata2
192.168.1.3 bigdata3

4、关闭虚拟机防火墙

systemctl stop firewalld.service #关闭防火墙服务
systemctl disable firewalld.service #禁止防火墙开机启动

5、NTP服务器设置，用于时间同步

yum -y install ntp #从yum源安装ntp服务

然后编辑NTP配置

vim /etc/ntp.conf

第一台虚拟机中在原有server开头的行前加#注释掉，并且在下面新增以下内容

server ntp.sjtu.edu.cn iburst
server +ip地址
fudge +ip地址 stratum 8

注意：在操作另外两台虚拟机时，只需要注释掉server开头的行，并且只添加一行主服务器地址即可，如下：

server +主机名 + iburst
server bigdata1 iburst

启动NTP服务

/usr/sbin/ntpd

可以在从机上，查看时间同步是否成功

ntpq -p

6、无密码登录

安装ssh

yum install openssh-* -y #从yum源安装ssh服务

创建ssh文件

mkdir  /root/.ssh

编辑文件

vim /root/.ssh/config

写入如下代码：

StrictHostKeyChecking=no
UserKnownHostsFile=/dev/null

三台虚拟机配置完后，都要启动服务

/usr/sbin/sshd 

第一次启动时，会提醒你缺少密钥，手动生成即可

ssh-keygen -t ecdsa -f /etc/ssh/ssh_host_ecdsa_key -N ""#生成ecdsa密钥
ssh-keygen -t rsa -b 2048 -f /etc/ssh/ssh_host_rsa_key #生成rsa密钥

生成密码后，再启动一次，看是否成功，在ps –ef中查询一下ssh服务

ps -ef|grep sshd #查询ssh服务线程

先在1号机上生成公钥

ssh-keygen -t rsa -f /root/.ssh/id_rsa #对root用户生成密钥

中间会确认几次直接回车即可
——————————————
将证书发送到3台机上

ssh-copy-id bigdata1
ssh-copy-id bigdata2
ssh-copy-id bigdata3

测试：用1号机的ip ssh登录其他主机 ，看能否无密登录，都可以则成功。另两台同样测试

ssh bigdata2
ssh bigdata3

OK，今天的学习到此为止，初次发表，多有疏漏，望君指正。
QQ1148824675一起学习~