一:环境搭建:VM、CentOS7安装及网络配置
大数据入门首先需要搭建环境,接下来的三篇文章均是环境搭建部分的内容。
首先我们要安装虚拟机及linux系统
一、安装虚拟机VM
官网下载VM虚拟机:这里下载的VMware-workstation-full-10.0.4,好像往后的高版本需要win系统为64位,根据自己的需求下载安装。
二、安装CentOS7
1、官网下载:我下载的是CentOS-7-x86_64-DVD-1804.iso文件。
2、安装过程(略):自行百度安装,按照步骤安装无问题,可根据需要选择最小化安装,安装至最后一步骤时最好创建一个用户。
3、复制出另外两台虚拟机,并对每台虚拟机命名为master、slave1、slave2。
三、网络配置
1、配置网络为NAT模式,三台均需要配置;
2、修改网卡配置,三台均需要修改
cd /etc/sysconfig/network-scripts
vim ifcfg-ens33
添加内容:IPADDR=192.168.198.21 //ip地址
添加内容:NETMASK=255.255.255.0
添加内容:GATEWAY=192.168.198.2 //网关
添加内容:DNS1=8.8.8.8
3、配置完成后重启网络服务
/etc/init.d/network restart 或
service network restart
4、测试访问外网是否通
curl www.baidu.com
ping www.baidu.com
5、分别用securecrt连接centos
5.1.如何安装及注册SecureCRT教程
http://blog.csdn.net/stephenbruce/article/details/48649625
5.2.如何用SecureCRT连接vm的虚拟机教程:
http://www.cnblogs.com/shuangxinye/p/6283171.html
6、修改hosts
vim /etc/hosts
7、修改hostname
hostnamectl set-hostname master
使用这种方式修改,可以永久性的修改主机名称!
二:环境搭建:jdk1.8安装及环境配置
接下来就要安装在操作系统上运作的大数据核心hadoop分布式系统基础架构!Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS,Hadoop的框架最核