一、环境要求
1)、安装VMware,这里面需要安装centOS6.0的操作系统并选择sever版本
2)、安装Xshell,这个用于连接Linux服务器
二、Linux环境配置
1)配置网络:
Xshell中输入
vi /etc/sysconfig/network-scripts/ifcfg-eth0
修改里面的内容为:(按A键修改,按ESC键退出修改,输入:wq退出并)
DEVICE=eth0
HWADDR=00:0C:29:E3:CF:B3
TYPE=Ethernet
UUID=11680267-bc08-42f7-b6c4-d42f6c879e30
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.17.128
NETMASK=255.255.255.0
GATEWAY=192.168.17.2
DNS1=192.168.17.2
DNS2=8.8.8.8
2)修改主机名
vi /etc/sysconfig/network
修改里面的内容为
vi /etc/sysconfig/network
3)添加主机IP
vi /etc/hosts
修改里面的内容为:
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.17.128 master
三、常用命令
xftp里面put上传文件,lcd选择下载目录,(get 目录文件)来下载文件
ls查看当前目录下的文件,tree -l以树形结构来查看目录下的文件,pwd查看当前目录
seq 5打印1——5的数字,echo{1..5}打印1——5的数字
解压tar.gz文件: tar -zxvf jdk-8u152-linux-x64.tar.gz -C /software/
改变hadoop文件的权限:chmod o+x hadoop (增加写权限)chmod o-w hadoop(减少写权限)
更改文件的宿主:chown -R spark:spark hadoop
添加用户:useradd -m -d /home/hadoop hadoop
删除用户:userdel -r hadoop
删除文件:userdel -r hadoop
更换角色:su - hadoop
生成密钥:ssh-keygen -t rsa -P ''(file文件可以不用选择,让它默认就好)
复制密钥到名为slave的机器:ssh-copy-id slave
连接到名为slave的机器:ssh slave
把一台主机的1.txt文件复制到另一台主机文件: scp -r 1.txt slave:/install/
注:hadoop都是文件的名字
四、软件安装的几种方式
A、rpm安装rpm -ivh --force --nodeps 包列表....
B、编译安装
readme/readme.txt/README
./configure
echo $?
make
echo $?
make install
echo $?
make && make install
C、解压、配置环境
软件卸载的几种方式
rpm -e --nodeps 包列表.....五、hadoop集群的安装步骤
1、配置静态IP地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
2、配置主机名
vi /etc/sysconfig/network
echo 'master'>>/etc/sysconfig/network
3、主机名与IP地址映射
vi /etc/hosts
ip地址 主机名
4、创建hadoop
useradd -m -d /home/hadoop hadoop
5、设置公私密匙对实现免密通信ssh-keygen -t rsa -P ''
ssh-copy-id slave
6、开启slave节点上install和software两个目录的权限7、关闭master和slave节点上的selinux和防火墙
8、在master和slave节点上安装lrzsz方便上传文件
9、卸载旧的jdk并上传和安装新版jdk
10、切换到hadoop用户实现master免密登录master和slave
11、在hadoop用户下于master和slave节点上安装hadoop
12、配置hadoop环境(修改配置文件[6个配置文件])
13、在master节点上的hadoop用户下格式化集群文件系统
14、启动HDFS集群和Yarn集群
备注:
HDFS集群:分布式存储
Yarn集群:分布式计算
内存比较大:
新增一个slave节点(新增一台虚拟机)
拷贝jdk和hadoop的安装目录
修改/etc/profile配置文件
在master节点上修改slaves文件,增加新增节点的主机名即可