1.设置固定IP地址及网关
设置IP:如果虚拟机上不了网需要设置,否则不用设置
vi /etc/sysconfig/network-scripts/ifcfg-eth0
修改如下内容:
DEVICE=eth0
HWADDR=08:00:27:BD:9D:B5 #不用改
TYPE=Ethernet
UUID=53e4e4b6-9724-43ab-9da7-68792e611031 #不用改
ONBOOT=yes #开机启动
NM_CONTROLLED=yes
BOOTPROTO=static #静态IP
IPADDR=本机ip #IP地址
NETMASK=255.255.255.0 #子网掩码
设置网关:
vi /etc/sysconfig/network
修改如下内容:
NETWORKING=yes
HOSTNAME=Hadoop.Master
GATEWAY=虚拟机网关 #网关
设置DNS
vi /etc/resolv.conf
修改如下内容:
nameserver xxx.xxx.xxx.xxx #根据实际情况设置
nameserver 114.114.114.114 #可以设置多个
重启网卡
service network restart
测试网络
ping www.baidu.com
ping不通一般是DNS问题
设置主机名对应IP地址
vi /etc/hosts
#添加如下内容
本机ip Hadoop.Master
2.添加Hadoop用户
添加用户组
groupadd hadoop
添加用户并分配用户组
useradd -g hadoop hadoop
修改用户密码
passwd hadoop
3.关闭服务
关闭防火墙
[root@hadoop ~]# systemctl stop firewalld关闭防火墙服务
[root@hadoop ~]# systemctl disable firewalld.service关闭防火墙开机启动
service ip6tables stop
chkconfig ip6tables off
关闭SELinux
vi /etc/sysconfig/selinux
#修改如下内容
SELINUX=enforcing -> SELINUX=disabled
#再执行如下命令
setenforce 0
getenforce
4.SSH无密码配置
查看ssh与rsync安装状态
rpm -qa|grep openssh
rpm -qa|grep rsync
安装ssh与rsync
yum -y install ssh
yum -y install rsync
切换hadoop用户
su – hadoop
生成ssh密码对
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
将id_dsa.pub追加到授权的key中
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
设置授权key权限
chmod 600 ~/.ssh/authorized_keys
#权限的设置非常重要,因为不安全的设置安全设置,会让你不能使用RSA功能
测试ssh连接
ssh localhost
#如果不需要输入密码,则是成功
5.安装Java
切换至root用户
su -
创建/usr/java文件夹
mkdir /usr/java
使用FTP工具上传至服务器
将压缩包上传至/home/hadoop目录
注:我这里使用的是FlashFXP,使用hadoop用户连接
将压缩包解压至/usr/java 目录
tar zxvf /home/hadoop/jdk-7u80-linux-i586.tar.gz -C /usr/java/
设置环境变量
vi /etc/profile
#追加如下内容
export JAVA_HOME=/usr/java/jdk1-12.0.1
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
使环境变量生效
source /etc/profile
测试环境变量设置
java -version
6.Hadoop安装与配置
安装Hadoop
使用FTP工具上传至服务器
将压缩包上传至/home/hadoop目录
将压缩包解压至/usr目录
tar zxvf /home/hadoop/hadoop-2.7.1.tar.gz -C /usr/
修改文件夹名称
mv /usr/hadoop-2.7.1/ /usr/hadoop
创建hadoop数据目录
mkdir /usr/hadoop/tmp
将hadoop文件夹授权给hadoop用户
chown -R hadoop:hadoop /usr/hadoop/
设置环境变量
vi /etc/profile
#追加如下内容
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
使环境变量生效
source /etc/profile
测试环境变量设置
hadoop version
配置HDFS
切换至Hadoop用户
su - hadoop
cd /usr/hadoop/etc/hadoop/
vi hadoop-env.sh
#追加如下内容
export JAVA_HOME=/usr/java/jdk1.7.0_80
修改core-site.xml
vi core-site.xml
#添加如下内容
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://Hadoop.Master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp/</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
修改hdfs-site.xml
vi hdfs-site.xml
#添加如下内容
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
格式化hdfs
hdfs namenode -format
注:出现Exiting with status 0即为成功
启动hdfs
start-dfs.sh
#停止命令 stop-dfs.sh
注:输出类似如下内容
15/09/21 18:09:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
Starting namenodes on [Hadoop.Master]
Hadoop.Master: starting namenode, logging to /usr/hadoop/logs/hadoop-hadoop-namenode-Hadoop.Master.out
Hadoop.Master: starting datanode, logging to /usr/hadoop/logs/hadoop-hadoop-datanode-Hadoop.Master.out
Starting secondary namenodes [0.0.0.0]
The authenticity of host ‘0.0.0.0 (0.0.0.0)’ can’t be established.
RSA key fingerprint is b5:96:b2:68:e6:63:1a:3c:7d:08:67:4b:ae:80:e2:e3.
Are you sure you want to continue connecting (yes/no)? yes
0.0.0.0: Warning: Permanently added ‘0.0.0.0’ (RSA) to the list of known hosts.
0.0.0.0: starting secondarynamenode, logging to /usr/hadoop/logs/hadoop-hadoop-secondarynamenode-Hadoop.Master.out
15/09/21 18:09:45 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicab
查看进程
Jps
注:输出类似如下内容
使用web查看Hadoop运行状态
http://你的服务器ip地址:50070/