Linux下Hadoop的安装
总共4个大的步骤:
1. 基础设施
2. 部署配置
3. 初始化
4. 命令行
一、基础设施
包括操作系统、环境、网络、必须软件等
《操作系统》
1. 设置ip及主机名
vi /etc/sysconfig/network-scripts/ifcfg-eth0 -》设置ip
其中IPADDR地址的设置依据:vm编辑->虚拟网络编辑器->NAT模式的地址
vi /etc/sysconfig/network -> 设置主机名
2. 关闭防火墙&selinux
servise iptables stop ->当前关闭防火墙
chkconfig iptables off -》开机关闭防火墙
vi /etc/selinux/config ->关闭selinux 将selinux = disabled
3.设置host映射
vi /etc/hosts
4. 时间同步
安装一个服务
yum installntp -y
配置
vi /etc/ntp.conf ->修改 server ntp1.aliyun.com
启动
service ntpd start
开机运行设置
chkconfig ntpd on
5. 安装jdk
《安装jdk》
<1. 将后缀为.rpm的jdk压缩包从本地上传到虚拟机目录中
<2. 安装 rpm -i 压缩包名
<3. cd /usr/java 移动到java安装目录下查看是否目录之间建立了软连接 default -> latests -> jdk
注意:之所以检查是由于,可能在以后安装的软件,他只能通过default文件路径来找到java(笨)
用非.rpm压缩包安装,可能需要手动建立这种软连接。所以在这里推荐.rpm
<4. 配置环境变量
vi etc/profile 追加以下内容
export JAVA_HOME=/usr/java/defaullt
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
注意!修改配置文件后,一定要重新source一下,不然配置文件无法生效!!!!!!!
6. 设置ssh免密设置
ssh localhost -> 1. 验证是否免密 2. 自动生成/usr/.ssh目录
ssh-keygen -t dsa -P '' -f root/.ssh/id_dsa ->生成本机的ssh公钥和秘钥
含义是 用dsa算法在root/.ssh/id_dsa目录下生成密码为空的公钥和私钥
cat root/.ssh/id_sa.pub >> root/.ssh/authorized_keys -> 将本机的公钥追加到本机的authorized_keys文件中。如果是想让另一台机器免密ssh登录本机,只需要将本机的ssh公钥追加到另一台机器的authorized_keys文件中即可!
注意:>>是追加的含义
Hadoop配置
1. 规划路径
mkdir /opt/bigdata
tar xf hadoop-2.6.5.tar.gz
mv hadoop-2.6.5 /opt/bigdata
配置环境变量
vi /etc/profile
追加:export HADOOP_HOME=/opt/bigdata/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HEDOOP_HOME/sbin