hadoop环境搭建

Hadoop环境搭建

一、安装虚拟机：VMware Workstation 9

二、新建虚拟机，安装CentOS 6.8 64-bit系统，用户信息全部设置为“hadoop”（包括密码，用户名等等），网络信息选择NAT

三、修改主机名，vim /etc/sysconfig/network，HOSTNAME=master

四、修改hosts文件，vim /etc/hosts，192.168.1.101 master，换行，输入：192.168.1.102 slave（为之后节点做准备）

五、配置静态IP地址，打开网络共享中心，修改VMnet8的IPv4地址，IP：192.168.1.1 子网掩码：255.255.255.0默认网关：192.168.1.2，打开VMware，选择Edit，打开Visual Network Edit，将VMnet8的Subnet IP修改为：192.168.1.0 子网掩码：255.255.255.0，打开NAT settings，其默认网关应与网络共享中心VMnet8所手动设置的网关一致，为：192.168.1.2，来到Linux桌面，右键左上方的小电脑，Edit Connections，来到IPv4 Settings，选择Manual，IP：192.168.1.101 子网掩码：255.255.255.0 默认网关：192.168.1.2 DNS服务器：8.8.8.8，打开Linux命令行，输入：service network restart，重启网络，完成

六、安装jdk，打开SecureCRT，登录192.168.1.101，按alt+p，来到sftp窗口，将jdk拖放到sftp界面，完成拷贝，建立文件夹：mkdir -p /home/hadoop/app，运行tar -zxvf jdk-8u73-linux-x64.tar.gz -C /home/hadoop/app，安装完jdk，配置环境变量，vim /etc/profile，在最后起一行，export JAVA_HOME=/home/hadoop/app/jdk1.8.0_73，export PATH=$PATH:$JAVA_HOME/bin，保存，source /etc/profile，验证jdk是否安装成功，java -version

七、安装hadoop，将安装包上传到Linux系统，执行tar -zxvf hadoop-2.6.1.tar.gz -C /home/hadoop，配置环境变量，vim /etc/profile，末尾追加：export HADOOP_HOME=/home/hadoop/hadoop-2.6.1，修改PATH变量，追加为export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin，保存，source /etc/profile，来到hadoop的etc目录，cd /home/hadoop/hadoop-2.6.1/etc/hadoop，vim hadoop-env.sh，在第二十七行追加环境变量，export JAVA_HOME=/home/hadoop/app/jdk1.8.0_73，export HADOOP_HOME=/home/hadoop/hadoop-2.6.1，保存，格式化namenode，hadoop namenode -format，如有提示输入yes，完成格式化

八、复制虚拟机，打开VMware，右键master-->manage-->Clone，选择linked clone，取名为slave，完成虚拟机复制，启动slave，右键桌面上右上角小电脑，Edit Connections，选择eth1，修改Connection name为slave，来到IPv4，选择Manual，Address：192.168.1.102，Netmask：255.255.255.0，Gateway：192.168.1.2，DNS服务器：8.8.8.8，保存，打开命令行，输入：service network restart，vim /etc/sysconfig/network，HOSTNAME=slave，完成配置

九、设置主节点SSH免密，打开master节点-->root@master ~，输入：ssh-keygen -t rsa，遇到提示直接回车，生成两个密钥，存在于：~/.ssh目录下，ls -a可以查看，输入：scp /root/.ssh/id_rsa.pub slave:/root/，输入密码完成拷贝，切换到slave节点，输入cat /root/id_rsa.pub >authorized_keys，cd /root/.ssh，输入：chmod 600 authorized_keys，返回master节点，cat /root/.ssh/id_rsa.pub >authorized_keys，输入chmod 600 authorized_keys，完成，这样，主节点登录slave节点，主节点登录自己，都不需要密码了，从主节点启动hadoop，也不需要输入密码了。

十、启动hadoop，进入master主节点，start-all.sh，会提示start-all.sh is deprecated（过时），不必理会，直到启动完成，启动完成后，输入：jps，master节点会出现Jps，NameNode，SecondaryNameNode，ResourceManager，进入slave，输入jps，会出现，DataNode，NodeManager，Jps，到此，hadoop的环境就搭建完成啦，欢迎大家评论，反馈，只为为你们提供更好的文章。