hadoop安装详解（终极版）

hadoop安装详解

在Windows下输入cmd 回车


删除linux自带的jdk1.查找 rpm -qa |grep java2.删除rpm -e java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 --nodeps 删除rpm -e java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64 --nodeps

1. 解压 在/usr/local/soft/下执行的tar -zxvf jdk-8u171-linux-x64.tar.gz
   pwd:查看当前目录的全路径
   
   
   2.配置环境变量 vim /etc/profile 在最下面添加 export JAVA_HOME=/usr/local/soft/jdk1.8.0_171 export PATH=$PATH:$JAVA_HOME/bin
   
   
2. source /etc/profile
   
   重启完成后依次在虚拟机上执行下面命令：1.设置ip(上述步骤) 使用命令 重启网卡：service network restart

2.关闭防火墙的自动启动，使用命令：chkconfig iptables off

3.设置主机名与ip的映射，修改配置文件命令：vi /etc/hosts

4，关机

windows下主机名映射修改

下一步克隆：

左击—管理—克隆（克隆两台node1，和node2）一直下一步，需要注意两个地方如下图


通过克隆创建两台虚拟机 克隆是完整克隆,ip和mac都是一模一样的 IP在网络中只能有一个不能重复,所以克隆之后的会默认生成一个新的网卡 mac是一样的 主机名也是一样的克隆之后的机器需要修改三部分

1. 修改主机名vim /etc/sysconfig/network(重启后生效）
2. 
   
   
   2.修改网卡vim /etc/udev/rules.d/70-persistent-net.rules 2.1文件中有两个网卡
   
   删除第一个留第二个
   
   2.2把第二个网卡中的eth1改为eth0,复制mac地址
   3.修改网络 vim /etc/sysconfig/network-scripts/ifcfg-eth0 3.1 用复制过来的mac地址进行替换原本的mac地址
   
   3.2 修改ip地址
   
   
   4.设置ssh免密码登录（只在Master 这台主机操作） 4.1主节点执行命令ssh-keygen -t rsa 产生密钥 一直回车 执行命令
   
   
   4.2 实现主节点master本地免密码登录首先进入到/root 命令：cd /root再进入进入到 ./.ssh目录下命令：cd ./.ssh/
   
   然后将公钥写入本地执行命令：cat ./id_rsa.pub >> ./authorized_keys

配置hadoop

用xshell上传hadoop-2.6,5版本到/usr/local/soft/目录下
到/usr/local/soft下并解压
cd /usr/local/soft
tar -zvxf hadoop-2.6.5.tar.gz

修改master中hadoop的一个配置文件 slaves
cd /usr/local/soft/hadoop-2.6.5/etc/hadoop

vim slaves
删除localhoste

node1
node2

fs.defaultFS hdfs://master:9000 hadoop.tmp.dir /usr/hadoop/tmp


#vi hdfs-site.xml添加 dfs.replication 1 dfs.permissions false

cp mapred-site.xml.template mapred-site.xml #复制一份#vi mapred-site.xml添加 mapreduce.framework.name yarn

#vi yarn-site.xml添加，master改为自己的主机名或IP yarn.resourcemanager.hostname master yarn.nodemanager.aux-services mapreduce_shuffle

vim hadoop-env.sh修改JAVA_HOME为本机实际的目录

vim /etc/profile做以下修改：在JAVA_HOME下增加一行export HADOOP_HOME=/usr/local/soft/hadoop-2.6.5export PATH这行后面拼接上 :$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin

source /etc/profile

1、拷贝hadoop到其他的机器上（截图拷贝命令）将修改后的hadoop复制到另外两个节点：# cd /usr/local/soft# scp -r hadoop-2.6.5 node1:/usr/local/soft/ # scp -r hadoop-2.6.5 node2:/usr/local/soft/

1、初始化hadoop集群（截图执行命令）在主节点上执行# hadoop namenode -format

start-all.sh

jps

http://master:50070