Linux下安装Hadoop(完全分布模式)

<p>&nbsp;&nbsp;&nbsp;&nbsp;本文需要参考我已有的《Linux下安装Hadoop(伪分布模式)》</p> <p>JDK每台机器都要配的。</p> <p> 1. 准备, 3台机器，主机名: master, slave1, slave2, ip地址: 192.168.10.11, 192.168.10.12, 192.168.10.13<br/> 配置 /etc/sysconfig/network 修改主机名<br/> 修改 /etc/sysconfig/network-scripts/ifcfg-eth0, 配置ip<br/> <br/> 主机master作为hadoop分布式文件系统HDFS的namenode节点和MapReduce运行过程中的Job Tracker结点，称之为主结点<br/> 其它两台机器 (slave1, slave2)作为HDFS的Data Node以及MapReduce运行过程中的Task Tracker结点，称为从结点<br/> <br/> 2. 配置 hosts<br/> vi /etc/hosts<br/> 192.168.10.11 master<br/> 192.168.10.12 slave1<br/> 192.168.10.13 slave2<br/> <br/> 3. 创建 hadoop 用户和 hadoop 组<br/>

groupadd hadoop<br/> useradd -g hadoop hadoop<br/> passwd hadoop<br/> <br/> 4. 设置master到任意节点的无密码登录<br/>

ssh-keygen<br/> cd .ssh/<br/> mv id_rsa.pub id_rsa_hadoop.pub<br/> touch authorized_keys<br/> cat id_rsa_hadoop.pub >> authorized_keys<br/> ssh master<br/> <br/> 在slave1和slave2主机上, 依次操作cat id_rsa_master.pub >> authorized_keys, 验证从master登录是否需要输入密码, 不输入密码是正确的<br/> ssh slave1<br/> ssh slave2<br/> <br/> 提示: 注意权限<br/> authorized_keys 必须是 644<br/> chmod 644 authorized_keys<br/> .ssh 必须是 700<br/> chmod 700 .ssh<br/> <br/> 5. 下载 hadoop<br/> <br/> 6. 解压 <br/> tar -zxvf hadoop-1.0.3.tar.gz<br/> mv hadoop-1.0.3 /usr/local/hadoop<br/> <br/> 7. 修改 /etc/profile -- 1.0 版以后好像不需要了<br/> vi /etc/profile<br/> <br/> export HADOOP_HOME=/usr/local/hadoop <br/> export PATH=$PATH:$HADOOP_HOME/bin<br/> <br/> source /etc/profile<br/> <br/> 8. 配置 hadoop<br/> 配置 conf/hadoop-env.sh <br/> export JAVA_HOME=/usr/lib/jvm/jdk-1.6<br/> export HADOOP_HEAPSIZE=2000<br/> <br/> export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"<br/> <br/> 配置 core-site.xml<br/> 配置 hdfs-site.xml<br/> 配置 mapred-site.xml<br/> 配置 masters<br/> 配置 slaves<br/>

9. 安装其他节点<br/> <br/> 将 hadoop 目录拷贝到其他节点对应目录<br/> scp -r hadoop slave1:/usr/local<br/> scp -r hadoop slave2:/usr/local<br/>

<br/> 修改节点的 /etc/profile -- 1.0 版以后好像不需要了<br/> </p>

转载于:https://my.oschina.net/wxcchd/blog/139304