hadoop1.2.1测试环境搭建

Hadoop测试环境搭建

使用虚拟机建立3个Linux虚拟机：

Node01:

         Ip:192.168.159.130

         Username/passwd:root/123456

Node02:

Ip: 192.168.159.131

         Username/passwd: root/123456

Node03:

Ip：192.168.159.132

         Username/passwd:root/123456

集群需要使用ssh无秘钥的方式登录？

答：参考http://www.linuxidc.com/Linux/2014-01/95917.htm

克隆的主机不能ping通第一个主机？

1）  五种网络连接方式

桥接模式

NAT模式

仅主机模式

自定义

LAN区段

克隆的虚拟机不能联网？

1、删除/etc/udev/rules.d/70-persistent-net.rules文件

然后重启。

2、使用桥接模式联网。建议

修改主机名

http://blog.csdn.net/prepared/article/details/72834680

怎么配置jdk、怎么配置ssh无密码登录、怎么安装hadoop？

http://www.linuxidc.com/Linux/2013-05/85007p3.htm

三种方式：

单节点方式配置

伪分布式配置

 

下载：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

mv hadoop-1.2.1.tar.gz /opt

tar –zxvf hadoop-1.2.1.tar.gz

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_131

export JRE_HOME=$JAVA_HOME/jre

export HADOOP_HOME=/opt/hadoop-1.2.1

exportCLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/bin:$CLASSPATH

exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

使之生效：

Source /etc/profile

<!--core-site.xml -->

<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

<!--hdfs-site.xml -->

<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>

 

 

<!--Mapred-site.xmlà

<property>

       <name>mapred.job.tracker</name>

<value>imooc:9001</value>

</property>

 

hadoop移动到node02、node03

scp -r /opt/hadoop-1.2.1/  root@node02:/opt/hadoop-1.2.1/
scp -r /opt/hadoop-1.2.1/  root@node03:/opt/hadoop-1.2.1/ 

jdk移动到node02、node03

scp -r /usr/java/jdk1.8.0_131  root@node02: /usr/java/jdk1.8.0_131

scp -r /usr/java/jdk1.8.0_131  root@node03: /usr/java/jdk1.8.0_131

测试：

http://blog.csdn.net/lsxy117/article/details/47359209

上传文件：hadoop fs -put /home/zhongsb/test1.txt /in

参考：

http://blog.csdn.net/lsxy117/article/details/47359209

http://www.linuxidc.com/Linux/2013-05/85007p3.htm

http://www.linuxidc.com/Linux/2014-01/95917.htm

http://blog.csdn.net/prepared/article/details/72834680