hadoop环境准备

1.宿主机(windows)与客户机（安装在虚拟机中的linux）网络连接
1.1 host-only 宿主机与客户机单独组网。
好处：网络隔离
坏处：虚拟机与其他服务器之间不能通信。
1.2 bridge  客户机与宿主机在同一个局域网中。
好处：都在同一个局域网，可以互相访问。
坏处：不安全
-----------------------------------------------------------------
2.hadoop的为分布安装步骤
【使用root用户登录】
2.1 设置静态ip
在centos桌面的右上角的图标上，右键修改。
重启网卡，执行命令service network restart
验证：执行命令ifconfig
2.2 修改主机名
<1>修改当前回话中的主机名，执行命令hostname hadoop
<2>修改配置文件中的主机名，执行命令vi /etc/sysconfig/network
验证：重启机器
2.3 把hostname和ip绑定
执行命令vi /etc/hosts,增加一行内容如下
192.168.5.88
保存退出。
验证：ping hadoop
2.4 关闭防火墙
执行命令 service iptables stop
验证:service iptables status
2.5 关闭防火墙的自动运行
执行命令 chkconfig iptabels off
验证: chkfongi --list | grep iptables
2.6 SSH(secure shell)
<1>执行命令 ssh-keygen -t rsa 产生密钥，位于~/.ssh文件夹中
<2>执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证: ssh localhost
2.7 安装JDK
<1>执行命令rm -rf /usr/local/*　删除所有内容
<2>使用winscp把jdk文件从windows复制到/usr/local目录下
<3>执行命令 chmod u+x jdk-6u24-linux-i586.bin赋予执行权限
<4>执行命令 ./jdk-6u24-linux-i586.bin 解压缩
<5>执行命令 mv jdk1.6.0_24 jdk 重命名
<6>执行命令 vi /etc/profile 设置环境变量,增加了2行内容
export JAVA_HOME=/usr/local/jdk
export PATH=.:JAVA_HOME/bin:$PATH
保存退出
执行命令 source /etc/profile 让该设置立即生效
验证：java -version
2.8 安装hadoop
<1>执行命令 tar -zxvf hadopp-1.1.2.tar.gz 进行解压缩
<2>执行命令 mv hadoop-1.1.2 hadoop 重命名
<3>设置环境变量 vi /etc/profile 设置环境变量，增加了1行内容
export HADOOP_HOME=/usr/local/hadoop
修改了一行内容
export PATH=.:$HADOOP_HOME/bin:JAVA_HOME/bin:$PATH
执行命令 source /etc/profile 让该设置立即生效
<4>修改hadoop的配置文件，位于$HADOOP_HOME/conf目录下
修改4个配置文件，分别是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
具体内容见PPT
【hadoop-env.sh的修改第9行，内容如下】
export JAVA_HOME=/usr/local/jdk
【core-site.xml的修改内容如下】
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>  
</configuration>
【hdfs-site.xml的修改内容如下】
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
【mapred-site.xml的修改内容如下】
<confi guration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
<description>change your own hostname</description>
</property>
</configuration>
<5>执行命令 hadoop namenode -format 对hadoop进行格式化
<6>执行命令 start-all.sh 启动
验证：(1)执行命令jps，发现5个java进程，分别是NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker
 (2)通过浏览器 http://hadoop:50070 和 http://hadoop:50030
******可以修改windows的C:\Windows\System32\drivers\etc\hosts文件
2.9 NameNode进程没有启动成功？
(1)没有格式化
(2)配置文件只copy，不修改
(3)hostname与ip没有绑定
(4)SSH的免密码登陆没有配置成功
3.0 多次格式化hadoop也是错误的？
方法：删除/usr/local/hadoop/tmp文件夹，重新格式化