1.宿主机( windows)与客户机(安装在虚拟机中的Linux)的网络连接方式
1.1 host-only 宿主机与客户机单独组网
好处:网络隔离
缺点:虚拟机与其他服务器之间不能通信
1.2 bridge 客户机与宿主机在同一个局域网内
好处:在同一个局域网内,可以相互访问
缺点:不安全
2. Hadoop的伪分布式安装
【使用root用户登陆,不是sudo 到root用户】
2.1 设置静态ip
在centos桌面右上角的图标上,右键修改
执行命令 service network restart 重启网卡
验证:执行命令 ifconfig
2.2 修改主机名
<1> 修改当前会话中的主机名,执行命令:hostname Hadoop
<2> 修改配置文件中的主机名,执行命令:vi /etc/sysconfig/network
验证:重启机器
2.3 把主机名和ip绑定起来
执行命令 vi /etc/hosts,增加一行,内容如:192.168.1.100 hadoop(主机名)
保存退出
验证:ping Hadoop
2.4 关闭防火墙
执行命令:service iptables stop
验证:service iptables status
2.5 关闭防火墙的自动运行
执行命令:chkconfig iptables off
验证:chkconfig --list | grep iptables
2.6 SSH(secure shell)
<1> 执行命令 ssh-keygen -t rsa 产生秘钥,位于~/.ssh文件夹中
<2> 执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys中
验证:ssh localhost
2.7 安装JDK
<1> 执行命令 rm -rf /usr/local/* 将local目录下的东西删除
<2> 使用工具winscp将jdk文件从windows中复制到usr/local目录下
<3> 执行命令 chmod u+x jdk-5.....(你的jdk版本) 赋予执行权限
<4>执行命令 ./jdk-5.....(你的jdk版本) 进行解压缩操作
<5>执行命令 mv jdk-5... jdk 重命名
<6>执行命令 vi/etc/profile 设置环境变量,增加了两行内容:
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
保存退出(wq)
执行命令 source /etc/profile 让该设置立即生效
验证:java -version
2.8 安装Hadoop
<1> 执行命令 tar -zxvf hadoop-1.2.1.tar.gz 进行解压缩
<2> 执行命令 mv hadoop-1.2.1.tar.gz hadoop 重命名
<3>执行命令 vi/etc/profile 设置环境变量,增加了1行内容:
export HADOOP_HOME=/usr/local/hadoop
修改了一行内容:
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
保存退出
执行命令 source /etc/profile 让设置立即生效
<4>修改hadoop的配置文件,位于$HADOOP_HOME/conf目录下的:
修改4个配置文件分别为:hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml
具体修改内容如下:
【hadoop-env.sh】的修改第9行内容如下
export JAVA_HOME=/usr/local/jdk
【core-site.xml】的修改内容如下:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</comfiguration>
【hdfs-site.xml】的修改内容如下:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
【mapred-site.xml】的修改内容如下:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop0:9001</value>//修改为你自己的主机名
</property>
</configuration>
<5> 执行命令 hadoop namenode -format对hadoop进行格式化
<6> 执行命令 start-all.sh启动
验证:(1) 执行命令jsp,发现5个java进程,分别是NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker.
(2) 通过浏览器 http://hadoop:50070和http://hadoop:50030查看(在Linux的浏览器查看)
***********可以修改windows的c:\windows\system32\host文件
2.9 NameNode进程没有启动成功?
(1) 没有格式化
(2) 配置文件只拷贝,不修改
(3) hostname和ip没有绑定
(4) SSH的免密码登录没有配置成功
3.0 多次格式化hadoop也是错误的?
方法:删除/usr/local/hadoop/tmp文件夹,重新进行格式化