安装前的准备:
1).下载安装PieTTY远程桌面连接工具
2)下载安装SCPwin工具进行文件传输
3).下载VMwareWorkStation并安装
4).下载Centos 6.4
1.hadoop的伪分布安装
1.1.使用root用户,密码是hadoop登录的。1.2.修改linux的ip地址
操作:(1)在linux桌面的右上角图标,右击,选择Edit Connections...
选择ipv4的手工方式设置ip为192.168.80.100,掩码255.255.255.0,网管是192.168.80.1
一步步保存退出。
(2)在终端执行命令service network restart
验证:执行命令ifconfig
1.3.windows下使用PieTTY进行远程连接
操作:(1)设置VMware的网络连接方式为host-only
(2)保证windows下的网络连接VMnet1启用状态,并且设置其ip地址为192.168.80.1。
验证:使用PieTTY进行远程连接
1.4.设置hostname
操作:修改文件vi /etc/sysconfig/network
把hostname改为hadoop0
保存退出。
验证:重启linux
1.5.ip与hostname绑定
操作:修改文件vi /etc/hosts,增加一行代码,如下
192.168.80.100 hadoop0
验证:ping hadoop0
1.6.关闭防火墙
操作:执行命令service iptables stop
验证: 执行命令service iptables status
1.7.关闭防火墙的自动运行
操作:执行命令chkconfig iptables off
验证:执行命令chkconfig --list|grep iptables
1.8.使用SSH进行免密码登录
操作:(1)产生密钥,执行命令ssh-keygen -t rsa,产生的密钥文件位于~/.ssh文件夹中
(2)执行命令cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证:ssh localhost
1.9.安装jdk
操作:(1)把jdk放到/usr/local目录下,然后cd /usr/local目录下
(2)赋予执行权限 chmod u+x jdk-6u24-linux-i586.bin
(3)使用./jdk-6u24-linux-i586.bin进行解压缩
(4)重命名,执行命令 mv jdk1.6.0_24 jdk
(5)设置环境变量,编辑文件vi /etc/profile,增加两行记录
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
保存退出
(6)执行命令source /etc/profile
验证:执行命令java -version
1.10.安装hadoop
操作:(1)解压缩,命令tar -zxvf hadoop-1.1.2.tar.gz
(2)重命名,命令mv hadoop-1.1.2 hadoop
(3)设置环境变量,修改vi /etc/profile
export HADOOP_HOME_WARN_SUPPRESS=1
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
保存退出
(4)执行命令source /etc/profile
(5)修改hadoop的目录$HADOOP_HOME/conf目录下的配置文件
<1>编辑文件hadoop-env.sh
修改第9行 export JAVA_HOME=/usr/local/jdk
<2>编辑文件core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
<3>编辑文件hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
<4>编辑文件mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop0:9001</value>
<description>change your own hostname</description>
</property>
</configuration>
(6)格式化文件系统,执行命令hadoop namenode -format
(7)启动,执行start-all.sh
验证:(1)执行jps,发现5个新的java进程,分别是NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker
(2)通过浏览器查看,访问http://hadoop0:50070或者http://hadoop0:50030查看
在windows上修改文件C:\Windows\System32\drivers\etc\hosts
1.11 启动hadoop是出错的常见错误
(1)command not found
(2)unknonw hostname hadoop0
2.VMWare的网络连接方式
2.1 host-only,linux与windows使用专用网络,与外网物理隔离。
2.2 bridge,linux直接接入到windows所在的网络中,linux可以与其他机器通信