1.安装jdk
(1)使用root登录
(2)把windows下的jdk文件拖到虚拟机的桌面
(3)打算安装到/home目录下, mv /root/Desktop/jdk-6u24-linux-i586.bin /home
(4)授予执行权限 chmod 700 jdk-6u24-linux-i586.bin
(5)解压缩 ./jdk-6u24-linux-i586.bin
(6)重命名文件夹 mv jdk-6u24 jdk (这时jdk的完整路径是/home/jdk)
(7)配置环境变量 vi /etc/profile
(8) export JAVA_HOME=/home/jdk
export PATH=.:$PATH:$JAVA_HOME/bin
保存退出vi
(9)为了让profile立即生效,source /etc/profile
(10)检验是否成功 java -version
2.修改ip、关闭防火墙
(1)setup
(2)选中firewall Configuration,关闭防火墙。使用命令service iptables status查看是否关闭了。
(3)选中network configuration,选中Device...,再选中eth0,去掉DHCP,设置static ip和netmask。
(4)重启网卡service network restart,查看ip设置是否生效ifconfig。
3.修改主机名称
(1)hostname installTest
(2)修改文件vi /etc/hosts,追加一行记录192.168.1.xxx installTest
(3)使用命令hostname查看修改是否生效
4.配置ssh
(1)cd进入当前用户主目录
(2)执行命令ssh-keygen -t rsa,不断回车即可
(3)进入文件夹 cd .ssh
(4)产生授权文件 cp id_rsa.pub authorized_keys
(5)重启sshd服务 service sshd restart
(6)访问目标主机 ssh installTest 第一次执行的时候,回答“yes”,进入目标主机,使用exit退出
(7)第二次执行ssh installTest。如果没有出现问答提示,证明配置成功。
5.安装hadoop
5.1配置环境变量
(1)tar -zxvf hadoop-1.0.4.tar.gz
(2)vi /etc/profile
(3)export HADOOP_HOME=/home/hadoop
export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
(4)source /etc/profile
5.2改配置文件hadoop-env.sh
export JAVA_HOME=/home/jdk
export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
export HADOOP_PID_DIR=/home/hadoop/pids
5.3改配置文件core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://installTest:9000</value>
</property>
5.4改配置文件hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
5.5改配置文件mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>installTest:9001</value>
</property>
6.启动hadoop
(1)格式化文件系统hadoop namenode -format
(2)启动命令start-all.sh
(3)执行jps,如果出现6行,证明启动正确。
(4)如果启动失败,查看logs日志
(5)使用浏览器查看 http://installTest:50070 htpp://installTest:50030
如果出现nameNode deprecated或则格式化时出现了hadoop deprecated则可以在/etc/profile文件的
最后加上这么一句话
export HADOOP_HOME_WARN_SUPPRESS=1
7. 验证hadoop是否启动成功
使用jps命令会出现6个进程
[root@hadoopMast ~]# jps
7708 SecondaryNameNode
7769 JobTracker
7603 DataNode
7499 NameNode
7899 TaskTracker
8201 Jps
或则使用浏览器访问
http://ip:50030
http://ip:50070
8.使用命令行管理目录和文件
创建文件夹 hadoop fs -mkdir /input
删除文件夹 hadoop fs -rmr /input
上传文件 hadoop fs -put /home/install.log /input
下载文件 hadoop fs -get /input/install.log .
查看文件 hadoop fs -cat /input/install.log
9.执行mapreduce任务
(1)计算pi值 hadoop jar xxx.jar pi 10 10
(2)单词计数 hadoop jar xxx.jar wordcount /input /output