1、准备linux环境
安装VMware与CentOs
1.1修改主机名
vi /etc/sysconfig/network
1.2 关闭防火墙
#查看防火墙状态:service iptables status
#关闭防火墙:service iptables stop
#查看防火墙开机启动状态:chkconfig iptables --list
#关闭防火墙开机启动:chkconfig iptables off
1.3 重启linux reboot
2、安装jdk
2.1 alt+p 打开sftp窗口,put <jdk路径>
2.2 解压jdk到app文件夹
#创建文件夹:mkdir/home/hadoop/app
#解压:tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app
2.3 将java添加到环境变量中
vi /etc/profile
#在文件末尾添加配置:
export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置:source/etc/profile
3、安装hadoop2.4.1
3.1#上传hadoop的安装包到服务器上
3.2#解压
3.3#修改etc下配置文件
①修改hadoop-env.sh
#27行
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
②修改core-site.xml
<configuration>
<!--指定HADOOP所使用的文件系统schema(URI),HDFS的NameNode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://weekend110:9000</value>
</property>
<!--指定hadoop运行时产生文件的存储目录>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/data/</value>
</property>
</configuration>
③修改hdfs-site.xml
<configuration>
<!--指定HDFS副本的数量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
④修改mapred-site.xml
#修改文件名 mv mapred-site.xml.template mapred-site.xml
<configuration>
<!--指定mr运行在yarn上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
⑤修改yarn-site.xml
<configuration>
<!-- 指定yarn的ResourceManager的地址 -->
<property>
<name>yarn.resoucemanager.hostname</name>
<value>weekend110</value>
</property>
<!--指定reducer获取数据的方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
3.4将hadoop添加到环境变量中
vi /etc/profile
export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#刷新配置:source /etc/profile
3.5 格式化namenode(对namenode进行初始化)
hdfs namenode -format(hadoop namenode -format)
3.6 启动hadoop
先启动HDFS:sbin/start-dfs.sh
再启动yarn:sbin/start-yarn.sh
3.7 验证是否启动成功:jps查看当前进程
HDFS管理界面:http://192.168.1.100:50070
MR管理界面:http://192.168.1.100:8088
4、配置ssh免登陆(为了启动伪分布式集群不用密码)
将自己的公钥加入自己的授权列表
#进入ssh目录
cd .ssh
#新增权限文件
touch authorized_keys
#更改权限文件的读写权限
chmod 600 authorized_keys
#将公钥追加到权限文件后
cat id_rsa.pub >> authorized_keys