伪分布式的环境准备
1.配置网络环境[NAT]
#ifconfig 查看IP地址
#vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改IP信息
2.配置主机名
#vi /etc/sysconfig/network
3.主机名和IP之间的映射
#vi /etc/hosts
192.168.17.100 java14.com java14
注意:需要在本地windows系统的hosts文件中配置域名访问映射
在C:\Windows\System32\drivers\etc\hosts文件中配置即可
192.168.17.100 java14.com java14
4.安装jdk
1、解压缩jdk
tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/
2、设置环境变量
#vi /etc/profile
####JAVA_HOME
JAVA_HOME=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile ##立即生效
5.关闭防火墙
service iptables stop
HDFS伪分布式安装
1、解压缩文件
tar -zxvf hadoop-2.5.0.tar.gz -C /opt/modules/
2、hdfs文件系统的配置
推荐:采用Notepad配置linux系统中的文件
2.1 修改core-site.xml文件中的内容
##hdfs文件系统的访问入口地址
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://java14.ibeifeng.com:8020</value>
</property>
</configuration>
2.2 在hdfs-site.xml文件中设置hdfs文件系统的文件的备份个数
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
2.3 设置Hadoop运行环境的jdk
在hadoop-env.sh文件中修改成如下内容:
export JAVA_HOME=/opt/modules/jdk1.7.0_67
3、运行
3.1 格式化
[jerry@java14 hadoop-2.5.0]$ ./bin/hdfs namenode -format
3.2 启动对应进程角色
namenode:
[jerry@java14 hadoop-2.5.0]$ ./sbin/hadoop-daemon.sh start namenode
datanode
[jerry@java14 hadoop-2.5.0]$ ./sbin/hadoop-daemon.sh start datanode
secondarynamenode
[jerry@java14 hadoop-2.5.0]$ ./sbin/hadoop-daemon.sh start secondarynamenode
4、访问hdfs文件系统
http://java14.ibeifeng.com:50070/
5、使用hdfs文件系统
将/opt/softwares/hadoop-2.5.0.tar.gz 中的文件上传到HDFS文件系统的/hadoop-2.5.0.tar.gz中
[jerry@java14 hadoop-2.5.0]$ ./bin/hdfs dfs -put /opt/softwares/hadoop-2.5.0.tar.gz /hadoop-2.5.0.tar.gz
搭建Yarn平台
1、etc/hadoop/mapred-site.xml:
##mapreduce程序运行在yarn之上
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2、etc/hadoop/yarn-site.xml:
##mapreduce中间执行的shuffle过程
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
3、设置jdk的环境
**mapred-env.sh中设置
export JAVA_HOME=/opt/modules/jdk1.7.0_67
**yarn-env.sh中设置
export JAVA_HOME=/opt/modules/jdk1.7.0_67
4、启动运行
ResouceManager
[jerry@java14 hadoop-2.5.0]$ ./sbin/yarn-daemon.sh start resourcemanager
NodeManager
[jerry@java14 hadoop-2.5.0]$ ./sbin/yarn-daemon.sh start nodemanager
注:
1.配置日志聚合
在yarn-site.xml文件中添加如下内容:
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
2.设置HDFS文件系统中文件的存储目录
在core-site.xml文件中添加如下属性:
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0/data</value>
</property>