闪现!Hadoop安装伪分布模式-centos7
如果有帮助到你,可以关注一下,不定时会更新博客~,谢谢!
Hadoop的伪分布模式
1、特点:具备Hadoop的所有功能,在单机上模拟一个分布式的环境
hadoop伪分布下主要组成
(1)HDFS:主:NameNode,数据节点:DataNode
(2)MapReduce:并行运算
(3)Yarn:容器,运行MapReduce程序
主节点:ResourceManager
从节点:NodeManager
伪分布模式的安装步骤
1)安装java环境
java -version
2)上传hadoop2.7.3,并且解压
tar-zxvfhadoop-2.7.3.tar.gz
3)配置hadoop
一:配置hadoop环境变量
所有hadoop相关的配置文件都在etc目录下
1)修改hadoop-env.sh 文件的java环境,将java安装路径加进去:
export JAVA_HOME=/usr/jdk/jdk1.8.0_11
2)配置环境变量
vi /etc/profile
加上以下内容
#hadoop enviroment
export HADOOP_HOME=/usr/bigdata/hadoop2.7.3/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin
立刻生效
source /etc/profile
二:配置HDFS,修改hdfs-site.xml
<configuration>
<!--配置是否检查权限-->
<property>
<name>dfs.permissions</name>
<value>false