Hadoop环境架设(伪分布式)
- Jdk(建议使用JDK 1.8.11)
- Tar hadoop.tar.gz
step1:解压
1、tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz
2、mv hadoop-2.6.0-cdh5.14.2 soft/hadoop260
step2:修改5个配置文件
1、进入hadoop-evn.sh配置文件,配置JAVA_HOME地址
2、进入core-site.xml,配置默认文件系统
fs.defaultFS = hdfs://192.168.56.116:9000 默认文件系统(本地默认 file:/位置)此处端口与HBASE端口设成一样
3、配置hdfs-site.xml,dfs.replication = 1 (副本个数,最少3个伪分布只写1个)
4、复制一份mapred-site.xml.template 命名为mapred-site.xml,然后修改配置文件
mapreduce.framewok.name=yarn (设置映射化简模型框架为yarn)
5、yarn-site.xml
yarn.resourcemanager.localhost=localhost(yarn站点名称)
yarn.nodemanager.aux-service=mapreduce_shuffle(辅助节点管理)
step3:配置全局配置文件
vi /etc/profile
export HADOOP_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
step4:激活该全局配置文件
source /etc/profile
step5:格式化namenode
hadoop namenode -format
step6:启动
start-all.sh
step7:查看是否安装成功
打开浏览器,输入网址http://192.168.56.116:50070,如果出现下图,则证明安装成功
搞定!!!