Hadoop伪分布式安装步骤
目录
1.编辑network文件:vim /etc/sysconfig/network
3.让network文件重新生效:source /etc/sysconfig/network
1.生成自己的公钥和私钥,生成的公私钥将自动存放在/root/.ssh目录下:ssh-keygen
八.解压安装包tar -xvf hadoop-2.7.1_64bit.tar.gz
1.编辑hadoop-env.sh:vim hadoop-env.sh
1. cat /etc/profile 查看所有的配置文件路径
3.修改HADOOP_CONF_DIR的路径,修改为具体的路径,
1.编辑core-site.xml:vim core-site.xml
1.将mapred-site.xml.template复制为mapred-site.xml
十六.编辑profile文件:vim /etc/profile
4.格式化namenode:hadoop namenode -format
一.永久关闭防火墙
已经关闭,忽略
二.配置主机名
需要注意的是Hadoop的集群中的主机名不能有_。如果存在_会导致Hadoop集群无法找到这群主机,从而无法启动!
1.编辑network文件:vim /etc/sysconfig/network
2.将HOSTNAME属性改为指定的主机名,
3.让network文件重新生效:source /etc/sysconfig/network
三.配置hosts文件,将主机名和ip地址进行映射
1.编辑hosts文件:vim /etc/hosts
2.将主机名和ip地址对应,
四.配置ssh进行免密互通
1.生成自己的公钥和私钥,生成的公私钥将自动存放在/root/.ssh目录下:ssh-keygen
2.把生成的公钥拷贝到远程机器上,
格式为:ssh-copy-id [user]@host,例如:ssh-copy-id root@hadoop01
五.重启Linux让主机名的修改生效:reboot
六.安装JDK
七.上传或者下载Hadoop安装包到Linux中
八.解压安装包tar -xvf hadoop-2.7.1_64bit.tar.gz
九.adoop的安装目录的子目录etc/hadoop
配置Hadoop:cd hadoop2.7.1/etc/hadoop
十.配置hadoop-env.sh
1.编辑hadoop-env.sh:vim hadoop-env.sh
2.修改JAVA_HOME的路径,修改成具体的路径。
1. cat /etc/profile 查看所有的配置文件路径
//home/presoftware/jdk1.8
例如:export JAVA_HOME=/home/software/jdk1.8
3.修改HADOOP_CONF_DIR的路径,修改为具体的路径,
例如:export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop
4.保存退出文件
:wq
5.重新加载生效:
source hadoop-env.sh
十一.配置 core-site.xml
1.编辑core-site.xml:vim core-site.xml
2.添加如下内容:
<property>
<!-- 指定HDFS中的主节点 - namenode -->
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<!-- 执行Hadoop运行时的数据存放目录 -->
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-2.7.1/tmp</value>
</property>
3.保存退出
十二.配置 hdfs-site.xml
1.编辑hdfs-site.xml:
vim hdfs-site.xml
2.添加如下配置:
<property>
<!-- 设置HDFS中的复本数量 -->
<!-- 在伪分布式下,值设置为1 -->
<name>dfs.replication</name>
<value>1</value>
</property>
3.保存退出
十三.配置 mapred-site.xml
1.将mapred-site.xml.template复制为mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
2.编辑mapred-site.xml
vim mapred-site.xml
3.添加如下配置:
<property>
<!-- 指定将MapReduce在Yarn上运行 -->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
4.保存退出
十四.配置 yarn-site.xml
1.编辑yarn-site.xml
vim yarn-site.xml
2.添加如下内容:
<!-- 指定Yarn的主节点 - resourcemanager -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<!-- NodeManager的数据获取方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
3.保存退出
十五.配置slaves
1.编辑slaves:vim slaves
2.添加从节点信息,
例如:liuyong
3.保存退出
4.配置hadoop的环境变量
十六.编辑profile文件:vim /etc/profile
1.添加Hadoop的环境变量,例如:
在最后一行添加
export HADOOP_HOME=/home/software/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
2.保存退出
3.重新生效:source /etc/profile
4.格式化namenode:hadoop namenode -format
第一次配置需要初始化
5.启动hadoop:start-all.sh
配置最好手敲,复制遇坑,后果自负