Hadoop伪分布式的搭建：

最新推荐文章于 2024-10-08 16:34:20 发布

在秃头路上的少女

最新推荐文章于 2024-10-08 16:34:20 发布

阅读量1.2k

点赞数 3

分类专栏： hadoop伪分布式文章标签： hadoop 大数据

本文链接：https://blog.csdn.net/m0_56929473/article/details/121041412

版权

hadoop伪分布式专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1、配置主机的IP地址（修改的文件是：/etc/sysconfig/network-scripts/ifcfg-eno16777736）

#在末尾加上
IPADDR=192.168.20.20 #IP地址
NETMASK=255.255.255.0 #网关
GATEWAY=192.168.20.2 #网卡
DNS1=192.168.20.2 #DNS服务器

2、配置文件后重启网络服务后生效，并查询IP地址：

systemctl restart network # 重启服务
ip add #查看IP地址

3、修改主机名：

hostnamectl set-hostname master #master为主机名
bash  #刷新

4、配置主机的映射：（文件在：/etc/hosts）

192.168.20.20    master #ip地址   主机名

5、关闭防火墙：

#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

#查看防火墙状态
systemctl status firewalld

6、将Hadoop与jdk文件解压到指定文件夹：

hadoop与jdk文件放在/root/目录下，解压到/opt文件夹下

#解压到指定目录
tar -zxvf /root/hadoop-2.7.3.tar.gz -C /opt 
tar -zxvf /root/jdk1.8.0_144.tar.gz -C /opt

#查看
ll /opt

7、SSH无密码连接本机：

# 1、生成密钥对
ssh-keygen -t rsa

# 2、将公钥文件导出传递给本机，注意公钥文件的路径，操作是需要输入root用户的密码
ssh-copy-id -i /root/.ssh/id_rsa.pub master

# 3、检验，用ssh命令连接本机（无需密码）
ssh master

8、修改环境变量文件并验证是否配置成功（文件在/etc/profile）：

# 在文件末尾处添加
export JAVA_HOME=/opt/jdk1.8.0_144 #配置jdk环境
export HADOOP_HOME=/opt/hadoop-2.6.0 #配置hadoop环境 PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
# 保存退出


#刷新文件
source /etc/profile

# 查看hadoop与java是否生效，出现版本号，说明配置成功（若未查到命令，需要再次检查/etc/profile文件哦！！！）

hadoop version 
java -version

9、配置hadoop相关文件（文件目录：/opt/hadoop-2.7.3/etc/hadoop里）：

（1）、core-site.xml文件：（在<configuration></configuration>标签中插入）

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>  #master：主机名
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-2.6.0/tmp</value> #/opt/hadoop-2.6.0：hadoop解压缩路径
</property>

（2）、hadoop-env.sh 文件：

export JAVA_HOME=/opt/jdk1.8.0_144  #jdk解压缩路径

（3）、hdfs-site.xml文件：

	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/opt/hadoop-2.6.0/dfs/name</value>  #/opt/hadoop-2.6.0：hadoop解压路径
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/opt/hadoop-2.6.0/dfs/data</value>  #/opt/hadoop-2.6.0：hadoop解压路径
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>/opt/hadoop-2.6.0/dfs/namesecondary</value>  #/opt/hadoop-2.6.0：hadoop解压路径
	</property>
	
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>master:50090</value> #master：主机名
	</property>
	 <property>
                <name>dfs.replication</name>
                <value>3</value>
     </property>

（4）、mapred-site.xml 文件（mapred-site.xml 文件默认不不存在，先从模板复制出来）：

# 复制并改名
cp mapred-site.xml.template mapred-site.xml

#配置信息
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value> #master:主机名
</property>


<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value> #master:主机名
</property>

（5）、yarn-site.xml 文件：设置 yarn 资源管理器的主机名，设置 yarn 节点管理器辅助功能

<property>
     <name>yarn.resourcemanager.hostname</name>
     <value>master</value> #master：主机名
</property>
<property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
</property>

10、格式化：（注：格式化操作不能重复执行，如需重复执行，须将/opt/hadoop/dfs 目录下的内容清空再执行格式化）

hadoop namenode -format

11、启动hadoop，查看进程：

# 启动hadoop
start-all.sh

#jps查看进程：
jps

#有以下进程说明搭建hadoop成功
2289 NodeManager
1875 SecondaryNameNode
2724 Jps
1669 DataNode
2167 ResourceManager
1544 NameNode
#（进程号可以不同，但进程不能说少）