hadoop伪分布式集群搭建（三、hadoop伪分布式搭建）

最新推荐文章于 2023-06-18 18:00:43 发布
最新推荐文章于 2023-06-18 18:00:43 发布
阅读量698 收藏 5
点赞数
文章标签： 分布式 hadoop linux 大数据 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43452181/article/details/109183183
版权

hadoop伪分布式集群搭建（三、hadoop伪分布式搭建）

# 系列文章目录

hadoop伪分布式集群搭建（一、虚拟机安装）
hadoop伪分布式集群搭建（二、jdk，hadoop安装）
hadoop伪分布式集群搭建（三、hadoop伪分布式搭建）

==>前提

hadoop伪分布式集群搭建（一、虚拟机安装）中的操作已经完成。
hadoop伪分布式集群搭建（二、jdk，hadoop安装）中的操作已经完成。

一、修改主机名及网络ip映射（/etc/hostname、/etc/hosts）

  1. 使用ifconfig查看当前虚拟机网络ip
    在这里插入图片描述

  2. 修改主机名为Linux
    sudo vi /etc/hostname
    将文件中的内容改为所用的主机名Linux即可，

  3. 修改ip映射
    sudo vi /etc/hosts

  4. 将当前ip与主机名映射添加到其中
    192.168.64.132 Linux

二、修改hadoop配置文件，搭建伪分布式集群

先进入到/home/hadoop/softwares/hadoop/etc/hadoop目录下 (为了防止hadoop下的文件访问没有权限，可以先执行 sudo chmod -R 777 ~/softwares/hadoop），下面就修改文件就可以不用使用sudo

  1. 修改hadoop-env.sh文件
    sudo vi hadoop-env.sh
    使用:set nu命令设置行号，找到37行，在38行追加内容：
    export JAVA_HOME=/home/hadoop/softwares/jdk
  2. 修改core-site.xml文件
    sudo vi core-site.xml
    在<configuratiom></configuration>标签中添加以下内容：
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://Linux:9000</value>
		<!-- Linux为主机名，对应主机名映射ip -->
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<!-- 需要在相应位置创建目录 -->
		<value>/home/hadoop/softwares/hadoop/da/tmp</value>
	</property>
  1. 修改hdfs-site.xml文件
    sudo vi hdfs-site.xml
    在<configuratiom></configuration>标签中添加以下内容：
	<!--hdfs的备份因子，1就是只有一个备份。也就是只有一份-->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<!-- hdfs集群的名称 -->
	<property>
		<name>dfs.nameservices</name>
		<!-- hdfs集群的名称可以随意取 -->
		<value>hadoop-cluster</value>
	</property>
		<!-- 配置nameNode第二节点的位置-->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>Linux:50090</value>
		<!-- Linux为主机名  -->
	</property>
	<!-- hdfs集群web访问的地址,
	这句不配置访问的路径就是localhost:9870-->
	<!--<property>
	  <name>dfs.http.address</name>
	  <value>Linux:9870</value>
	</property>-->
	<!-- hdfs集群上 块的大小 -->
	<property>
		<name>dfs.blocksize</name>
		<value>32m</value>
	</property>
	<!-- hdfs集群的namenode(主节点) 运行过程中的中间数据存放位置 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<!-- 需要在相应位置创建目录 -->
		<value>/home/hadoop/softwares/hadoop/da/namenode</value>
	</property>
	<!-- hdfs集群的datanode(从节点) 数据存放位置 -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<!-- 需要在相应位置创建目录 -->
		<value>/home/hadoop/softwares/hadoop/da/datanode</value>
	</property>
	<property>
		<name>fs.checkpoint.dir</name>
		<!-- 需要在相应位置创建目录 -->
	    <value>/home/hadoop/softwares/hadoop/hdfs/snamenode</value>
	</property>
	<property>
		<name>dfs.name.dir</name>
		<!-- 需要在相应位置创建目录 -->
		<value>/home/hadoop/softwares/hadoop/da/namenodeData</value>
	</property>
	<property>
		<name>dfs.data.dir</name>
		<!-- 需要在相应位置创建目录 -->
		<value>/home/hadoop/softwares/hadoop/da/datanodeData</value>
	</property>
  1. 修改mapred-site.xml文件
    sudo vi mapred-site.xml
    在<configuratiom></configuration>标签中添加以下内容：
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.map.memory.mb</name>
		<value>1024</value>
		<description>每个Map任务的物理内存限制</description>
	</property>
	<property>
		<name>mapreduce.reduce.memory.mb</name>
		<value>1536</value>
		<description>每个Reduce任务的物理内存限制</description>
	</property>
	<property>
		<name>mapreduce.map.java.opts</name>
		<value>-Xmx512M</value>
	</property>
	<property>
		<name>mapreduce.reduce.java.opts</name>
		<value>-Xmx1024M</value>
	</property>
  1. 修改yarn-site.xml文件
    sudo vi yarn-site.xml
    在<configuratiom></configuration>标签中添加以下内容：
	<!-- yarn集群的 resource manager 地址，主机名 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<!-- 这个Linux是计算机名 etc中hostname可以查看到 -->
		<value>Linux</value>
	</property>
	<!-- 指定resourceManager的网页地址 -->
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<!-- Linux为主机名 -->
		<value>Linux:8088</value>
	</property>
	<property>
		<name>yarn.nodemanager.local-dirs.hostname</name>
		<value>/home/hadoop/softwares/hadoop/da/namenode</value>
	</property>
	<!-- MapReduce运行的模式是什么，混洗 -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
		<name>yarn.nodemanager.log-dirs</name>
		<!-- 需要在相应位置创建目录 -->
		<value>/home/hadoop/softwares/hadoop/da/yarn/logs</value> 
	</property>
	<property>
		<name>yarn.application.classpath</name>
		<!-- 下列内容在命令行输入hadoop classpath可以得到，复制粘贴到这即可 -->
		<value>/home/hadoop/softwares/hadoop/etc/hadoop:/home/hadoop/softwares/hadoop/share/hadoop/common/lib/*:/home/hadoop/softwares/hadoop/share/hadoop/common/*:/home/hadoop/softwares/hadoop/share/hadoop/hdfs:/home/hadoop/softwares/hadoop/share/hadoop/hdfs/lib/*:/home/hadoop/softwares/hadoop/share/hadoop/hdfs/*:/home/hadoop/softwares/hadoop/share/hadoop/mapreduce/lib/*:/home/hadoop/softwares/hadoop/share/hadoop/mapreduce/*:/home/hadoop/softwares/hadoop/share/hadoop/yarn:/home/hadoop/softwares/hadoop/share/hadoop/yarn/lib/*:/home/hadoop/softwares/hadoop/share/hadoop/yarn/*</value>
	</property>
	<!—下列内容是以虚拟机2G内存为基础配置的，防止MapReduce运行时内存不足 -->
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>
	<property>
    	<name>yarn.nodemanager.resource.memory-mb</name> 
    	<value>4096</value>
  	</property>
  	<property>
    	<name>yarn.nodemanager.resource.cpu-vcores</name> 
    	<value>1</value>
  	</property>
  	<property>
    	<name>yarn.scheduler.maximum-allocation-mb</name> 
    	<value>2048</value>
  	</property>
  	<property>
    	<name>yarn.scheduler.minimum-allocation-mb</name>
    	<value>1024</value>
  	</property>

三、启动集群(启动集群先一定要先检查IP是否改动！！！)

  1. 一般启动方式：
	hadoop-daemon.sh start namenode
	hadoop-daemon.sh start datanode
	yarn-daemon.sh start resourcemanager
	yarn-daemons.sh start nodemanager
  1. 一般关闭方式：
	hadoop-daemon.sh stop namenode
	hadoop-daemon.sh stop datanode
	yarn-daemon.sh stop resourcemanager
	yarn-daemons.sh stop nodemanager
  1. 一键启动：

  • 需要先配置ssh免密登录
    建议先登录到root用户再执行下载安装命令
    apt-get install openssh-server
    apt-get install ssh

  • 使用 ssh 用户名@主机名 进行ssh登录
    ssh briup@Linux

  • 退出登录后,执行
    ssh-keygen -t rsa
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    再次使用登录验证免密登录

  • 如果免密登录失败，执行：
    rm -r ~/.ssh

  • 回到第三步重新执行

  1. 一键启动：
    start-all.sh

  2. 一键关闭：
    stop-all.sh

四、使用jps及以下两个网页等检测集群启动情况(Linux为主机名，可以改为ip)

  1. 在虚拟机中浏览器可使用：
    http://Linux:9870
    http://Linux:8088

  2. 在自己本机上浏览器可使用：
    http://192.168.64.132:9870
    http://192.168.64.132:8088

  3. 如果集群启动正常，有如下五个进程：
    jps、namenode、datanode、resourcemanager、nodemanager
    在这里插入图片描述

  4. 使用一个简单的例子进行测试，依次执行以下命令：
    cd ~/softwares/hadoop/share/hadoop/mapreduce
    yarn jar hadoop-mapreduce-examples-3.0.3.jar pi 4 10
    得到如下结果，pi的值为3.400000000000000000
    在这里插入图片描述

#系列文章目录

hadoop伪分布式集群搭建（一、虚拟机安装）
hadoop伪分布式集群搭建（二、jdk，hadoop安装）
hadoop伪分布式集群搭建（三、hadoop伪分布式搭建）

海之心殇
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
Hadoop伪分布式 启动HDFS&YARN运行MapReduce
ccccrj博客
08-15 2151
文章目录伪分布式1 启动HDFS并运行MapReduce1.1 配置配置hadoop-env.shcore-site.xmlhdfs-site.xml1.2 启动集群传输文件格式化流程NameNode问题logs日志信息2 启动YARN运行MapReduce配置yarn-env.shyarn-site.xml配置mapred-env.shmapred-site.xml启动集群集群操作3 配置历史服务器mapred-site.xml配置日志集群配置yarn-site.xml 伪分布式 服务器配置按照完全分布式
hadoop伪分布式搭建
weixin_42632608的博客
09-29 171
第一步首先创建一个新的用户？为什么要创建一个新的用户？ 因为linux系统可以对不同的用户，赋予不同的权限，通过这种方式可以限制不同用户对linux系统的操作。 创建一个新的用户？因为权限的问题使用root用户 command：useradd username 增加用户 command:passwd username 修改用户的密码 修改本机的名字 需要修改两个配置文件 1./e...
hadoop（五） 伪分布式安装hadoop
qq_35573689的博客
05-30 557
伪分布式安装：    1  关闭防火墙和selinux      直接关闭防火墙：  systemctl stop firewalld.service             禁止firewall开机启动 ： systemctl disable firewalld.service      查看防火墙状态：firewall-cmd --state               关闭selinux v...
Hadoop伪分布式集群搭建
CSDN_bird的博客
06-12 391
首先我们要先知道我们的主机名 在linux上我们一般使用vi 来执行操作 也可以使用vim 使用vim需要下载 yum -y install vim* vim使用比较舒服一点 ，所以我一般都是使用vim 查看主机名 vim /etc/sysconfig/network hostname 就是主机名 可以自己修改 同时需要修改 /etc/hosts里的文件 vim /etc/hosts 在最下...
Hadoop伪分布式集群安装配置
野草说技术
02-16 406
计算机开发环境：腾讯云云服务器 CentOS 7.6 64位 root用户 Hadoop由JAVA开发，安装配置Hadoop之前需要安装配置JDK，可参考JDK安装配置——JAVA第一步 Hadoop下载 访问北京理工大学镜像网站下载或者键入wget命令下载 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz Hadoop解压 键入解压命令，路径自定义 tar zxf hadoop-3.2.
hadoop伪分布式环境搭建
09-22
Hadoop伪分布式环境搭建 Hadoop伪分布式环境搭建是指在单个节点上模拟分布式环境，以便于开发、测试和学习Hadoop相关技术。本文将介绍如何在Windows和Linux平台上搭建Hadoop伪分布式环境，包括下载安装Hadoop、配置...
Hadoop伪分布式集群环境搭建
10-13
Hadoop伪分布式集群环境搭建，有常见错误及解决方案。
hadoop完全分布式集群搭建
09-24
hadoop完全分布式集群搭建
linux虚拟机搭建hadoop伪分布式集群
04-26
搭建hadoop伪分布式集群的步骤，希望能帮到各位，多多
hadoop伪分布式搭建.docx
03-23
大数据hadoop平台伪分布式搭建详细步骤，基于ubtuntu系统，供初学者学习使用。... 大数据hadoop平台伪分布式搭建详细步骤，基于ubtuntu系统，供初学者学习使用。...
Hadoop3.1.3 伪分布式安装
最新发布
weixin_63682399的博客
06-18 1995
Hadoop伪分布式安装 伪分布式安装 hadoop # 前言： **Hadoop集群有三种运行模式，单机模式，伪分布模式、完全分布式模式。** 单机模式：只有一个JVM进程数，只运行在一台机器上； 伪分布模式：有多个JVM进程数，运行在同一台机器上； 完全分布式模式：多个JVM进程数，运行在三台或三台以上的机器上。
Hadoop伪分布式安装与配置
这是饭多多的博客
03-31 376
HDFS------http://niit01:50070 (注意主机名,打不开就用192.168.xxx.xxx:50070) 可以用IP可以用主机名。出现**Active: active (running)**且高亮显示则表示是启动状态。出现 **Active: inactive (dead)**灰色表示停止。（注意版本,和你安装jdk的路径，看到请删除此注释）ip为你的ip niit01为步骤5配置的主机名。这个文件事先是不存在的，需要先创建一份此文件。可以看到刚才上传好的jdk，我的版本是。
hadoop伪分布式集群搭建及配置记录
maketubu7的博客
04-23 804
如果已经走到了需要搭建hadoop伪分布式的环境了，那说明你至少做好了以下三点创建好了自己的虚拟机，ip、本机名映射、防火墙、安全子系统都已经配置好了下载jdk1.7及以上版本，并配置好了java环境下载hadoop2.7.0及以上版本，并解压到、opt/modules（自己存放hadoop的目录）目录下在配置之前，我们应该先了解hadoop的三个模块及其理念1、 HDFS模块HDFS负责大数据的...
hadoop伪分布式集群搭建（二、jdk，hadoop安装）
海之心殇的博客
10-20 1250
hadoop伪分布式集群搭建（二、jdk，hadoop安装）前提一、安装jdk，配置jdk环境变量二、安装hadoop，配置hadoop环境变量 前提 hadoop伪分布式集群搭建（一、虚拟机安装）中的操作已经完成。 在家目录下创建目录sudo mkdir /home/hadoop/softwares 一、安装jdk，配置jdk环境变量 解压jdk到指定路径 sudo tar -vxf /mnt/hgfs/share/jdk-8u91-linux-x64.tar.gz -C /home/hadoop/so
hadoop伪分布式搭建01_李孟_新浪博客
李孟的博客
10-01 244
1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only -> 修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok回到windows --...
Hadoop伪分布式集群的搭建
m0_65023985的博客
04-03 323
Hadoop伪分布式集群的搭建
安装部署 Hadoop 伪分布式集群（linux)
m0_68497327的博客
09-01 962
安装部署 Hadoop 伪分布式集群
hadoop伪分布模式搭建(详细步骤）
热门推荐
m0_61232019的博客
12-22 1万+
一、前期准备 1. 关闭防火墙 2. 安装好JDK 3. 准备hadoop安装包 二、安装hadoop伪分布模式 1. 在home/hadoop/software/路径下创建hadooptmp目录 2. 解压hadoop-3.3.0.tar.gz 3. 进入hadoop-3.3.0/etc/hadoop 4. 编辑hadoop运行是的环境 5. 配置NameNode所在的主机或者通讯地址及NameNode格式化后的目录的路径 6. 配置DataNode的数据块冗余度
Hadoop伪分布式部署及常用操作
liweihope的博客
12-03 1570
hadoop伪分布式部署 之前有做过hadoop 2.x的部署，现在再做一下hadoop 3.x的部署。 hadoop有三个组件：hdfs用来存储数据，mapreduce 用来计算(作业) ，yarn用来资源(cpu memory)和作业调度 。 其实hadoop官方网站都有部署的步骤： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 下面根据官网这个来进行伪分布式部署
Hadoop伪分布搭建 大数据 入门 学习
03-09
在Hadoop集群环境中，有三种常见的模式：单机模式、伪分布式模式和完全分布式模式。单机模式主要用于开发调试，不涉及多进程；伪分布式模式则在单台机器上模拟了所有节点，适用于初学者快速理解Hadoop的工作原理；而...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值