hadoop安装案例（伪分布式模式）

最新推荐文章于 2022-05-07 23:30:00 发布
最新推荐文章于 2022-05-07 23:30:00 发布
阅读量174 收藏
点赞数
分类专栏： 大数据 # Hadoop 文章标签： Hadoop案例 伪分布式 Hadoop安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012131865/article/details/102630817
版权

hadoop安装案例（伪分布式模式）

hadoop集群有三种支持的模式：

  • Local (Standalone) Mode 本地（单机）模式
  • Pseudo-Distributed Mode 伪分布式模式
  • Fully-Distributed Mode 全分布式模式

官方文档：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#YARN_on_Single_Node

1.环境准备
1.1 系统初始环境：

​ 虚拟机3台，CentOS release 6.9，局域网(nat模式)，ssh免密登录，时钟同步，jdk1.8，关闭防火墙，关闭selinux

1.2 hadoop安装包

​ 重新编译后的hadoop安装包：hadoop-2.7.5.tar.gz

​ (因为官网提供安装包的缺少本地c库和snappy压缩的支持，使用jdk1.7重新编译maven打包)

1.3 集群规划
服务器IP192.168.80.100192.168.80.110192.168.80.120
主机名node01node02node03
NameNode是否否
SecondaryNameNode是否否
dataNode是是是
ResourceManager是否否
NodeManager是是是

（此处NameNode和SecondaryNameNode应该分为两台机器，本次为简化没有隔离）

2.操作步骤
2.1上传apache Hadoop包并解压到安装目录

软件包存放目录：/export/softwares/

软件安装目录：/export/servers/

node01服务器

cd /export/softwares
tar -zxvf hadoop-2.7.5.tar.gz -C ../servers/
2.2修改 core-site.xml

node01服务器

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  core-site.xml

<configuration>
    <!--  添加如下内容 -->
    <!--  指定集群的文件系统类型：分布式文件系统  -->
    <property>
        <name>fs.default.name</name>
        <value>hdfs://node01:8020</value>
    </property>
    <!--  指定临时文件存储目录  -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/export/servers/hadoop-2.7.5/hadoopDatas/tempDatas</value>
    </property>
    <!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
    </property>
    <!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
    <property>
        <name>fs.trash.interval</name>
        <value>10080</value>
    </property>
</configuration>
2.3修改 hdfs-site.xml

node01服务器

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim hdfs-site.xml

<configuration>
	 <property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>node01:50090</value>
	</property>
    <!--  指定namenode的访问地址和端口  -->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
    <!--  指定namenode元数据的存放位置  -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2</value>
	</property>	
    <!-- 指定namenode日志文件的存放目录 -->
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits</value>
	</property>
    <!--  文件切片的副本个数  -->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
    <!-- 设置HDFS的文件权限-->
	<property>
		<name>dfs.permissions</name>
		<value>true</value>
	</property>
    <!--  设置一个文件切片的大小：128M  -->
    <property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>
2.4 修改 hadoop-env.sh

node01服务器

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  hadoop-env.sh

# 修改java_home配置
export JAVA_HOME=/export/servers/jdk1.8.0_141
2.5 修改 mapred-site.xml

node01服务器

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  mapred-site.xml

<configuration>
   <property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
    </property>
    <!-- 开启MapReduce小任务模式 -->
	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
    <!-- 设置历史任务的主机和端口 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>
    <!-- 设置网页访问历史任务的主机和端口 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>
2.6 修改 yarn-site.xml

node01服务器

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  yarn-site.xml

<configuration>
    <!-- 配置yarn主节点的位置 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
    <!-- 开启日志聚合功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
    <!-- 设置聚合日志在hdfs上的保存时间 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
    <!-- 设置yarn集群的内存分配方案 -->
	<property>    
		<name>yarn.nodemanager.resource.memory-mb</name>    
		<value>20480</value>
	</property>
	<property>  
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>2048</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.1</value>
	</property>
</configuration>
2.7 修改 mapred-env.sh

node01服务器

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  mapred-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_141
2.8 修改 slaves

node01服务器

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim slaves

node01
node02
node03

node01服务器

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits
2.9 安装包的分发

node01服务器

cd  /export/servers/
scp -r hadoop-2.7.5 node02:$PWD
scp -r hadoop-2.7.5 node03:$PWD
2.10 配置hadoop的环境变量

三台服务器分别执行

vim  /etc/profile

export HADOOP_HOME=/export/servers/hadoop-2.7.5
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

执行配置生效命令

source /etc/profile
2.11 启动集群

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个模块。

注意： 
首次 启动 HDFS 时，【必须】对其进行格式化操作，否则会启动报错。 
本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。

hdfs namenode -format 或者 hadoop namenode –format
3. 准备启动

node01服务器

cd  /export/servers/hadoop-2.7.5/
bin/hdfs namenode -format
sbin/start-dfs.sh	对应的关闭是：sbin/stop-dfs.sh
sbin/start-yarn.sh	对应的关闭是：sbin/stop-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

三个端口查看界面

DT_kcm
关注
专栏目录
hadoop-2.7.4集群部署
strongerzhou的博客
09-13 532
1.软件准备hadoop-2.7.4.tar.gz jdk-8u131-linux-x64.tar.gz CentOS-6.5-x86_64-bin-DVD1.iso2.集群准备在vm安装centos6.5系统，为了方便我这边安装完成一个后，克隆两台。 三台机器的主机名和ip地址如下： 主机名 ip hadoop1 192.168.142.128 hadoop2 192.
Hadoop 3.2.0 安装---安装Hadoop
丶小剩子的博客
04-26 1万+
1.下载最新的Hadoop安装包 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 2.将安装包上传到linux服务器/usr/local/software/目录下 3.切换到该目录，解压hadoop安装包 #cd/usr/local/software/ #tar...
hadoop伪分布式模式搭建及HDFS常用命令练习
qiaobiao的博客
03-30 622
一、完成本地模式搭建 二、配置core-site.xml <!--指定HDFS namenode的地址--> <property> <name>fs.defaultFS</name> <value>hdfs://dtinone:9000</value> </property> <!--指定hadoop运行...
hadoop集群搭建
LXYuuuuu的博客
11-01 164
同步时间 设置主机名 配置ip、主机名映射 配置SSH免密登录 配置防火墙 JDK环境安装 上传hadoop安装包到/export/softwares/ tar -zxvf hadoop-2.7.4-with-centos-6.7.tar.gz -C /export/servers/ 修改配置文件 hadoop-env.sh export JAVA_HOME=/export/serv...
Hadoop2.7.4集群安装
布里啾啾迪布利多的博客
03-10 1866
Hadoop2.7.4集群安装说明Hadoop运行在Java虚拟机上，需要安装JDK，参见Linux下安装JDK8本次搭建的Hadoop集群没有HA配置。集群节点分布信息hdfs namenode node1hdfs secondary node1hdfs datanode node1hdfs datanode node2hdfs datanode node3yarn resourceManage...
三 Hadoop运行模式之本地运行模式和伪分布式模式
01-20
【标题】: Hadoop运行模式详解：本地模式与伪分布式模式 【描述】: Hadoop作为分布式计算框架，提供了多种运行模式以适应不同的场景。本文将深入探讨其中的本地运行模式和伪分布式模式，帮助读者了解这两种模式的...
Hadoop搭建之伪分布式模式
qq_45305583的博客
02-02 316
概述         这个模式与本地模式的差别就差在配置上，没有其他过多的软件。并且文件系统由原来的Linux本地EXT4改成了Hadoop特有的HDFS Hadoop分布式文件系统，计算框架也变成了MapReduce。同时在Hadoop 2.x上还有了Yarn这个资源调度的利器(1.x中没有哦，不用担心，除了大厂和国企可能会用老版本以外，其他公司基本都在用2.x；说句实话以现在的水平，大厂进不去，安心学吧小伙子)。 步骤 &n
Hadoop伪分布式安装
weixin_42594693的博客
03-21 274
一、伪分布式的安装 1、伪分布式的概念 在一台主机上模拟多个数据存储节点，每个线程都是一个独立的程序，使用的都是独立的JVM. 存储的文件系统为分布式文件系统(HDFS).作用是用于对MapReduce程序的调试。 2、准备条件： CentOS6.8/6.5,JDK1.8,Hadoop2.7.3,SSH 3、安装步骤 (1)安装CentOS6.8.（如果有现成的系统，可以进行克隆） 选择了克隆方式...
VMware上CentOS7.0+Hadoop3.1伪分布式搭建
09-18
6. **配置Hadoop伪分布式模式**：修改`/usr/local/hadoop/etc/hadoop/core-site.xml`和`hdfs-site.xml`配置文件，设置HDFS的相关参数，如命名节点和数据节点的位置。在`mapred-site.xml`中指定MapReduce框架。同时，...
hadoop集群搭建--伪分布式
MengShi_的博客
03-28 4310
前情提要。我们搭建了单节点也就是本地hadoop集群。我直接以此为基础 扩展到伪分布式集群 目录 一、hadoop伪分布式 操作系统 软件要求 三、配置详情 1.安装虚拟机和配置网络 2. 上传jdk和hadoop 安装VMware tools 设置共享文件夹 3. 安装jdk和hadoop 解压jdk和hadoop 创建软链接 4. 配置环境变量...
Hadoop集群搭建
m0_50744317的博客
05-07 1148
一、安装Hadoop Hadoop集群需要java环境支持，所以要提前安装好并配置好JDK。 Hadoop下载地址https://www. oracle. com/technetwork/java/javase/downloads/index. html。 在第一台虚拟机上（Hadoop-01）将下载完毕的Hadoop（我的是2.7.4的版本）安装包上传至Linux系统的/export/software/目录下。 进入Hadoop安装包目录将Hadoop安装包解压到/export/servers/目
解决“/home/jpy/app/hadoop-2.4.1/bin/hdfs:行206: /home/jpy/app/jdk1.8.0_221/bin/java: 权限不够”等问题的方法
jpy870965036的博客
09-28 1059
有时在Linux系统中输入一些命令会出现如下提示，导致命令无法成功执行： 解决方法如下： 输入命令：chmod +x /home/jpy/app/jdk1.8.0_221/bin/java 或者直接给bin包下所有命令全部+x权限：chmod +x /home/jpy/app/jdk1.8.0_221/bin/* 1. chmod：改变权限的方法 2. +：代表添加权限...
Hadoop安装、集群搭建
依旧的博客
10-31 3873
目录 准备工作 1、同步时间 2、 关闭selinux 3、设置主机名 4、配置ip、主机名映射关系 5、配置ssh免密登录 6、配置防火墙： 7、jdk环境安装 8、CDH 分布式环境搭建 #修改配置文件（均在/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下） #配置Hadoop的环境变量 集群启动 准备工...
Hadoop基础（大数据03）
一个人走的博客
07-23 213
Hadoop（大数据03） 文章目录Hadoop（大数据03）1. 大数据概论 1. 大数据概论 大数据是指：无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增强率和多样化的信息资产 主要解决的是：海量数据的存储和海量数据的分析计算问题。 ...
大数据Hadoop概述
赵广陆
03-14 747
目录1 Hadoop 概述1.1、 Hadoop的介绍1.1 Hadoop 是什么1.2 Hadoop 发展历史2 hadoop的历史版本和发行版公司2.1 Hadoop历史版本2.2 Hadoop三大发行版公司3 Hadoop 优势（4 高）4 大数据技术生态体系5 推荐系统框架图 1 Hadoop 概述 1.1、 Hadoop的介绍 1.1 Hadoop 是什么 1.2 Hadoop 发展历史 Hadoop发展历史 Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引
Hadoop2.0安装教程
yiyangqian1128的博客
11-13 2175
创建虚拟机： 点开VMware，在主页中点击创建新的虚拟机； 在向导中选择“自定义高级”，然后点击“下一步”； 在选择虚拟机兼容性时，直接点击“下一步”； 在安装客户机操作系统时，选择“稍后安装操作系统”，然后点击“下一步”； 然后选择“Linux”操作系统CentOS 64位，然后点击“下一步”； 在命名虚拟机中重命名虚拟机名字和安装路径，然后点击下一步； 在处理器配置和设置虚拟机内存时直接默认下一步； 在选择网络类型时，选择“NET地址转换”，然后点击下一步； I/O类型控制、磁盘类型
Hadoop：Hadoop单机伪分布式的安装和配置
热门推荐
皮皮blog
06-10 3万+
http://blog.csdn.net/pipisorry/article/details/51623195 之前是在docker中配置的hadoop单机伪分布式[Hadoop：Hadoop单机伪分布式的安装和配置 ]，并且在docker只有root用户，所有没有权限问题存在。官方安装文档[Hadoop: Setting up a Single Node Cluster] ...
大学生教材：Hadoop的安装与集群搭建(超详细讲解）（二）SecureCRT安装，SSH服务配置，JDK、Hadoop安装
weixin_48985617的博客
09-29 1841
CRT SSH JAVA
hadoop切片大小参数设置以及在java中如何实现
weixin_47350757的博客
03-05 1090
查看控制切片大小实现的文件FileInputFormat.java的位置 在FileInputFormat.java中控制切片大小的实现如下: minSize的默认值是1MB,blockSize的默认值是128MB,maxSize默认值为long型的最大值.假设设置切片大小为256MB,可以通过minSize参数设置,. 由于maxSize和blockSize取最小值,如果设置maxSize为256MB,和默认blockSize(128MB)比较取最小值为blockSize,再和默认minSize(1M
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值