hadoop离线 day06 Hadoop安装方法：单机版、伪分布式、完全分布式

最新推荐文章于 2024-07-04 10:04:36 发布
最新推荐文章于 2024-07-04 10:04:36 发布
阅读量99 收藏
点赞数
分类专栏： hadoop离线 文章标签： hadoop 分布式 大数据 hdfs linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39210914/article/details/110483309
版权

Hadoop安装方法：单机版、伪分布式、完全分布式

Apache hadoop三种架构的介绍（standAlone，伪分布式，分布式环境介绍以及安装）

一）standAlone 单机版
1、下载安装包

tar -xzvf hadoop-2.7.5.tar.gz -C /export/servers/

2、修改配置文件

hadoop-2.7.5/lib/native：本地库，里面包括C程序和一些压缩的支持
bin/hadoop checknative 检测hadoop的本地库，是否支持
默认的Apache的版本的压缩方式，snappy不支持。snappy是谷歌提供的一种压缩算法。如果压缩的太厉害了，解压的时候小号CPU较大。
cd /etc/hadoop

1）修改core-site.xml:

核心配置文件，主要定义了我们集群是分布式还是本地运行

<configuration>

    <property>
    
          <name>fs.default.name</name>          //配置NN节点地址和端口号
          // hdfs://表示我们使用分布式的文件系统的实现，决定了我们的namenode在哪一台机器上 
          <value>hdfs://192.168.116.100:8020</value> //注意格式必须是host:port的形式
    
    </property>
    
    
    <property>
    
          <name>hadoop.tmp.dir</name>          //hadoop临时目录用来存放nn临时文件
    
          <value>/export/servers/hadoop-2.7.5/hadoopDatas/tempData</value>     //该目录必须预先手工创建不能删除
    
    </property>
</configuration>
2）修改hdfs-site.xml

分布式文件系统的核心

 <configuration>
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.7.4/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.7.4/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>


  <!--50070这个端口定义的是我们通过浏览器来访问我们的好歹是的端口 -->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
 
 <!-- 定义了我们元数据的fsimage的存储路径，fsimage就是我们 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2</value>
	</property>
 
 
 
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/nn/edits</value>
	</property>
	

	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits</value>
	</property>

	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>

	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>

<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>
3） 修改hadoop-env.sh

修改JDK的home路径
export JAVA_HOME=/export/servers/jdk1.8.0_141

4）修改maprd-site.xml

定义了我们关于MapReduce的参数

<configuration>
  <!-- 指定我们MapReduce运行的框架是yarn -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

  <!-- MapReduce的小任务模式开启 -->
	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
 
  <!-- 定义了jobhistory的通信地址，jobhistory是我们查看历史完成的信息 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>


  <!-- 浏览器界面查看的地址 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>

修改maprd-site.sh
修改javahome可以不修改

5） 修改yarn-site.xml

定义yarn集群

<configuration>
  <!--定义了resourceManager所在的机器 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
 
 
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
 <!--开启日志的聚集功能，可以让我们在19888jobhistory的 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>


	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>
6）修改slaves

定义了我们从节点是哪些机器，datanode，nodemanager

3、启动集群
 mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas
 mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas
 mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2
 mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas
 mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2
 mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
 mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name
 mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

hdfs格式化

bin/hdfs namenode -format
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

node01:/50070: 查看hsfd集群
在这里插入图片描述

node01:/8088：yarn集群
在这里插入图片描述

node01:/19888：历史任务集群
在这里插入图片描述

二）伪分布式

主节点在一台机器上，从节点分开到其他机器上。借助三台机器实现
停止单节点集群，删除/export/servers/hadoop-2.7.5/hadoopDatas文件夹
第一台机器执行以下命令

cd /export/servers/hadoop-2.7.5/
sbin/stop-dfs.sh
sbin/stop-yarn.sh
sbin/mr-jobhistory-daemon.sh stop historyserver

删除hadoopDatas文件夹然后重新建

rm -rf hadoopDatas/

重新创建文件夹

 mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas
 mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas
 mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2
 mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas
 mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2
 mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
 mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name
 mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

修改slave文件，然后将安装包发送到其他机器，重新启动集群即可
第一台机器执行：

cd etc/hadoop/
vim slaves
#添加多个node节点
#node01
#node02
#node03

scp -r hadoop-2.7.5/ node02:/export/servers/
scp -r hadoop-2.7.5/ node03:/export/servers/

启动：第一台机器执行

bin/hdfs namenode -format
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

成功！！！

三）完全分布式

主节点全部分散到不同的机器，一个namenode active占用一台机器， namenodestandby 占用一台机器，resource manager active占用一台，resource standby占用一台机器

停止之前的hadoop集群的所有服务 kill，并删除所有机器的hadoop安装包，然后重新解压hadoop压缩包。
第一台机器

tar -xzvf hadoop-2.7.5.tar.gz -C /export/servers/

修改6个配置文件

把第一台机器改好的发往node02和node03

三台机器新建文件夹和文件

 mkdir -p /export/servers/hadoop-2.7.5/data/dfs/nn/name
 mkdir -p /export/servers/hadoop-2.7.5/data/dfs/nn/edits
 mkdir -p /export/servers/hadoop-2.7.5/data/dfs/nn/name
 mkdir -p /export/servers/hadoop-2.7.5/data/dfs/nn/edits

修改第二台机器的yarn-site.xml
vim yarn-site.xml

启动集群

bin/hdfs namenode -formatZK
sbin/hadoop-daemons.sh start journalnode
bin/hdfs namenode -format
bin/hdfs namenode -initializeSharedEdits -force
sbin/start-dfs.sh

第二台

bin/hdfs namenode -bootstrapStandby
sbin/hadoop-daemons.sh start namenode
sbin/start-yarn.sh

第三台

sbin/start-yarn.sh

有

weixin_39210914
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Hadoop离线基础总结】HDFS详细介绍
01-07
HDFS详细介绍 分布式文件系统设计思路 概述 只有一台机器时的文件查找：hello.txt /export/servers/hello.txt 如果有多台机器时的文件查找：hello.txt node02 /export/servers/hello.txt   为了解决数据丢失的问题，引入副本机制，保证数据不会丢失   如果对文件进行切块存储，那么元数据信息又要继续变化   blk元数据信息的记录    blk_00001 node01 node03 /export/servers/blk_00001    blk_00002 node02 node01 /export/servers/b
hadoop组件的安装（单机）
qq_61476788的博客
12-25 598
hadoop单机安装
hadoop cdh离线安装
weixin_46157243的博客
01-07 268
标题@TOC 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带...
Hadoop单机安装部署
Thomas__li的博客
01-23 595
一、准备工作：   1、下载安装JDK  在线安装：执行命令$sudo apt-get install jdk  离线安装： 下载jdk-7u75-linux-x64.tar.gz，下载路径: http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 把离线包拷入到ubuntu
WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.
weixin_38763887的博客
01-25 1万+
这个问题可能是我第一个遇到吧，hadoop启动时WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.错误。 解决方案，在$ vim sbin/start-dfs.sh $ vim sbin/stop-dfs.s
Hadoop-2.8.0-Day06-Zookeeper详解-课件与资料.zip
04-30
《Hadoop-2.8.0-Day06-Zookeeper详解》是针对大数据处理框架Hadoop中的关键组件Zookeeper的一次深入解析。这个压缩包包含了相关的课件与资料，旨在帮助学习者全面理解Zookeeper在Hadoop生态系统中的角色、功能以及...
Hadoop日记Day20---ZooKeeper系列（三）
02-26
前面虽然配置了集群模式的Zookeeper，但是为了方面学建议在伪分布式模式的Zookeeper学习Zookeeper的shell命令。Zookeeper支持某些特定的四字命令字母与其的交互。他们大多数是查询命令，用来获取Zookeeper服务的当前...
Hadoop日记Day20---ZooKeeper系列（四）
03-03
配置服务是分布式应用所需要的基本服务之一，它使集群中的机器可以共享配置信息中那些公共的部分。简单地说，ZooKeeper可以作为一个具有高可用性的配置存储器，允许分布式应用的参与者检索和更新配置文件。使用...
HDFS 单机搭建
王腾飞的博客
07-26 4970
HDFS 单机搭建标签 ： Java hadoop hdfs安装 请点击下载hadoop-2.6.4 解压到 /home/hdfs/hadoop useradd hdfs // 创建hdfs用户 passwd hdfs // 设置hdfs用户的登陆密码 su hdfs // 切换到hdfs用户登陆 cd ~ // 进入hdfs的家目录 rz // 上传windows本地的文件到此家目录 tar -
大数据离线-HDFS（上）入门操作
weixin_42229056的博客
09-12 472
本次介绍HDFS,分为上，中，下，三篇 上篇入HDFS门介绍，常用操作 中篇为HDFS的读写原理介绍 下篇为HDFS的测试Demo，常用API 1. HDFS的基本概念 HDFS的介绍 HDFS 是 Hadoop Distribute File System 的简称， 意为： Hadoop 分布式文件系统。 是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。 分...
Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS、YARN、MR)安装
weixin_30687051的博客
02-04 132
虽然我已经装了个Cloudera的CDH集群(教程详见：http://www.cnblogs.com/pojishou/p/6267616.html)，但实在太吃内存了，而且给定的组件版本是不可选的，如果只是为了研究研究技术，而且是单机，内存较小的情况下，还是建议安装Apache的原生的集群拿来玩，生产上自然是Cloudera的集群，除非有十分强大的运维。 我这次配了3台虚拟机节点。各给了4G，...
一：hadoop3.1.3离线安装
csdn_gyb的博客
10-12 440
环境初始化 前提准备 192.168.100.29 hadoop01 192.168.100.28 hadoop02 192.168.100.27 hadoop03 192.168.100.26 hadoop04 修改ip和主机名 #修改ip vi /etc/sysconfig/network-scripts/ifcfg-ens192 IPADDR=“192.168.100.151” #重启网卡服务 systemctl restart network #修改主机名(新增的服务器) hostnamectl s
hadoop离线day06--Hadoop MapReduce、HDFS高阶
weixin_54527017的博客
05-31 509
hadoop离线day06--Hadoop MapReduce、HDFS高阶 今日内容大纲 #1.MapReduce 数据压缩 自定义分组 分组在reduce阶段 前后key比较 相同的在一组 一组去调用一次reduce方法 join问题 多个数据之间关联操作 map端join 分布式缓存 reduce端join CombineTextInputFormat 处理小文件的类 ...
CDH5 Hadoop集群完全离线安装步骤总结
热门推荐
it_taojingzhan的博客
05-30 1万+
https://www.zybuluo.com/sasaki/note/242142 版本控制 @Title CDH5 Hadoop集群完全离线安装步骤总结 @Version v1.0 @Timestamp 2015-12-14 14:25 @Author Nicholas @Mail
基于Hadoop平台的电信客服数据的处理与分析④项目实现：任务17：数据分析
qq_60872637的博客
07-03 1021
JDBCUtil类：用于创建MySQL的JDBC连接、关闭连接。//定义JDBC连接器实例化所需要的固定参数/*** 实例化JDBC连接器对象*/try {/*** 释放连接器资源*/try {= null &&!= null &&!= null &&!JDBCInstance类：用于以单例模式获取MySQL的JDBC连接对象。
Hadoop-11-MapReduce JOIN 操作的Java实现 Driver Mapper Reducer具体实现逻辑 模拟SQL进行联表操作
最新发布
永远好奇，无限进步！
07-04 977
上一节我们实现了MapReduce的WordCount，本节我们实现 MapReduceJOIN连表，对比SQL实现。这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。
基于Hadoop平台的电信客服数据的处理与分析①项目准备阶段---项目需求描述
qq_60872637的博客
07-02 662
国内移动互联网进入快速发展阶段，但随着互联网公司介入及基于应用商店模式的终端厂商的快速加入，电信运营商出现数据业务收入增速放缓的困境，面临被管道化的威胁。同时随着移动互联网应用的普及化,电信运营商存储的数据规模从GB级迈向TB级甚至PB级。在商业竞争中,通过数据分析辅助经营已成为有效的手段，但传统的数据分析架构已经不能适应这种海量数据处理和快速、深度挖掘的需求。Hadoop这种大数据处理框架为解决上述问题提供了一种新的思路，在此背景下本系统的设计与实现作为某省电信大数据平台建设项目的预研。
基于Hadoop平台的电信客服数据的处理与分析④项目实现：任务18： 数据展示
qq_60872637的博客
07-03 847
接下来我们需要将根据业务需求将某人按照不同维度查询出来的结果，展示到Web页面上。
基于Hadoop平台的电信客服数据的处理与分析③项目开发：搭建Flume大数据开发环境---任务14：Flume安装部署
qq_60872637的博客
07-03 299
任务内容为安装和配置Flume，并测试收集流式数据。
habse安装和实践的简要操作
11-01
HBase有三种运行模式：单机模式、伪分布式模式、分布式模式。单机模式在单台计算机上安装和使用HBase，不涉及数据的分布式存储；伪分布式模式模拟一个小的集群；分布式模式使用多台计算机实现物理意义上的分布式存储...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值