大数据行业部署实战1：Hadoop伪分布式部署

已于 2022-05-25 15:52:23 修改
阅读量3.5k 收藏 22
点赞数 1
分类专栏： # 环境配置与调试 # 实践 # 海量数据处理（hadoop、spark） 文章标签： hadoop 分布式 linux 大数据 apache
于 2020-12-22 10:27:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wtyuong/article/details/111506183
版权

实验一、Hadoop伪分布式部署

一、Hadoop 介绍

Apache Hadoop 软件库是一个框架，允许在集群服务器上使用简单的编程模型对大数据集进行分布式处理。Hadoop 被设计成能够从单台服务器扩展到数以千计的服务器，每台服务器都有本地的计算和存储资源。Hadoop 的高可用性并不依赖硬件，其代码库自身就能在应用层侦测并处理硬件故障，因此能基于服务器集群提供高可用性的服务。

1. Hadoop 生态系统

主要包含以下几部分：

  • HDFS——Hadoop 生态圈的基本组成部分是 Hadoop 分布式文件系统（HDFS）。
    HDFS是一种分布式文件系统，数据被保存在计算机集群上，HDFS 为 HBase 等工具提供了基础。

  • MapReduce——Hadoop的主要执行框架是 MapReduce，它是一个分布式、并行处理的编程模型，MapReduce 把任务分为map(映射)阶段和 reduce(化简)。由于 MapReduce 工作原理的特性，Hadoop能以并行的方式访问数据，从而实现快速访问数据。

  • Hbase——HBase是一个建立在 HDFS 之上，面向列的 NoSQL 数据库，用于快速读/写大量数据，HBase 使用Zookeeper 进行管理。

  • Zookeeper——用于 Hadoop 的分布式协调服务。Hadoop 的许多组件依赖于 Zookeeper，它运行在计算机集群中，用于管理Hadoop集群。

  • Pig——它是MapReduce编程的复杂性的抽象。Pig平台包括运行环境和用于分析Hadoop数据集的脚本语言(Pig Latin)，其编译器将Pig Latin翻译成MapReduce程序序列。

  • Hive——Hive类似于SQL高级语言，用于运行存储在Hadoop上的查询语句，Hive让不熟悉MapReduce开发人员也能编写数据查询语句，然后这些语句被翻译为Hadoop上面的MapReduce任务。像Pig一样，Hive作为一个抽象层工具，吸引了很多熟悉SQL而不是Java编程的数据分析师。

  • Sqoop是一个连接工具，用于在关系数据库、数据仓库和Hadoop之间转移数据。Sqoop利用数据库技术描述架构，进行数据的导入/导出；利用MapReduce实现并行化运行和容错技术。

  • Flume提供了分布式、可靠、高效的服务，用于收集、汇总大数据，并将单台计算机的大量数据转移到HDFS。它基于一个简单而灵活的架构，并提供了数据流的流。它利用简单的可扩展的数据模型，将企业中多台计算机上的数据转移到Hadoop中。

2. Apache 版本衍化

Apache Hadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop2.0。第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x则NameNode HA等新的重大特性。第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop 1.0，是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于0.23.x，2.x增加了NameNode HA和Wire-compatibility两个重大特性。

二、Hadoop-2.7.3 伪分布安装

Hadoop安装有如下三种方式：

  • 单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途；

  • 伪分布模式：在单节点上同时启动NameNode、DataNode、JobTracker、TaskTracker、Secondary Namenode等5个进程，模拟分布式运行的各个节点；

  • 完全分布式模式：正常的Hadoop集群，由多个各司其职的节点构成

由于实验环境的限制，本节课程将讲解伪分布模式安装，并在随后的课程中以该环境为基础进行实验。以下为伪分布式环境下在Ubuntu16中配置Hadoop-2.7.3，该配置可以作为其他Linux系统和其他版本的Hadoop部署参考。

1.（配置从这开始）软硬件环境说明

节点使用Ubuntu16系统，创建了一个ubuntu用户，并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。由于该目录用于安装hadoop等组件程序，用户对ubuntu必须赋予rwx权限（一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为

ubuntu(chown –R ubuntu:ubuntu /app）。
cd /
sudo mkdir /app
sudo chown -R ubuntu:ubuntu /app

在这里插入图片描述

2. 环境搭建

虚拟机操作系统：Ubuntu 16
JDK：1.8.0_231 64位
Hadoop：2.7.3

2.1 设置hosts文件映射

1.设置IP地址与机器名的映射，设置信息如下：
配置主机名对应的IP地址（如在ubuntu用户下，需要使用sudo命令）

sudo vim /etc/hosts

设置：<IP地址> <主机名> 例如：10.2.68.12 3c79302cbf8e hadoop
在这里插入图片描述
2.使用ping命令验证设置是否成功

ping hadoop

在这里插入图片描述
(CTRL C)终止

2.2 设置操作系统环境

2.2.1 本实验环境已经安装java

java -version

在这里插入图片描述

2.2.2 SSH无密码验证配置
1.开启ssh服务

sudo /etc/init.d/ssh restart

2.生成密钥对
使用ssh-keygen –t rsa命令生成密钥对（命令行提示可以一直enter下一步）

ssh-keygen -t rsa

在这里插入图片描述

切换到~/.ssh目录下
复制到实验机cd ~/.ssh
加入授权

cat ./id_rsa.pub >> ./authorized_keys

在这里插入图片描述

3.验证ssh连接
此时ssh localhost（hadoop）时，无需输入密码就可以直接登陆

ssh hadoop

在这里插入图片描述

3. Hadoop环境搭建

3.1 在/app下创建hadoop目录

mkdir /app/hadoop

在这里插入图片描述

3.2 下载并解压hadoop安装包

cd /app/hadoop

可以从以下地址下载hadoop安装包到/app/hadoop路径下：

wget http://i9000.net:8888/sgn/LMS/hadoop/hadoop/hadoop-2.7.3.tar.gz

在这里插入图片描述

使用以下命令解压

tar –xzvf hadoop-2.7.3.tar.gz

将安装路径hadoop-2.7.3改名为hadoop

mv hadoop-2.7.3 hadoop

在这里插入图片描述

3.3 在hadoop安装目录下创建子目录

cd /app/hadoop/hadoop
mkdir tmp
mkdir hdfs
mkdir hdfs/name
mkdir hdfs/data

在这里插入图片描述

3.4设置环境变量

1.修改hadoop环境变量

sudo vim /etc/bash.bashrc

按照下图修改环境变量
在这里插入图片描述

2.使用source命令重新编译

source /etc/bash.bashrc

3.使用hadoop命令测试

hadoop version

在这里插入图片描述

3.5 配置hadoop-env.sh

cd /app/hadoop/hadoop/etc/hadoop
vim  hadoop-env.sh

修改JAVA_HOME变量的值
在这里插入图片描述

3.6 配置core-site.xml（伪分布式安装）

1.使用如下命令打开core-site.xml配置文件

vim core-site.xml

2.在配置文件中，按照如下内容进行配置

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:8020</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/app/hadoop/hadoop/tmp</value>
  </property>
</configuration>

在这里插入图片描述

3.7 配置hdfs-site.xml

1.使用如下命令打开hdfs-site.xml配置文件

vim hdfs-site.xml

2.在配置文件中，按照如下内容进行配置

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.name.dir</name>
    <value>/app/hadoop/hadoop/hdfs/name</value>
  </property>
  <property>
    <name>dfs.data.dir</name>
    <value>/app/hadoop/hadoop/hdfs/data</value>
  </property>
</configuration>

在这里插入图片描述

3.8 配置mapred-site.xml

1.使用如下命令打开mapred-site.xml配置文件

mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

2.在配置文件中，按照如下内容进行配置

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>hadoop:9001</value>
  </property>
</configuration>

在这里插入图片描述

3.9 格式化namenode

使用如下命令进行格式化namenode:

hadoop namenode -format

在这里插入图片描述

3.10 启动hadoop

cd /app/hadoop/hadoop/sbin

执行启动脚本

./start-all.sh

3.11 用jps检验各后台进程是否成功启动

使用jps命令查看，显示6个进程正确

jps

在这里插入图片描述

至此实验结束。

三、其他

编辑模式，dd删除这一行

是Yu欸
关注
专栏目录
大数据Hadoop实战篇
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-04 7444
大数据Hadoop实战，10分钟带你入门Hadoop，手把手教你搭建分布式集群系统
企业级Hadoop大数据平台实战（2）——Hadoop单机版实现和伪分布式的实现
ymeng9527的博客
08-18 307
稍后添加详细说明 1.搭建实验环境 主机信息 主机功能 server1（172.25.2.1） hadoop 真机（172.25.2.250） 测试 （1）在真机上重新创建一个快照并且导入，保证实验环境干干净净 （2）用真机连接server1 （3）从真机上给server1发送jdk和hadoop的安装包 Hadoop是Java开发的，因此需要在服务器上安装相对应的JD...
大数据框架的部署
01-13
zookeeper,kafka,storm,flume,spark的部署安装。安装之前要确认安装好了oracle jdk，如果系统自带OpenJDK，需要先卸载，可以参考cdh的安装文档 kafka和storm依赖zookeeper，所以要先安装好zookeeper并启动之后才能启动storm和kafka。 另：文档提供的配置文件只提供说明，具体可以从随付的相应的配置文件中拷贝。
Hadoop安装部署
jenmhdn
08-18 125
私塾在线《深入浅出学  Hadoop-  初级  部分》   ——  系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 第一部分：开始云计算之旅 第二部分：初识Hadoop 第三部分：Hadoop 环境安装部署 第四部分：Hadoop Shell 基本操作介绍 第五部分：Hadoop  分布式...
大数据行业部署实战2：环境大数据统计
定期分享我的发现和想法，感谢你的陪伴和支持
12-22 5792
实验二、环境大数据（必须基于实验一验证通过的环境） 实验目的 1． 学会分析环境数据文件； 2． 学会编写解析环境数据文件并进行统计的代码； 3． 学会进行递归MapReduce。 实验内容 1、 分析数据文件 2、 将数据文件上传至HDFS 3 、编写月平均气温统计程序 4 、查看月平均气温统计结果 5、 编写每日空气质量统计程序 6、 查看每日空气质量统计结果 7 、将每日空气质量统计文件进行整合 8、 编写各空气质量天数统计程序 9 、查看各空气质量天数统计结果
基于Hadoop的大数据分析实战-Hadoop部署与实践视频课程
千帆过尽仍是沧海
08-30 923
http://edu.51cto.com/course/course_id-4028.html?edu_recommend_adid=38
Hadoop大数据开发实战-PPT.rar
07-12
【Hadoop大数据开发实战-PPT】是一份详细的教学资料，主要涵盖了Hadoop在大数据处理中的应用和开发技术。Hadoop是Apache基金会的一个开源项目，它为海量数据提供了分布式存储和计算的能力，是大数据领域的基石之一。...
Hadoop大数据开发实战-教学大纲.pdf
12-23
Hadoop作为处理大数据的分布式存储和计算框架，得到了国内外大小型企业广泛的应用。Hadoop是一个可以搭建在廉价服务器上的分布式集群系统架构，它具有可用性高、容错性高和可扩展性高等优点。由于它提供了一个开放式...
大数据hadoop集群部署-最详细的部署-2.8.5.pdf
05-17
HDFS HA通常由两个NameNode组成，一个处于Active状态，另一个处于Standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。 Hadoop 2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode，这里还配置了一个Zookeeper集群，用于ZKFC故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为Active状态。 YARN的ResourceManager也存在单点故障问题，这个问题在hadoop-2.4.1得到了解决：有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调。 YARN框架下的MapReduce可以开启JobHistoryServer来记录历史任务信息，否则只能查看当前正在执行的任务信息。 Zookeeper的作用是负责HDFS中NameNode主备节点的选举，和YARN框架下ResourceManaer主备节点的选举。
day71~72-大数据之Hadoop部署2(完全分布式部署与ambari实践)
爪蛙毁一生的博客
09-04 491
大数据基础平台实施及运维 一、完全分布式部署介绍 学习目标 能够了解完全分布式部署场景 完全分部式是真正利用多台Linux主机来进行部署Hadoop，对Linux机器集群进行规划，使得Hadoop各个模块分别 部署在不同的多台机器上。 二、NameNode HA+完全分布式部署 学习目标 能够了解HA+完成分布式部署场景 能够对HA+完全分布式部署架构规划 能够对HA+完全分布式部署进行配置 预备知识 1)什么是HA？ HA的意思是High Availability高可用，指当当前工作中
大数据行业部署实战3：基于Hadoop的Web版的云盘
定期分享我的发现和想法，感谢你的陪伴和支持
12-22 7906
实验三、 基于Hadoop的Web版的云盘（必须基于实验一验证通过的环境）
大数据项目实战（完整的搭建大数据集群环境）
最新发布
qq_68383591的博客
08-24 1094
安装一台虚拟机主机名为：hadoop01的虚拟机备用VMware虚拟机安装Linux教程(超详细)_vmware安装linux虚拟机_七维大脑的博客-CSDN博客。
大数据环境部署
Sylvia_D507的博客
09-09 1050
前言 2018-09-05我终于鼓起勇气奋不顾身投入大数据门槛，total零基础，total零经验，第一天上课，稍微有些激动，现在回想当初意识到自己(❤ ω ❤)喜欢大数据的时候，就应该抓紧时机学习和沉淀，现在毕业后做着一份力不从心的工作，拿着微薄的工资，实在对不起生活啊！我怎么可以选择安逸？？？有追求就要去追啊哈哈哈哈哈……头破血流又怎样？粉身碎骨又如何？那是我的梦啊！！ 人生苦短，我选...
企业项目实战hadoop篇---hadoop安装部署（一）
qq_42003848的博客
08-15 1124
hadoop安装部署一.hadoop简介二.安装hadoop三.部署伪分布式hadoop四.部署分布式hadoop五. 部署分布式资源管理框架yarn 一.hadoop简介 HDFS是一个高度容错性的分布式文件系统，可以被广泛的部署于廉价的PC上。它以流式访问模式访问应用程序的数据，这大大提高了整个系统的数据吞吐量，因而非常适合用于具有超大数据集的应用程序中。 HDFS的架构如图所示。HDFS架构采用主从架构（master/slave）。一个典型的HDFS集群包含一个NameNode节点和多个DataNod
【大数据实验】01：Hadoop3伪分布部署
https://blog.csdn.net/m0_74834215
03-29 4032
Hadoop3环境搭建 OVERVIEWHadoop3环境搭建Hadoop3环境搭建（本地模式）实验内容实验环境实验原理实验步骤1.安装JDK82.安装Hadoop33.在Hadoop3上执行MR程序Hadoop3环境搭建（伪分布模式）实验内容实验环境实验原理实验步骤1.安装JDK82.配置SSH免密登录3.安装Hadoop4.Hadoop伪分布式配置5.格式化文件系统6.在Hadoop3集群上执行MapReduce程序 Hadoop3环境搭建（本地模式） 实验内容 在Linux中安装和配置JDK8 实
只需五步，三分钟极速部署企业级大数据平台服务
青云QingCloud
05-11 1236
著名的 O’Reilly 公司断言：「数据是下一个 ‘Intel Inside’ ，未来属于利用数据并将其转换成产品的公司和人们。」 大数据隐含的巨大社会、经济价值已经引起了越来越多企业的关注，为了让用户获得更便捷、灵活、高效的大数据解决方案，减少海量数据分析、处理、查询的延迟，青云QingCloud 基于 SparkMR 推出新一代可提供计算、存储、分析、查询一站式全方位的大数据服务 Qi...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

是Yu欸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值