Hadoop的伪分布式安装(存储采用HDFS)

最新推荐文章于 2021-09-16 16:08:06 发布
最新推荐文章于 2021-09-16 16:08:06 发布
阅读量310 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41709748/article/details/109043578
版权

安装hadoop的3种方式:
1、单机模式:在一台机器运行,存储采用本地文件系统,没有分布式文件系统HDFS
2、伪分布式模式:存储采用HDFS,HDFS的名称节点和数据节点在同一台机器上
3、分布式模式:存储采用HDFS,HDFS的名称节点和数据节点在不同机器上

安装的Hadoop版本是2.7.5.
安装包的名称 是:hadoop-2.7.5.tar.gz
1)解压

tar -zxvf hadoop-2.7.5.tar.gz

验证是否成功,查看hadoop的版本

/hadoop/hadoop-2.7.5/bin/hadoop version

如下图所示:
在这里插入图片描述

想了解更多内容请关注公众号:架构师plus,扫下方二维码即可添加:
在这里插入图片描述

归来少年Plus
关注
专栏目录
Hadoop技术-Hadoop伪分布式安装.pptx
11-02
Hadoop技术是当前大数据处理和存储领域中最流行的技术之一，Hadoop伪分布式安装是Hadoop技术中的一个重要组件。本文将详细介绍Hadoop伪分布式安装的步骤和配置过程。 一、Hadoop伪分布式运行模式 Hadoop伪分布式...
Hadoop伪分布模式安装
m0_67403188的博客
08-16 598
创建/data/hadoop1目录，用来存放相关安装工具，如jdk安装包jdk-7u75-linux-x64.tar.gz及hadoop安装包hadoop-2.6.0-cdh5.4.5.tar.gz。切换目录到/data/hadoop1目录，使用wget命令，下载所需的hadoop安装包jdk-7u75-linux-x64.tar.gz及hadoop-2.6.0-cdh5.4.5.tar.gz。将/data/hadoop1目录下jdk-7u75-linux-x64.tar.gz 解压缩到/apps目录下。.
Hadoop知识点（二）-Hadoop伪分布式安装
qq_38633279的博客
05-20 623
hadoop广义上称为hadoop生态圈，其中包含多个组件，狭义上称为hadoop。其中hadoop包含三个主要的组成部分。分别是：HDFS:用于数据的存储，MapReduce：用于数据的计算，yarn：用于资源和作业的分配和调度。
Hadoop大数据平台(1)--单机模式、伪分布式、完全分布式存储系统部署
但行好事
05-15 488
文章目录一、 hadoop简介二、 HDFS分布式文件存储系统单机版部署1. 下载解压相关资源包2. 准备启动hadoop集群三、伪分布式存储系统部署1. 编辑配置文件2. 做本地免密3. 启动进程4. 访问网页进行测试5. 创建存储目录6. 复制输出文件到本地文件系统四、完全分布式存储系统部署1. 开启两个新的虚拟机server2、server32. 编辑文件共享策略3. 查看同步是否生效4. 查看每个节点之间是否免密5. 编辑配置文件6. 测试7. 节点热添加 一、 hadoop简介 官方网址:http
hadoop-1单机模式和伪分布式和完全分布式存储
AwesomeWang7的博客
09-16 2357
hadoop大数据平台 hadoop属于底层的基础设施，一个生态当中的基础。hadoop起源于google的三大论文。GFS，MAPREDUCE和BIGTABLE。 hadoop名字来源是hadoop之父道卡廷儿子的毛绒玩具名。 我们所使用的是基于apache协议分发 常见的有三种，apache版本，cdh版本，hdp版本 本次就是要搭建一个hadoop框架，部署一个简单的大数据平台： hadoop的框架最核心的是hdfs和mapreduce，hdfs为海量数据提供存储。mapreduce为海量数据提供计算
hadoop 单机 伪分布式 完全分布式 区别
BloodLc的专栏
02-26 5166
单机模式（standalone）        单机模式是Hadoop的默认模式。这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，
Hadoop伪分布式安装及配置参考步骤.docx
04-22
Hadoop伪分布式安装及配置参考步骤 Hadoop是一种分布式系统基础架构，由Apache基金会开发，能够对大量数据进行分布式处理和存储。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop具有高可靠...
Hadoop伪分布式安装
02-02
【Hadoop伪分布式安装详解】 Hadoop，由Apache基金会开发，是一种分布式系统基础设施，旨在处理和存储大量数据。它的核心设计包含两个主要组件：HDFS（Hadoop Distributed File System）和MapReduce。HDFS提供了...
hadoop伪分布式配置教程.doc
07-11
2. **安装SSH**：Hadoop的伪分布式环境需要SSH服务，用于在本地不同进程中通信。Ubuntu系统通常预装了SSH客户端，我们需要安装SSH服务器。执行： ```bash sudo apt install openssh-server ``` 安装完成后，...
1_Hadoop伪分布式安装.docx
10-03
Hadoop是一个开源软件框架，用于分布式存储和处理大规模数据集。伪分布式安装是Hadoop安装的一种方式，它在一个节点上模拟分布式的运行环境，适合于开发和测试场景。本文档详细介绍了在CentOS系统上进行Hadoop伪...
hadoop分布式-----单机、伪分布式、完全分布式环境搭建
qq_44060147的博客
07-10 1152
hadoop的单机、伪分布式、完全分布式环境搭建一、 HDFS分布式文件存储系统单机版部署1.安装2.启动集群二、伪分布式存储系统部署1.编辑配置文件2. 做本地免密3. 启动进程4. 访问网页进行测试5. 创建存储目录6.复制输出文件到本地文件系统三、完全分布式存储系统部署1.开启两个新的虚拟机server2、server32.编辑文件共享策略，指定hadoop用户3. 查看同步是否生效server2server3在server1上修改hadoop相关配置文件、删除/tmp/目录下上次初始化产生的文件并重
hadoop部署（伪分布式，分布式）
qq_40419698的博客
09-04 9022
hadoop由三种模型： 1、单机模型：测试使用 2、伪分布式模型：运行于单机 3、分布式模型：real集群模型 一、伪分布式 hadoop基于java语言； hadoop-2.6 —– jdk 1.6+ hadoop-2.7 —– jdk1.7+ 1、安装hadoop并设置其所需的环境变量 解压安装包至如下目录 [root@server2 ~]# mkdir /...
[Hadoop]以伪分布式运行模式搭建集群HDFS篇
soulpainterc的博客
05-16 310
文章目录一、简单介绍二、配置集群1、配置：hadoop-env.sh2、配置：core-site.xml3、配置：hdfs-site.xml二、启动集群1、格式化NameNode1.5、思考2、启动NameNode3、启动DataNode三、查看集群1、在Linux系统上查看2、在Web端查看HDFS文件系统 一、简单介绍 伪分布式即为只有一个节点的分布式，而完全分布式有多个节点 二、配置集群 以下配置文件均在 /opt/module/hadoop-2.7.2/etc/hadoop路径下 1、配置：hado
伪分布式集群
大数据
09-26 566
配置好网卡信息之后： 1.安装网络yum源： 1）加载阿里云yum源： 命令如下： curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo 2）清空yum缓冲流 yum clean all 3）查看可用的yum源 yum repolist 2.ntp服务器的安装及其配置 ...
HDFS（名称节点与数据节点）简介
热门推荐
q739404976的博客
05-29 4万+
HDFS：分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群 这些节点分为主从节点，主节点可叫作名称节点（NameNode），从节点可叫作数据节点（DataNode） HDFS通过块的模式存储数据，默认情况下一个块是64M，把大文件拆分成多个块，可以最小化寻址开销 这样的好处是： 1.支持大规模文件存储 : 文件以块为单位进行存储，一个大规模文件可以
解决hadoop伪分布式下hdfs存储空间不足的问题
qq_27792379的博客
05-23 1万+
运行环境：虚拟机下Ubuntu15.0 问题的产生：在运行hadoop fs -put的指令时把一个大型文件从本地复制到hdfs时，运行到一半突然复制中断，报“name node is in safe mode ”的错误提示。 解决问题的思路：“name node is in safe mode”的提示意味着此时hdfs处于安全模式，只能对hdfs文件进行读操作，不能进行写操作，所以我想是否可以
spark-伪分布式搭建
shursulei的博客
07-04 512
一.环境的准备(hadoop-2.8.0/spark-2.1.0/scala-2.12.) hadoop的安装/scala的安装 二.安装配置 1.查看/etc/profile的配置export JAVA_HOME=/opt/jdk export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/
基于cloudera的hadoop分布式系统自动化安装
yangjl38的专栏
05-31 5704
1       Hadoop的安装注意事项 最近云计算在中国极为火爆，但看了云计算的那些云山雾罩的概念后，实在让人望而却步。还好不是所有的东西都摸不着头脑，Hadoop就是实实在在的技术之一。不才最近仔细品读了Hadoop的基础资料，特别是如何部署Hadoop的相关技术文档，发现其中有许多不为人注意的东西，在此整理一下。Hadoop 开发者入门专刊(pdf) 是目前比较权威的文档；有什么与
hadoop伪分布式安装启动hdfs
最新发布
09-25
以下是Hadoop HDFS（Hadoop Distributed File System）在伪分布模式下的安装和启动步骤： 1. **下载Hadoop**: 首先，从Apache官方网站下载Hadoop源码包，选择适合的操作系统版本。 2. **配置环境变量**: 创建一个`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值