HDFS伪分布式单节点版搭建过程总结

最新推荐文章于 2024-07-28 20:13:01 发布
最新推荐文章于 2024-07-28 20:13:01 发布
阅读量508 收藏
点赞数
分类专栏： 大数据平台Hadoop生态系统 hadoop大数据平台学习总结 文章标签： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cowboysobusy/article/details/82891721
版权

1.推荐下载hadoop的cdh版本，这里我下载的是hadoop-2.6.0-cdh5.7.0版本的
下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
Linux用tar -zxvf命令解压到你指定的位置即可
２．安装JDK，配置Java环境这里就不说了，Hadoop需要Jvm,必须跑在java环境上
３．安装ssh
sudo apt-get install ssh
ssh-keygen -t rsa
后面直接回车，免密
最后cp .ssh/id_rsa.pub ~/.ssh/authorized_keys
在这里插入图片描述
测试是否连接成功
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
４&

最低0.47元/天 解锁文章
29DCH
关注
专栏目录
大数据笔记（三）：HDFS集群搭建-伪分布式模式
Lansonli（蓝深李）的博客
04-24 3792
HDFS集群搭建-伪分布式模式
HDFS伪分布式环境搭建
qdwd888的博客
04-27 287
非常巨大的分布式文件系统 运行在普通廉价的硬件上 易扩展、为用户提供性能不错的文件存储服务 [](()[HDFS官方文档地址](() [](()2 HDFS架构 ====================================================================== HDFS是主/从式的架构。一个HDFS集群会有一个NameNode（简称NN），也就是命名节点，该节点作为主服务器存在（master server）. NameNode用于管理文件系统的命..
伪分布式集群搭建指南
最新发布
qq_51610110的博客
07-28 2142
在构建分布式计算环境的学术研究与实践中，伪分布式集群的搭建被视为一种重要的技术手段。该技术通过模拟分布式系统的核心功能，允许研究人员和开发者在单一物理服务器上模拟多个节点的运行环境，从而在资源有限的情况下，对分布式算法和系统进行测试和验证。本文将详细介绍伪分布式集群的构建过程，包括系统架构设计、关键技术选型、网络配置、资源管理策略以及故障恢复机制等，旨在为读者提供一个全面而深入的搭建指南。
HADOOP的伪分布搭建
01-05 884
1.hadoop的伪分布安装 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig 1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status 1.3 关闭防火墙的自动运行 执行命令 chkconfig iptables off 验证: chkconfig -
HDFS环境搭建（单节点配置）
weixin_30278237的博客
12-28 149
【参考文章】：hadoop集群搭建（hdfs） 1. Hadoop下载 　　官网下载地址： 　　https://hadoop.apache.org/releases.html，进入官网根据自己需要下载具体的安装包 　　清华大学安装包的镜像文件下载地址： 　　https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3...
2.2 HDFS伪分布式集群搭建
m0_63734915的博客
04-19 688
任务目的 了解 Hadoop 集群的组成和规划 重点掌握 HDFS 集群的相关配置 掌握格式化文件系统的命令 学会启动和关闭 HDFS 集群的两种方式 能够使用 jps 命令查看进程的启动情况 能够通过 UI 查看 HDFS 集群的运行状态 任务清单 任务1：Hadoop 集群简介 任务2：安装包准备 任务3：HDFS 集群主要配置文件讲解 任务4：配置 Hadoop 系统环境变量 任务5：HDFS 集群测试 任务步骤 任务1：集群简介 　　Hadoop 集..
HDFS伪分布式模式和完全分布式的搭建
ljy_1997的博客
10-10 268
HDFS三种模式的搭建 伪分布式 (1) 配置免密登录 node01->node01 ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01 (2) 配置JDK export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151 export PATH=$PATH:$JAVA_HOME/...
HDFS单节点伪分布式环境搭建
qq_41609775的博客
09-05 143
官方安装文档地址如下： http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist/hadoop-common/SingleCluster.html 环境描述： CentOS7.3 安装CentOS虚拟机可参考https://blog.csdn.net/babyxue/article/detai...
HDFS安装模式之伪分布式集群
qianfeng_dashuju的博客
06-30 262
1 伪分布式模式介绍 1.特点 - 在一台机器上安装，使用的是分布式思想，即分布式文件系统，非本地文件系统。 - Hdfs涉及到的相关守护进程(namenode,datanode,secondarynamenode)都运行在一台机器上， 都是独立的java进程。 2. 用途 比Standalone mode 多了代码调试功能，允许检查内存使用情况，HDFS输入输出，以及其他的守 护进程交互。 2 平台软件说明 - 操作系统: win10/
五篇博文讲透大数据伪分布式环境搭建——HDFS伪分布式集群搭建
06-08 1490
2.2 HDFS 伪分布式集群搭建 目的 了解 Hadoop 集群的组成和规划 重点掌握 HDFS 集群的相关配置 掌握格式化文件系统的命令 学会启动和关闭 HDFS 集群的两种方式 能够使用 jps 命令查看进程的启动情况 能够通过 UI 查看 HDFS 集群的运行状态 配置清单 任务 1：Hadoop 集群简介 任务 2：安装包准备 任务 3：HDFS 集群主要配置文件讲解 任务 4：配置 Hadoop 系统环境变量 任务 5：HDFS 集群测试 1：集群简介 Hadoop 集群具体来说包含两个
Hadoop单节点伪分布式配置
Yuriel媛的Blog
08-06 939
问题导读 进行配置前，需要安装JDK，创建dhu用户，配置Hadoop环境变量 了解YARN框架和MR的区别 解答Hadoop或者Datanode无法正常启动 安装sshsudo apt-get install ssh 配置可以免密码登陆本机ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authori
单节点HDFS文件系统的安装部署，附一些问题解决方案
爱辰
07-03 416
环境准备： Linux 服务器一台（可以使用虚拟机）：需要 JDK 运行环境。 安装步骤： Hadoop 下载 下载地址： http://archive.apache.org/dist/hadoop/core/ http://mirror.bit.edu.cn/apache/hadoop/common/ # 北京信息学院镜像源 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz # 官方
二、hdfs单节点安装
weixin_33974433的博客
11-07 134
一、准备环境 在配置hdfs之前，我们需要先安装好hadoop的配置，本文主要讲述hdfs单节点的安装配置。 hadoop的单节点安装配置请参考：https://www.cnblogs.com/lay2017/p/9912381.html 二、安装hdfs 配置文件 hadoop安装准备好之后，我们需要对其中的两个文件进行配置 1、core-site.xml 这里配置了一个hdfs...
hdfs伪分布式 部署
阿顾的博客
07-28 457
1.广义和狭义 广义：以apache hadoop软件为主的生态圈，例如hive,sqoop,spark,flink等等 狭义：就是apache hadoop软件 hadoop版本： 目前主流为2.x，但是官方已经有3.x，但是目前用的很少，因为一些版本兼容问题，比方说hadoop是一个团队开发的，其他兼容的软件例如spark是另外团队开发的，要进行同步兼容的 目前主流都是通过cdh搭建，公司主页...
HDFS部分：伪分布式的搭建
wyqwilliam的博客
08-20 243
伪分布式 1.安装JDK 2.设置免秘钥 3.配置Hadoop 一。安装JDK 上传，解压，安装 pwd得到路径： 去/etc/profile文件下配置环境变量 完成以后：source  /etc/profile   二。设置免秘钥： 设置免秘钥：去root目录下：   得到ssh文件     产生自己的密钥和公钥     将自己的密钥发送给自己 ...
搭建hdfs伪分布式模式
冰水的博客
01-25 652
1.在上一篇单机模式的基础上配置xml 修改core-site.xml， vi etc/hadoop/core-site.xml             fs.defaultFS         hdfs://localhost:9000     修改hdfs-site.xml， vi etc/hadoop/hdfs-site.xml  
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值