HDFS 安装单机 (Linux)

最新推荐文章于 2024-09-11 06:00:00 发布

mermir

最新推荐文章于 2024-09-11 06:00:00 发布

阅读量598

点赞数 1

分类专栏：环境配置文章标签： centos linux hadoop

本文链接：https://blog.csdn.net/mermir/article/details/120174983

版权

这篇博客详细介绍了如何在Linux CentOS环境下安装HDFS，包括JDK的安装、Hadoop的下载与解压、配置JAVA_HOME和HADOOP_HOME、core-site和hdfs-site的配置，以及启动和访问HDFS Web界面的步骤。在安装过程中可能会遇到权限问题，通过设置SSH密钥和清理数据目录可以解决。

摘要由CSDN通过智能技术生成

1. JDK 安装

HDFS 的安装依赖于 JDK，若未安装请参考：

JDK Java 8 安装 (Linux通用) 超简洁_mermir的博客-CSDN博客

2. Hadoop 下载

官网下载地址：Apache Hadoop

网盘地址：

链接：https://pan.baidu.com/s/1BzTt4ja1NeJ0-h5GrGS9eQ MC3E

解压完成，使用 xftp 上传到服务器。

3. 解压 Hadoop 安装包

tar -zxvf hadoop-3.2.2.tar.gz

4. Hadoop 配置 JAVA_HOME

# 查看 JAVA_HOME
echo $JAVA_HOME

编辑 hadoop-env.sh

# 进入hadoop目录
cd hadoop-3.2.2/

# 编辑hadoop-env.sh
vim etc/hadoop/hadoop-env.sh

添加内容：
export JAVA_HOME=/root/jdk1.8.0_301

5. 配置 HADOOP_HOME

配置目的：在

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

mermir

关注关注

1
点赞
踩
5

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

linux环境不使用hadoop安装单机版spark的方法

01-20

关于spark的详细介绍, 网上一大堆，搜搜便是，下面，我们来说单机版的spark的安装和简要使用。 0. 安装jdk, 由于我的机器上之前已经有了jdk, 所以这一步我可以省掉。 jdk已经是很俗气的老生常谈了, 不多说, 用...

在liunx7.6中安装Hadoop3.1.3

qq_53639645的博客

04-12

1546

1、首先使用tar解压所下载的Hadoop文件，并指定解压所在的位置。 tar -zxvf /usr/local/software/hadoop-3.1.3.tar.gz -C /usr/local 2、切换到/usr/local/目录，将解压好的文件重命名为 hadoop。 mv hadoop-3.1.3 hadoop 3、配置在路径/usr/local/hadoop/etc/hadoop/ 中的文件，伪分布式需要配置文件 core-site.xml 和 hdfs-site.xml。 co.

3 条评论您还未登录，请先登录后发表或查看评论

Linux系统下小白安装HDFS（Hadoop分布式文件系统）教程

qq_28245087的博客

05-21

1270

本教程将帮助您在Linux操作系统上安装HDFS。HDFS（Hadoop分布式文件系统）是Apache Hadoop生态系统的核心组件之一。

Hadoop-HDFS安装及分布式集群搭建详解

最新发布

m0_70691645的博客

09-11

1481

本文介绍了如何在Linux环境下安装Hadoop HDFS，并进行了简单的单节点和多节点分布式集群搭建。通过配置Hadoop的核心文件、格式化NameNode、启动HDFS集群，我们可以顺利搭建一个高可用、高容错的HDFS分布式文件系统。HDFS是Hadoop生态系统的基石，熟练掌握其安装及配置是大数据处理的基础。

hadoop hdfs 单机模式安装

最初的梦想的博客

07-16

1983

hadoop hdfs 单机部署；java api hdfs

Linux安装Hadoop的详细过程

weixin_63522596的博客

03-18

1042

Linux安装Hadoop的详细过程；Hadoop的下载与解压缩；修改Hadoop配置文件;退出vim界面的命令；集群启动命令;关闭集群。

1.hadoop单机版安装和指令记录

m0_37189934的博客

08-01

129

记录自己在学习、安装、启动hadoop过程中遇到的一些问题

Linux单机环境下HDFS伪分布式集群安装操作步骤v1.0.pdf

05-06

1. 文档目的和参考文档：文档的目的是为开发者提供Linux单机环境下Hadoop HDFS伪分布式集群的安装步骤，包括集群配置和基本操作。文档中还提到了相关参考链接，例如《Hadoop: Setting up a Single Node Cluster》，...

hadoop单机版安装教程

05-07

在单机版（Standalone）安装模式下，Hadoop主要用于学习和测试环境，不涉及分布式集群，所有服务都在一台机器上运行。下面将详细介绍Hadoop单机版的安装步骤及相关知识点。 1. **系统要求** 在开始安装前，确保你...

haddop在linux上的安装

11-16

Hadoop 在 Linux 上的安装 Hadoop 是一个基于 Java 的分布式计算平台，它提供了一个可靠的数据存储和处理解决方案。在 Linux 环境下安装 Hadoop 需要进行一些前置准备和配置，以下是 Hadoop 在 Linux 上的安装步骤...

hadoop 单机安装配置教程

09-05

在单机环境下安装Hadoop主要是为了进行程序的逻辑调试，而不是实际的分布式运算。以下是一个详细的Hadoop单机安装配置教程。 1. **环境准备**：在开始安装前，确保你的系统已经安装了Java开发环境（JDK），因为...

hadoop单机版安装

幻神舞的专栏

11-08

1563

hadoop单机版安装

安装启动单机HDFS

qq_37436172的博客

05-05

275

前提，需要确保有java8的环境，并安装java并且配置环境变量然后执行source /etc/profile重载配置文件。

在Linux系统中安装Hadoop(简易版)

weixin_59839473的博客

10-09

6603

Hadoop安装(简易版)，适合刚入门大数据的朋友，简单好上手，轻松安装Hadoop。

Hadoop安装部署-单机版

wys的专栏

03-21

1136

Hadoop安装部署-单机版

Linux环境下HDFS安装

xiaohu21的博客

08-15

3132

Linux环境下Hadoop集群安装 1.安装环境 VMWare15.x centos7.x hadoop 3.2.1 2.第一台虚拟机基础配置 2.1 先安装好一台linux虚拟机，并且设置好宿主windows的ip地址，VMWare中虚拟交换机的地址（宿主windows和虚拟交换机的ip地址必须同一网段，并且宿主windows的网关ip需要设置为虚拟交换机的ip地址）。 2.2设置好这台虚拟linux的配置，包括主机名（/etc/hosname）、ip地址/网关/子网掩码/DNS1等信息（/et

Linux下hdfs客户端安装,hadoop hdfs 命令行客户端（shell）常用使用命令

weixin_39575737的博客

05-15

1345

hadoop hdfs 命令行客户端(shell)常用使用命令通过前文对HDFS的介绍，我们知道hadoop hdfs是一个文件系统，既然是文件系统，就有类似window、linux文件系统一样，hdfs提供了一些常用的shell命令来操作文件系统上的文件与目录。hadoop hdfs shell命令是在安装目录使用dfs+具体命令的语法来操作文件或目录的。具体语法如下：./hdfs-dfs+...

Linux常用的dfs命令

山海

06-14

2909

启动hdfs start-dfs.sh 创建目录 hdfs dfs -mkdir -p /user/root 上传文件 hdfs dfs -D dfs.blocksize=1048576 -put 从指定路径读取文件上传到指定路径 hdfs dfs -put /user/root/aa.txt /test/input 删除文件 hdfs dfs -rm /user/root/aa.txt ...