最全面的CentOS下hadoop的伪分布式安装

最新推荐文章于 2022-05-05 09:48:02 发布
最新推荐文章于 2022-05-05 09:48:02 发布
阅读量423 收藏 3
点赞数
分类专栏： 大数据 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_40875078/article/details/109011810
版权
本文详细介绍了在CentOS系统中如何进行Hadoop的伪分布式安装，包括安装Java环境、配置SSH免密登录、下载并解压Hadoop、配置相关配置文件以及启动HDFS和YARN模块的步骤。确保网络配置完成后，依次完成Java安装、SSH配置、Hadoop的下载、解压、配置以及启动，最后可在浏览器中查看HDFS和YARN的运行状态。
摘要由CSDN通过智能技术生成

在开始之前请先确保你已经进行了CentOS的网络配置，详情请见CentOS搭建！

一、安装java环境

在开始安装hadoop之前，要先确保机器已经安装了java环境，因为hadoop的运行依赖于java。
Java安装链接

二、配置ssh本机免密登陆

首先输入命令ssh-keygen -t rsa回车四下，来获取密匙
在这里插入图片描述
然后使用ssh-copy-id 用户名@本机主机名 or 本机IP地址来分发密匙
在这里插入图片描述

三、进行hadoop伪分布式安装

1、下载hadoop
链接: https://pan.baidu.com/s/1uXEE6rmBVUkXeTy0ipVkfg 密码: 34ao
2、解压到相关目录
使用tar -zxvf hadoop安装包 -C 指定安装目录将hadoop安装包进行解压。
3、配置相关文件
（

最低0.47元/天 解锁文章
Jagger-Q
关注
专栏目录
【linux】CentOS8 Hadoop伪分布式环境搭建（三台节点机）
weixin_45788900的博客
11-05 3644
文章目录前言一、伪分布式集群分别是什么？二、安装Hadoop三、伪分布式环境搭建四、启动Hadoop五、添加两个节点机 前言 1.本篇文章主要参考博客：点击进入，整合了伪分布的环境搭建和一些踩坑事项。2.环境搭建的节点机一共三台：pc1，pc2，pc3 ，其中pc1为管理机，三台节点机都使用用户Sillyhumans，如果你三台机器的用户名不一样，下面配置地址的时候可能要略作修改。3.关闭防火墙后操作 一、伪分布式集群分别是什么？ 简单来说就是一台机器上模拟多台机器的集成分布（假装自己有多台服务器） .
【Hadoop伪分布式安装】之配置CentOS
陌小柠的博客
05-08 1173
文章目录配置CentOS一、修改主机名二、配置hosts文件1. vi编辑/etc/hosts2.在文件末尾添加一行 配置CentOS 一、修改主机名 [eva@bogon ~]$ su #切换root模式 密码： [root@bogon eva]# hostname hadoop #将用户名改为hadoop [root@bogon eva]# su #切换用户名 [root@hadoop eva]# hostnamectl set-h
hadoop伪分布式安装教程
04-06
详细讲解hadoop伪分布式的安装步骤,让你一下学会安装自己的hadoop集群
hadoop伪分布式安装
weixin_30333885的博客
02-03 98
首先需要有一台linux的虚拟机，什么版本的都差不多 这里以redhat为例 下载hadoop（只是为了学习使用的是老版本的0.20.2） 网上有很多下载的地方 为服务器安装jdk jdk文件版本为jdk-7u45-linux-i586.rpm 可以在官网上下载各个版本的linux jdk文件 使用命令 rpm -ivh jdk-7u45-linux...
Centos一键安装hadoop伪分布式
长河的博客
05-05 1294
新建一个install.sh文件, 复制粘贴内容如下: #Hadoop install Script #Define HadoopLink='https://repo.huaweicloud.com/apache/hadoop/core/hadoop-2.9.2/hadoop-2.9.2.tar.gz' #echo -e "\033[0;31m\033[0m" 32绿 31红 34蓝 #Functions installJDK() #安装JDK { .
Hadoop 安装 centos（伪分布式单节点）
qq_32097871的博客
01-10 260
环境Hadoop-2.6.0-cdh5.7.0 centos 6.5 jdk1.7 我们将会根据官方文档来进行hadoop的安装文档地址 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist/hadoop-common/SingleCluster.html 首先 1.配置ssh ssh-k...
centos7下安装Hadoop伪分布式
m0_49683806的博客
04-26 2323
centos7下安装Hadoop伪分布式
CentOS搭建hadoop伪分布式时遇到的错误.doc
06-09
在搭建Hadoop伪分布式环境的过程中，常常会遇到与文件系统权限相关的错误，特别是在CentOS这样的Linux发行版上。本文将详细解析标题和描述中提到的两个常见问题，并提供解决方案。 问题1：启动集群时出错：`mkdir: ...
Hadoop伪分布式安装
weixin_42594693的博客
03-21 256
一、伪分布式的安装 1、伪分布式的概念 在一台主机上模拟多个数据存储节点，每个线程都是一个独立的程序，使用的都是独立的JVM. 存储的文件系统为分布式文件系统(HDFS).作用是用于对MapReduce程序的调试。 2、准备条件： CentOS6.8/6.5,JDK1.8,Hadoop2.7.3,SSH 3、安装步骤 (1)安装CentOS6.8.（如果有现成的系统，可以进行克隆） 选择了克隆方式...
Centos下搭建Hadoop伪分布式
菜鸟路上的小白
06-24 2200
什么是Hadoop？ Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用
排坑——阿里云伪分布式安装hadoop
dreamiond的博客
04-14 226
坑0 把hadoop用户分进root组 其实这个不算坑，单纯是我自己蠢 adduser hadoop sudo 坑1 配置文件 要用0.0.0.0，不能用localhost 另外这些文件是放在hadoop安装目录下的ect/hadoop下的，不是根目录下的etc <?xml version="1.0"?> <!-- core-site.xml --> <config...
CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware）
AnswerLinWJ的博客
01-16 1965
CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware） CentOS 7.4安装及Hadoop伪分布式配置CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware）准备VMware虚拟机安装CentOs 7.4虚拟机创建CentOS 7.4安装网络配置JDK配置Hadoop伪分布式安装配置core-site.xmlhdfs-site.xml 准备 VMware 版本：14.1.3 build-9474260 CentOS7:CentOS-7-x86_64-DVD-2
centos安装hadoop2.7.2伪分布式
fxsdbt520的博客
03-01 1053
centos安装hadoop2.7.2伪分布式
Hadoop3.1.0 伪分布式环境安装部署
荒野雄兵的专栏
07-01 3747
前言 刚刚开始学大数据的时候Hadoop最新版还是2.5.0，现在都已经出到3.1.0了，时间好快啊 Hadoop版本：apache-hadoop3.1.0 Linux操作系统：平时工作的时候都是CentOS6，CentOS7， 这将在archLinux系列的manjaro上部署，命令啊，步骤啊什么的都是一样的。 主要是想以后以Manjaro系统作为自己的个人电脑使用，工作得越久越发现自...
centos7环境下hadoop-2.7.3伪分布式搭建
tszxlzc的专栏
03-12 3457
centos7环境下hadoop-2.7.3伪分布式搭建1、 修改主机名称###永久生效 hostnamectl set-hostname hadoop012、下载解压将下载的hadoop-2.7.3.tar.gz解压到/usr/local目录下3、修改配置首先切换目录到/usr/local/hadoop-2.7.3/etc/hadoop下cd /usr/local/hadoop-2.7.3/etc
伪分布式Hadoop安装
JustinMJC的博客
11-02 489
保持linux联网状态。 -------------------------------------------------------- 设置操作系统环境 1.设置ip地址vim   右键主机名——》设为桥接模式   右键右上方的小电脑》edit connection->ipv4settingst   1)通过centos桌面操作     使用命令ifconfig查看ip地址 当
Centos安装单节点伪分布式Hadoop
zhangchao的博客
11-29 266
注意：尽量参考官方文档：https://hadoop.apache.org/ 1、上传压缩包到服务器并解压 2、删除解压中share中无用文档 3、配置/etc/hadoop中的文件 1、etc/hadoop/hadoop-env.sh: 修改export JAVA_HOME=/opt/java/jdk1.8/ 2、etc/hadoop/core-site.xml: &...
CentOS6.6搭建Hadoop2.5.2伪分布式环境
weixin_34224941的博客
07-07 114
2019独角兽企业重金招聘Python工程师标准>>> ...
Linux CentOS下Hadoop伪分布式安装全攻略
"LinuxCentOS下Hadoop伪分布模式安装笔记" 在本文档中，我们将深入探讨如何在Linux CentOS系统上安装Hadoop的伪分布式模式。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据。在伪分布式模式下，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值