使用ubuntu搭建hadoop伪分布全过程图解

已于 2024-04-02 19:26:48 修改
阅读量965 收藏 15
点赞数 19
分类专栏： hadoop 文章标签： ubuntu linux 运维 hadoop centos 服务器
于 2024-03-13 17:45:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61785413/article/details/136682849
版权
本文详细描述了在本地计算机上安装JavaDevelopmentKit(JDK),设置环境变量，进行免密登录，安装Hadoop并配置各个配置文件（如core-site.xml等），授权，创建目录，格式化，启动服务以及关闭防火墙，以便通过指定IP地址访问HadoopWeb界面的过程。
摘要由CSDN通过智能技术生成

目录

1. 安装jdk

2. 添加java环境变量

3. 设置免密登录

4. 安装hadoop

5. 添加hadoop环境变量

6. 修改hdoop-env.sh文件

7. 修改core-site.xml文件

8. 修改yarn-site.xml文件

9. 修改mapred-site.xml文件

10. 修改hdfs-site.xml文件

11. 进行授权

12. 创建namenode,datanode目录

13. 格式化

14. 启动服务

15. 关闭防火墙

16. 浏览器进行访问验证

本机ip地址为192.168.200.130

上传jdk，hadoop包

1. 安装jdk

2. 添加java环境变量

3. 设置免密登录

4. 安装hadoop

5. 添加hadoop环境变量

6. 修改hdoop-env.sh文件

7. 修改core-site.xml文件

8. 修改yarn-site.xml文件

9. 修改mapred-site.xml文件

10. 修改hdfs-site.xml文件

11. 进行授权

12. 创建namenode,datanode目录

13. 格式化

14. 启动服务

15. 关闭防火墙

16. 浏览器进行访问验证

ip:50070

ip:8088

SKY慕雪
关注
专栏目录
ubuntu-hadoop伪分布
NoBug
09-09 1562
【代码】ubuntu-hadoop伪分布-环境配置。
Ubuntu中Hadoop环境搭建
kexinxin1的博客
12-20 1363
Ubuntu中Hadoop环境搭建 JDK安装 方法一：通过命令行直接安装（不建议） 有两种java可以安装oracle-java8-installer以及openjdk (1)安装oracle-java8-installer apt install software-properties-common add-apt-repository ppa:webupd8team/java ...
2024年最全ubuntu安装hodoop详细步骤_ubuntu安装hadoop
2401_84181309的博客
05-03 2135
有这个界面就说明安装成功。然后进行配置java环境变量,使用vim打开配置文件进去之后输入i，进入输入模式，在第一行添加如下内容然后按esc，再输入shift+：进入到末行模式，输入wq保存退出。继续执行如下命令让.bashrc文件生效。
ubuntu下部署hadoop3.1.3伪分布系统
最新发布
hnkkfan的博客
09-13 1430
Hadoop是apache开发的，分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架。其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统，MapReduce是一个分布式计算框架。说通俗点，HDFS像是一个可以动态扩展的用来存储大规模数据的大硬盘，MapReduce像是一个计算引擎，通过规则编写程序，用于完成指定的计算任务。【所需软件】以上两个资源以及后面要用到的hbase，可从我的迅雷网盘中下载：rnfk。
Ubuntu上安装Hadoop伪分布
Kevin的专栏
01-12 1588
由于学习上要用hadoop，虚拟机又很卡，而且不喜欢，只有在自己电脑上装个Ubuntu（我装的是12.04），但学校只有wifi，而且是输密码的那种，经常掉线，所以在寝室里安装Ubuntu就别想连接有线了。Ubuntu装好过后居然连无限网卡驱动都没有（不是说集成了的吗？看来我的无线驱动有点冷门耶- -），只有自己装。由于没有学过Linux，只有到网上找方法，但五花八门，没有一个对我适用，最后，在百
ubuntu安装hadoop(伪分布）
weixin_30639719的博客
03-29 260
一、首先安装jdk。（javaeye里看到的，列出来很多方法，我用这个成功了，就写这了） 1、到官方网站下载最新版本JDK的.bin文件： http://www.oracle.com/technetwork/java/javase/downloads/index.html 2、为.bin文件添加x权限：chmod a+x /path/x...
Ubuntu上搭建Hadoop环境(伪分布式)
jishublog
06-15 392
首先要了解一下Hadoop的运行模式： 单机模式（standalone） 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模...
Ubuntu下配置Hadoop环境
mimi886的专栏
02-04 413
实现真正的分布式的hadoop，并不是伪分布式的。 一、系统与配置   共准备2台机器搭建Hadoop集群。基于Ubuntu14.04，jdk1.6.0_45，Hadoop1.0.3版本，虚拟机使用VMware10.0 192.168.1.10 NameNode master （master） 192.168.1.20 DateNode slave1（Slave） 我的用户名就hado
ubuntu中Hadoop伪分布安装
pzy0668的专栏
03-28 1607
Hadoop伪分布安装。主要参考《大数据技术原理与应用》第三版。
从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）
ADwenwen的博客
07-31 4754
目录 零、前言 一、虚拟机安装及CentOS系统配置 二、CentOS系统及网络配置 三、SSH无密码登录 四、Java安装及环境配置 五、Hadoop0.20.0伪分布环境安装 六、运行示例 七、参考与感谢 零、前言 （一）、前言 最近在做wikipedia的东西，需要大规模处理数据，因此就需要使用hadoop工具操作。一开始想安装的linux版本是ubuntu 14和ha...
ubuntu环境下hadoop环境搭建（伪分布模式）
11-14
ubuntu环境下hadoop环境搭建（伪分布模式），是本人学习大数据以来对于hadoop环境搭建的一些经验，现在写成文档的形式分享给大家。
Ubuntu下搭建Hadoop单机模式环境
08-23
本文主要介绍了在Ubuntu系统上Hadoop单机版测试环境的搭建过程。
ubuntu搭建hadoop
03-25
NULL 博文链接：https://ouyida3.iteye.com/blog/1156589
使用VMware安装Hadoop全过程
03-26
### 使用VMware安装Hadoop全过程详解 #### 一、前言 随着大数据技术的发展，Hadoop作为处理海量数据的重要工具之一，在数据存储与处理领域占据了举足轻重的地位。为了更好地学习和掌握Hadoop平台，本文将详细介绍...
Hadoop搭建指南：全分布与伪分布环境详解
伪分布环境是一种模拟全分布的环境，它只在一台物理机器上运行所有Hadoop组件。这种方式适合学习和测试，因为它不需要额外的硬件资源。 知识点4：搭建Hadoop平台的详细步骤 文档《搭建Hadoop平台.doc》中详细描述了...
Ubuntu上搭建Hadoop集群详解
"在Ubuntu上配置Hadoop是云计算实践中的常见任务，这涉及到分布式计算环境的搭建。Hadoop是一个开源的分布式计算框架，主要用于处理和存储大量数据。在这个过程中，首先需要解压缩Hadoop的安装包，例如使用`tar -...
hadoop集群搭建详细过程（完全分布式）
执
12-05 4553
网上的Hadoop教程很多，但是都不是很详细，对入门选手不是很友好，因此自己再写了一份，做下记录。主要是ubuntu18+jdk8+hadoop2.7的环境配置，正常的操作步骤对其他版本的也是通用的。
Hadoop在ubuntu虚拟机上的伪分布式部署|保姆级教程
Yaoyao2024的博客
03-30 2206
2.经后续测试发现问题，虽然已经为ubuntu系统设置了java的环境变量，但hadoop实际运行时仍会出现找不到java-jdk的现象，故再对hadoop的环境文件进行修改，此外，该文件还包括启动参数、日志、pid文件目录等信息。Hadoop和与之相关的很多工具都是通过java语言编写的，并且很多基于hadoop的应用开发也是使用java语言的，但是ubuntu系统不会默认安装java环境，所以需要安装java并配置环境变量。少了就说明上面的启动命令肯定没有完全运行成功，哪个少了就去google一下！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SKY慕雪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值