使用ubuntu搭建hadoop伪分布全过程图解

已于 2024-04-02 19:26:48 修改
阅读量722 收藏 9
点赞数 18
分类专栏： hadoop 文章标签： ubuntu linux 运维 hadoop centos 服务器
于 2024-03-13 17:45:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61785413/article/details/136682849
版权

目录

1. 安装jdk

2. 添加java环境变量

3. 设置免密登录

4. 安装hadoop

5. 添加hadoop环境变量

6. 修改hdoop-env.sh文件

7. 修改core-site.xml文件

8. 修改yarn-site.xml文件

9. 修改mapred-site.xml文件

10. 修改hdfs-site.xml文件

11. 进行授权

12. 创建namenode,datanode目录

13. 格式化

14. 启动服务

15. 关闭防火墙

16. 浏览器进行访问验证

本机ip地址为192.168.200.130

上传jdk，hadoop包

1. 安装jdk

2. 添加java环境变量

3. 设置免密登录

4. 安装hadoop

5. 添加hadoop环境变量

6. 修改hdoop-env.sh文件

7. 修改core-site.xml文件

8. 修改yarn-site.xml文件

9. 修改mapred-site.xml文件

10. 修改hdfs-site.xml文件

11. 进行授权

12. 创建namenode,datanode目录

13. 格式化

14. 启动服务

15. 关闭防火墙

16. 浏览器进行访问验证

ip:50070

ip:8088

SKY慕雪
关注
  • 18
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
搭建这个hadoop集群电脑表示要离家出走！
忆皇旧容
03-12 445
1.hadoop集群搭建的详细过程 实验前的准备： == jdk == jdk-8u11-linux-x64.tar.gz 提取码：wgte == hadoop == hadoop-2.10.1.tar.gz 提取码：bfxz == VMware == 官网下载 == centOS -XXX…-iso == 文件过大阿里云镜像下载 == Xshell或其他软件 == 2.jdk的安装和环境变量的配置,hadoop的安装 此处不再做过多解释，大厅有详解 3hadoop的下载安装 windows安装had
hadoop的安装教程（ Ubuntu 系统）
qq_60682673的博客
09-30 2663
创建hadoop用户设置密码，按提示输入两次密码为 hadoop 用户增加管理员权限方便操作。
Linux下部署Hadoop伪分布模式
01-20
Hadoop版本为1.2.1 　　Linux使用Fedora19并使用hadoop账号安装 　　第一步：配置ssh本地登录证书（虽然为伪分布模式，Hadoop依然会使用SSH进行通信）   [hadoop@promote ~]$ which ssh /usr/bin/ssh [hadoop@promote ~]$ which ssh-keygen /usr/bin/ssh-keygen [hadoop@promote ~]$ which sshd /usr/sbin/sshd [hadoop@promote
centos搭建Hadoop伪分布
11-21
在使用此文档之前，需要获取jdk压缩包及Hadoop压缩包，在以下百度网盘提供下载 jdk下载地址连接链接：https://pan.baidu.com/s/102vK-eAC7nCUs7pPimnqDQ 提取码：6mvo Hadoop下载地址链接：https://pan.baidu.com/s/1ZA7iidcD5uKhC2u0tfwdNQ 提取码：ilju
搭建Hadoop伪分布
04-25
搭建hadoop时的手写教程、教你避开一些技术障碍
基于VMware12虚拟机的Hadoop3.1.2伪分布式安装（含各软件百度云下载地址、安装过程中各类问题的解决方案）
一起的远方的博客
08-01 1048
一、软件环境配置 1. 物理机版本：Win10 2. 虚拟机版本：VMware 12 链接：https://pan.baidu.com/s/1j6dGmDL_jPJhWl4opVPMMQ 提取码：v315 3. Linux系统：CentOS 7.6 （64） 参考文献： CentOS与Ubuntu的区别 CentOS安装 4. java JDK：jdk-8u221-linux-x64.tar ...
Ubuntu搭建Hadoop3.X分布式和高可用集群，一步步深入
qq_53663722的博客
08-22 1665
本文介绍了在Ubuntu操作系统上搭建Hadoop 3.x分布式和高可用环境的步骤。首先解释了Hadoop 3.x的架构和核心组件。然后，详细讲解了如何配置Ubuntu网络和主机名，安装Java和SSH，并生成SSH密钥。接下来，引导用户通过安装和配置Hadoop的各个组件（如HDFS、YARN和MapReduce）来搭建分布式集群。通过本文的指导，读者将能够快速地在Ubuntu上搭建Hadoop 3.x分布式和高可用环境。
Ubuntu20.04安装JDK8，部署Hadoop并实现伪分布式模式
行川的博客
03-30 1239
一、Hadoop安装模式简介 Hadoop有三种安装模式，分别为单机模式、伪分布式模式、完全分布式模式。三者对比可以通过下表看出 模式 概念 特点 用途 单机模式 Hadoop默认模式 1.没有分布式文件系统HDFS 2.MapReduce处理的是本地Linux的文件数据 一般仅用于本地MapReduce程序的调试 伪分布模式 是在单机上，模拟一个分布式的环.
ubuntu虚拟机中安装Hadoop全过程（单机分布方式+伪分布方式）
web15286201346的博客
04-27 4752
使用的虚拟机软件是：VMWare Workstation Pro 14 虚拟机系统：Ubuntu 18.04 注：涉及到的内容比较多，可直接点击相应链接查看对应内容 目录 创建新账户 安装ssh 安装vim 在虚拟机中安装JDK并配置环境变量 安装Eclipse（可选） 安装Hadoop Hadoop伪分布模式修改 启动HDFS伪分布式模式 创建新账户 参考文章：Ubuntu16.04系统中创建新用户 *使用adduser命令 1. 切换为root用户 su root 注：若提示“su: Authent
Ubuntu搭建Hadoop单机/伪分布式过程
蜡笔小晴
10-05 767
Ubuntu+Hadoop（单机、伪分布式）
详解搭建ubuntu版hadoop集群
09-15
本篇文章主要介绍了详解搭建ubuntu版hadoop集群，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
搭建hadoop伪分布所需要的包，hadoop+jdk
最新发布
03-13
包含搭建hadoop伪分布需要的资源包，具体搭建部署步骤看作品
从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）
ADwenwen的博客
07-31 3881
目录 零、前言 一、虚拟机安装及CentOS系统配置 二、CentOS系统及网络配置 三、SSH无密码登录 四、Java安装及环境配置 五、Hadoop0.20.0伪分布环境安装 六、运行示例 七、参考与感谢 零、前言 （一）、前言 最近在做wikipedia的东西，需要大规模处理数据，因此就需要使用hadoop工具操作。一开始想安装的linux版本是ubuntu 14和ha...
Ubuntu18.04+Docker+Hadoop+Spark分布式集群搭建
蒟蒻菜鸡的博客
10-28 1749
Docker是一个开源的应用容器，它可以让开发者将应用及其所需的依赖包打包到一个可移植的镜像中，可实现虚拟化。Hadoop是一开源的分布式系统基础架构，用于分布式计算，它可以给用户提供集群的高速运算和存储。本文简要介绍了Docker和Hadoop的发展史，Docker的架构，Hadoop的模块组件。并最终一步步搭建了Docker和Hadoop集群，并进行了测试。
(小白全过程记录)Ubuntu下伪分布式Hadoop环境搭建
weixin_46709801的博客
05-12 4206
2.如果您的虚拟机没有安装vmware tools，您可以通过ifconfig命令查看虚拟机的ip地址，然后通过xftp软件(官网申请免费使用)实现文件传输。发现建立链接失败，输入yes看一看，发现还需要输入密码，但是我们没有设置过密码，说明有问题。这里我们使用的是hadoop(普通账户)，又出现了类似2(2)的情况，需要输入密码。（2）hadoop账户先执行一遍2(2)步骤,再执行本步骤操作即可。（2）根目录下，执行./etc/init.d/ssh start。（2）修改文件，设置环境变量。
ubuntu系统hadoop伪分布搭建详细教程
Joker_Dgh的博客
05-06 3269
在ubuntu系统中，进行ssh jdk hadoop安装和配置，搭建hadoop伪分布集群
（初学者强烈推荐）Ubuntu 配置hadoop 超详细教程（全过程）
热门推荐
记录和分享、
11-19 3万+
本文的教程仅为个人的操作经验所写，每个人下载的版本不一样，所以会出现不同的情况异常等，如有问题可询问博主或百度查找解决方法。
基于Ubuntu系统下的Hadoop 环境搭建(新手可尝)
墨染的博客
04-15 7748
文章目录Hadoop 环境搭建1、安装虚拟机2.安装 Ubuntu 操作系统3、关闭防火墙4、 SSH 安装5、 安装 Xshell 及 Xftp6、 安装 JDK7、安装 hadoop8. 结语 Hadoop 环境搭建 1、安装虚拟机 在一切行动的前提，我们需要先安装好虚拟机，毕竟是供我们学习用的，因此我们需要通过虚拟机利用Linux系统来实现我们的Hadoop环境。 安装虚拟机步骤： (1）下载 VMware 安装包。到 VMware® Workstation Pro 官网，选择对应的版本 进行下载。本
ubuntu系统hadoop伪分布
10-16
好的，我明白了。那么您的问题是如何在Ubuntu系统上进行Hadoop的伪分布式部署，对吗？ 首先，您需要安装Java环境和SSH服务。然后，您可以按照以下步骤进行Hadoop的伪分布式部署： 1. 下载Hadoop并解压缩到指定目录，例如 /usr/local/hadoop。 2. 配置Hadoop环境变量，包括JAVA_HOME、HADOOP_HOME、PATH等。 3. 修改Hadoop配置文件，包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。其中，core-site.xml中需要配置Hadoop的文件系统，默认情况下是HDFS；hdfs-site.xml中需要配置HDFS的相关参数，例如namenode和datanode的地址、副本数量等；mapred-site.xml中需要配置MapReduce的相关参数，例如MapReduce框架的运行模式、任务调度器等；yarn-site.xml中需要配置YARN的相关参数，例如ResourceManager和NodeManager的地址、内存和CPU资源等。 4. 格式化HDFS文件系统，使用命令：hdfs namenode -format。 5. 启动Hadoop集群，使用命令：start-all.sh。 完成以上步骤后，您就可以在Ubuntu系统上进行Hadoop的伪分布式部署了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SKY慕雪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值