Hadoop单机模式和伪分布式搭建教程CentOS

最新推荐文章于 2024-04-27 21:15:40 发布
最新推荐文章于 2024-04-27 21:15:40 发布
阅读量1.4w 收藏 27
点赞数 11
分类专栏： Hadoop 文章标签： hadoop 单机模式 伪分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhshulin/article/details/50410403
版权
本文档详细介绍了如何在CentOS环境中搭建Hadoop的单机模式和伪分布式模式。首先，文章涵盖了软件准备、创建hadoop用户、配置SSH无密码访问以及安装JAVA环境等准备工作。接着，通过步骤演示了单机模式的安装和验证过程。最后，文章阐述了如何在单机模式基础上进行伪分布式安装，包括修改配置文件、格式化namenode等关键步骤。
摘要由CSDN通过智能技术生成

    首先说明一下：采用的是新装的CentOS的环境，利用xshell进行远程操作来搭建Hadoop单机模式，伪分布式和完全分布式的文档。环节都是一环套一环，有先后顺序存在。本人是在win8.1 64位系统环境下，并且安装的Cent OS也是64位，故所有相关软件都是64位的。此教程只要照着做，都可以完成，祝大家成功！


系统和软件以及版本说明：

系统和软件

VMWare Workstation11

XShell5

Cent OS 6.5 （64位）

Hadoop 2.6.0

Openjdk 1.7

 

1. 准备工作

1.1. 软件准备

      1、安装VMWare

      2、在VMWare上安装CentOS6.5操作系统

      3、安装XShell5，用来远程登录系统


    4、通过rpm -qa | grep ssh 检查cent os 是否安装了ssh server和ssh client ，然后使用ssh localhost测试一下SSH是否可用。



如果没有安装那么使用下面的命令安装：

        yum install openssh-clients
        yum install openssh-server


 

5、使用XShell远程登录服务器，接下来的操作就在XShell上通过命令行来执行了。虚拟机中的服务器可以过ifconfig这个命令来获取分配的ip地址（这个地址可能随着虚拟机的重启会发生变化）。

1.2. 创建hadoop用户

    当前虚拟机中没有安装任何软件，那么我们的目的是搭建一个Hadoop单机模式，那么首先需要在集群中建立一个hadoop用户，用来启动Hadoop

最低0.47元/天 解锁文章
shu_lin
关注
  • 11
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
linux虚拟机搭建hadoop伪分布式集群
04-26
在搭建Hadoop伪分布式集群的过程中，首先需要在Linux环境下配置VMware的NAT网络，确保虚拟机能够稳定地运行和通信。NAT网络允许虚拟机通过宿主机与外部网络进行通信，同时保持IP地址的固定性。具体操作包括取消DHCP...
Hadoop伪分布式集群环境搭建
10-14
本篇将详细介绍如何在本地计算机上搭建Hadoop的伪分布式集群环境，这非常适合初学者进行学习和测试。 首先，我们需要了解Hadoop的组成部分。Hadoop主要由两个核心组件构成：HDFS（Hadoop Distributed File System）...
大数据学习——Hadoop单机模式的搭建（超详细）
JunLeon的博客
09-27 1万+
Hadoop单机模式的搭建 JunLeon——go big or go home 前言：Hadoop集群有三种运行模式，即单机模式，伪分布模式、分布式模式。 单机模式：只有一个JVM进程数，只运行在一台机器上（作测试用）； 伪分布模式：有多个JVM进程数，运行在同一台机器上； 分布式（完全分布式）模式：多个JVM进程数，运行在三台或三台以上的机器上。 说明： 以下进入Hadoop单机模式的搭建，是在root用户下进行，如果在普通用户下，要注意权限、环境变量等，记得使用sudo命令...
Hadoop学习笔记（1）——单机版搭建
qq_38872310的博客
09-18 953
Hadoop是一个分布式计算框架，适用于离线的海量信息批处理，大文件日志分析等，可以在大量廉价硬件设备组成的集群上运行应用程序，并未应用程序提供一组稳定可靠的接口，旨在构建一个具有高可靠性和良好扩展性的分布式系统。Hadoop的核心是HDFS（Hadoop Distributed File System），Mapreduce和Hbase，他们分别是Google云计算核心技术GFS，Mapreduc...
搭建单机版的hadoop ,spark和scala服务器
最新发布
udhdhw的博客
04-27 1966
将 mapred-site.xml.template 复制一份为 mapred-site.xml，再配置 mapred-site.xml。export JAVA_HOME=/usr/local/src/jdk1.8.0_152 #指定jdk位置如没有需下载。使用source /etc/profile来更新启用scala。/hadoop/etc/hadoop #指定hadoop路径。编写/etc/profile在最下面添加如下路径。使用./bin/spark-shell 命令。检查 JAVA 是否可用。
hadoop入门（单机、集群搭建）
天道酬勤 厚积薄发
05-19 1114
一、环境准备 系统 ：centos7 hadoop版本：hadoop3.1.3 JDK:1.8 二、jdk配置 1、下载JDK方到指定目录并解压 解压：tar -zxvf jdk-8u221-linux-x64.tar.gz 2、配置java环境变量 vim /etc/profile 在文件末尾添加并保存 export JAVA_HOME=/base/JDK/jdk1.8.0_221 export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/
Hadoop伪分布式
江晓狐的博客
09-17 434
安装git, vimplus ,openssh-server #!/bin/bash yum install -y update yum install -y git yum install -y vim # 安装openssh服务端 yum install -y openssh-server # 下载vimplus编辑器 git clone https://github.com/chxuan/vimplus.git ~/.vimplus # 安装vimplus cd ~/.vimplus ./ins..
CentOS7下安装Hadoop伪分布式
大头皮鞋的博客
03-21 8216
前提条件 拥有CentOS7服务器版环境 软件版本说明 jdk1.8 hadoop2.7.3 虚拟机环境准备 通网络 能ping通外网，例如： ping baidu.com 如果ping不通，可以修改如下文件： vim /etc/sysconfig/network-scripts/ifcfg-ens33 将ONBOOT=no改为ONBOOT=yes 重启网络或重启机器 重启网络 systemctl restart network 重启机器 reboot 修
Centos7+hadoop2.6.0分布式集群搭建
01-21
Centos7上搭建hadoop2.6.0分布式系统，教程超详细! 搭建过程中如果有什么疑问可以邮我1668544151@qq.com 单机搭建伪分布式也适用！
伪分布式大数据平台搭建实验综述.pdf
08-08
本文由汪庆发表，介绍了如何在单机环境中使用VMware虚拟机和Hadoop框架搭建伪分布式大数据实验平台，以满足轻量化学习需求。 1. **Hadoop基础** Hadoop是一个开源的分布式计算框架，设计用于处理和存储大量数据。...
hadoop伪分布式搭建(超级详细)
10-11
hadoop伪分布式搭建(从虚拟机设置到搭建完成)，包含每一个步骤，照做即可，内有hadoop2.2.0安装包。
hadoop-1单机模式和伪分布式和完全分布式存储
AwesomeWang7的博客
09-16 2288
hadoop大数据平台 hadoop属于底层的基础设施，一个生态当中的基础。hadoop起源于google的三大论文。GFS，MAPREDUCE和BIGTABLE。 hadoop名字来源是hadoop之父道卡廷儿子的毛绒玩具名。 我们所使用的是基于apache协议分发 常见的有三种，apache版本，cdh版本，hdp版本 本次就是要搭建一个hadoop框架，部署一个简单的大数据平台： hadoop的框架最核心的是hdfs和mapreduce，hdfs为海量数据提供存储。mapreduce为海量数据提供计算
Centos7下搭建Hadoop7单机环境
寸先生的AI道路
01-30 2266
本文采用Vmware12+Centos7+hadoop2.7.3 一.准备工作 1.设置hostname #hostnamectl set-hostname develop01 # hostnamectl status   2.配置Notepad++修改Linux文件 点击Notepad++最右侧“show NPPFTP”，点击profile setting，设置如下，
centos搭建单机版hadoop服务器
程序媛
03-14 1312
一、安装配置JDK，参考另一篇博客：https://blog.csdn.net/weixin_37590454/article/details/92815133 二、新建hadoop用户 1.su root #以root账号登录并创建接下来的hadoop新用户 2.通过useradd增加用户: useradd -m hadoop -s /bin/bash # 创建新用户Hado...
Hadoop2.7.2之集群搭建（单机）
热门推荐
_阿坤的博客
05-19 1万+
首先新建一台虚拟主机，如果你还不会请参考 Vm配置安装CentOS-7-Minimal 然后安装JAVA运行环境，如果你还不会请参考 CentOS7 安装 Java 8 以及Tomcat8 开始配置Hadoop2.7.2 单机模式： 参考：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/Sing
Centos Linux 安装单机 Hadoop（HDFS）
寒水馨
10-05 2019
Centos Linux 安装单机 Hadoop（HDFS）、Centos、Linux、Hadoop、HDFS、Yarn、大数据、Apache、MapReduce
Hadoop伪分布式配置
阿飞学弟的知识库
07-14 2114
Hadoop伪分布式配置
超详细单机版搭建hadoop环境图文解析
编程小栈
12-01 2185
转自：http://weixiaolu.iteye.com/blog/1401931 安装过程： 一、安装Linux操作系统 二、在Ubuntu下创建hadoop用户组和用户 三、在Ubuntu下安装JDK 四、修改机器名 五、安装ssh服务 六、建立ssh无密码登录本机 七、安装hadoop 八、在单机上运行hadoop 一、安装Linux操作系统 我们是在
CentOS6.4单机伪分布式安装Hadoop2.6教程
"这篇Hadoop安装教程主要针对在CentOS6.4系统上进行Hadoop 2.6.0的单机或伪分布式配置。教程由厦门大学数据库实验室出品，适用于Hadoop 2.7.1及2.6.0等版本。教程详细介绍了每个步骤，并提供了官方安装教程的链接...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值