在vm上部署hadoop

最新推荐文章于 2024-06-22 20:50:39 发布
最新推荐文章于 2024-06-22 20:50:39 发布
阅读量1.7k 收藏 4
点赞数
分类专栏： Linux 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AllenG_G/article/details/78987742
版权
本文记录了在VMware虚拟机中成功部署Hadoop的详细过程，包括遇到的DataNode未启动问题及其解决方法，以及从配置hosts、安装JDK、设置SSH无密码登录到调整Hadoop配置文件的每一步。
摘要由CSDN通过智能技术生成

在vm上部署hadoop成功，记录一下。

已经有很多关于部署hadoop的帖子，我也看了很多，有一个坑是关于伪分布式和完全分布式。看了很多帖子，虽然关于配置的内容都不相同，但是按照帖子配置都可以成功。我的问题出在master节点成功启动DataNode没有启动，百度一下都是关于报错信息的处理，我的DataNode没有任何日志，node01配置成SecondaryNameNode可以正常启动，说明节点的配置都是正确的。

应该是master节点里没有配置调用DataNode，这个要在修改$HADOOP_HOME/etc/hadoop/slaves，在文件里输入DataNode IP或者hostname（要在/etc/hosts下配置好hostname）


==================================================

最低0.47元/天 解锁文章
AllenG_G
关注
专栏目录
hadoop之虚拟机安装hadoop
我爱小小
05-13 9073
我使用的是W7系统，要安装Hadoop；但是想在Linux下运行Hadoop，一个非常好的选择是虚拟机；我使用的是Vmware和Ubuntu server 14； 1、下载Hadoop； 进入官网下载：http://hadoop.apache.org/releases.html 按需下载版本：我下载了2.7.3版本 2、制作成ISO 文件，挂载 设置虚拟机光盘位置： 在虚
在虚拟机中安装单机Hadoop
qq_38270906的博客
04-12 6574
安装单机Hadoop系统一、所用软件版本虚拟机：VMware_workstation_full_12.5.2操作系统：ubuntu-16.04.2-desktop-amd64HADOOP：hadoop-2.7.3.tarJDK: jdk-8u121-linux-x64.tar二、JDK的配置1.将/home/software/jdk-8u121-linux-x64.tar进行解压2.将解压后的jd...
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群
weixin_34357267的博客
07-25 351
写在前边的话： 最近找了一个云计算开发的工作，本以为来了会直接做一些敲代码，处理数据的活，没想到师父给了我一个课题“基于质量数据的大数据分析”，那么问题来了首先要做的就是搭建这样一个平台，毫无疑问，底层采用hadoop集群，在此之上，进行一些其他组件的安装和二次开发 hadoop伪分布部署参考：点击打开链接 hadoop单机版部署参考：点...
Hadoop虚拟机配置
最新发布
m0_74087268的博客
06-22 482
1.配置workers文件#进入配置文件目录#编辑workers文件 (填入的node1、node2、node3)#填入如下内容 (表明集群记录了三个从节点(DataNode))node1node2node32.配置hadoop-env.sh文件#填入如下内容export JAVA_HOME=/export/server/jdk #JAVA_HOME,指明JDK环境的位置在哪。
VM虚拟机Linux上安装Hadoop集群
bai1cai1的博客
04-17 802
VM虚拟机Linux上安装Hadoop集群1. VM虚拟机上安装Linux2. Linux上安装Hadoop集群3. 步骤2中注意的地方4. 安装中遇到的错误 1. VM虚拟机上安装Linux 安装教程参考该博文： https://blog.csdn.net/pucao_cug/article/details/71229416 （备注：只需完成该博客的1、2步骤即可） 2. Linux上安装Had...
VMware中创建的linux系统中安装hadoop
m0_67401761的博客
04-27 1221
一、hadoop的安装 hadoop安装的三种形式： 单机模式 伪分布式 基于yarn的完全分布式模式 安装前的准备： 一个纯净版的centos7 虚拟机，配置好静态ip，主机名，主机映射 配置静态ip：vi /etc/sysconfig/network-scripts/ifcfg-ens33 配置完成后重新启动network：systemctl restart network 修改主机名：vi /etc/hostname 使主机名立即生效（如果不行可以重启虚拟机）：hostnamectl 配置主机映射
VM下hadoop配置
wish_night的博客
10-02 429
虚拟机->设置->网络适配器->高级 编辑->虚拟网络编辑器（将子网掩码、网管进行记录） DNS1 右击->管理->克隆 创建完整克隆 -> 改下名字和存储位置 切换为root用户： su Password: cd /etc/udev/rules.d/ vim 70-persistent-ipoib.rul...
部署全分布模式Hadoop集群 实验报告
04-18
5. 熟练掌握在 Linux 环境下如何部署全分布模式 Hadoop 集群。 二、实验环境 本实验所需的软硬件环境包括 PC、VMware Workstation Pro、CentOS 安装包、Oracle JDK 安装包、Hadoop 安装包。 三、实验内容 1. 规划...
一文搞定！在 OpenStack 上部署 Hadoop
开源云中文社区
04-18 1589
打造开源云计算中国第一互动社区内容专注于Linux、Kubernetes、OpenStack、容器、Ceph、Cloud Foundry......导读OpenStack...
Linux 部署Hadoop伪分布式集群教程
qq_61247494的博客
09-12 1566
Linux 部署Hadoop伪分布式集群教程
hadoop入门（1）VMware安装
05-05
一手hadoop实战资料。教你一步一步从小白，进入菜鸟。
vmware虚拟机下hadoop集群安装过程
11-01
详细介绍采用vmware虚拟机安装 hadoop系统的过程， 为学习hadoop创造一个良好的环境
VMware首次安装Hadoop详细步骤：问题&解决方式
m0_59865073的博客
12-06 3260
VMware第一次安装配置hadoop出现的问题及解决方法
虚拟机上安装hadoop
qq_42649132的博客
06-07 1324
虚拟机上安装hadoop
vm下ubuntu集群安装hadoop
BilyYang的专栏
07-24 850
vm下ubuntu集群安装hadoop 1、 在wm下安装ubuntu9.10 2、 更新deb软件包列表：$ sudo apt-get update 3、 安装系统更新 $ sudo apt-get upgrade 4、 安装JDK $ sudo apt-get install sun-java6-jdk  //默认路径为：/usr/lib/jvm 5、 设置CALSSPATH和JA
centos+VM 安装集群式hadoop
renzeGIS的专栏
11-03 549
参考 http://www.cnblogs.com/yhason/archive/2013/05/30/3108908.html
Hadoop安装(1)VMware虚拟机安装
pyy的博客
03-22 1993
VMware虚拟机安装使用教程 VMWare是一个“虚拟 PC”软件。它使你可以在一台机器上同时运行二个或更多 Windows、DOS、LINUX 系统。与“多启动”系统相比，VMWare 采用了完全不同的概念。多启动系统在一个时刻只能运行一个系统，在系统切换时需要重新启动机器。VMWare 是真正“同时”运行，多个操作系统在主系统的平台上，就象标准 Windows 应用程序那样切换。而且每个...
在Hadoop VM集群上部署Spark 2.6.0与Scala 2.11.6的详细教程
本文档详细介绍了如何在基于Hadoop的虚拟机集群（VM）环境中安装Spark 2.6.0，以及配置相关的环境和依赖。首先，集群架构包括一个NameNode和四个DataNodes，分别位于名为compute-n的节点和compute-0-1到compute-0-4...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值