本地虚拟机搭建Hadoop集群（一）

最新推荐文章于 2024-04-28 04:46:43 发布
最新推荐文章于 2024-04-28 04:46:43 发布
阅读量196 收藏
点赞数
分类专栏： hadoop hadoop集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yizhibi_ceo/article/details/105764833
版权

安装虚拟机及操作系统的步骤后续补充。

环境：VMware 15 pro + Centos 7

1、ifconfig 查看虚拟机ip

2、本地xshell链接

密钥登录流程后续补充

3、关闭防火墙：  systemctl stop firewalld.service


禁用防火墙：systemctl disable firewalld.service


查看防火墙状态：firewall-cmd --state


重启 reboot

4、变更主机名称，实现多台主机免密登录

编辑./etc/hosts 

Oo單曲循环丨
关注
专栏目录
虚拟机安装(四)|环境搭建--Hadoop集群部署
weixin_45684171的博客
06-05 184
四、Hadoop集群部署 4.1 JDK安装 1 安装rlzsz软件 使用命令挂载光盘： mount /dev/cdrom /mnt 打开：/mnt/Packages cd /mnt/Packages 安装软件: lrzsz-0.12.20-27.1.el6.x86_64.rpm rpm –ivh lrzsz-0.12.20-27.1.el6.x86_64.rpm 2 JDK安装 跳转到安装目录上传 cd /export/software/ rz 3. 解压和重命名 解压命令： tar -zx
VMware搭建Hadoop集群 for Windows（完整详细，实测可用）_vmware安装hadoop教程
最新发布
kenzsoft的博客
04-30 2130
SSH服务的作用一般是有两方面：一是便于虚拟机节点之间免密访问，二是传输数据时会有加解密的过程安全性更高。为了这三个节点间免密登录，比如后面在启动hadoop服务时，主节点启动其它从节点，就需要免密去执行。搭建集群需要3个虚拟机，hadoop01，hadoop02，hadoop03，已经安装了hadoop01，剩下两个需要用到虚拟机克隆。下载一个linux版本的JDK，这里是 jdk-8u161-linux-x64.tar.gz，3台机器均要执行以下。最后执行java -version看下是否配置成功。
虚拟机搭建hadoop集群
yan_pan的博客
08-23 722
虚拟机搭建docker集群 1.配置JAVA环境 下载JAVA压缩包使用命令进行解压 tar -zxvf 压缩包文件 解压成功后进入/etc/profile中配置JAVA环境 vi /etc/profile export JAVA_HOME=/root/jdk1.8.0_201（JDK文件地址） export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/ export PATH=$PATH:$JAVA_HOME/bin 配置完后使用命令生效 source /etc/pr
本地用虚拟机搭建 K8S 集群
Nick
10-19 1040
文章目录本地用虚拟机搭建 K8S 集群一、安装配置 Ubuntu 虚拟机1.1 安装系统1.2 固定 IP 地址1.3 修改系统配置二、安装软件2.1 安装 docker2.2 安装 k8s三、复制虚拟机3.1 虚拟机关机3.2 修改 hostname 和 IP四、配置 k8s Master4.1 修改 kubelet 配置4.2 初始化4.3 初始化网络模块4.4 安装 dashboard五、加入 node 节点 本地用虚拟机搭建 K8S 集群 一、安装配置 Ubuntu 虚拟机 如非特殊说明，以下操作均
meethigher-虚拟机部署hadoop集群
meethigher的博客
06-01 452
参考文章 一、配置虚拟机以及本地IP vmware中编辑-虚拟网络编辑器 本地网络共享中心-适配器-vmnet8 二、配置开发机器环境 为了用xshell时，不用一直写ip地址，我们可以在自己的开发机器上进行配置C:\Windows\System32\drivers\etc\hosts 192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.102 hadoop102 192.168.10.103 hadoop103 192.168.10
本地虚拟机搭建Hadoop集群（二）
Yizhibi_CEO的博客
05-19 271
1、克隆虚拟机 选中虚拟机邮件-管理-克隆（下一步+新建+编辑新名称+选择虚拟机路径） 克隆两台Hadoop-02 Hadoop-03虚拟机 内网域名映射 vi /etc/hosts 结果如下： 2、配置3三台虚拟机的免密登录 创建密钥 ssh-keygen 一直回车就可以了 公钥上传其他服务器 ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.13 ssh-copy-id -i ~/.ssh/id_rsa.pub root@
虚拟机搭建Hadoop集群操作文档
06-05
详细描述了在笔记本电脑上搭建hadoop的安装步骤，包括前期虚拟机的安装和配置，hdfs、kafka、spark、storm等组件的安装。
Hadoop虚拟机搭建Hadoop-3.3.0集群环境
06-07
在搭建Hadoop集群之前，我们需要准备以下要素： 1. **虚拟机环境**：通常我们会使用VirtualBox或VMware等虚拟化软件创建多台虚拟机来模拟集群环境。 2. **操作系统**：一般选择Linux发行版，如Ubuntu、CentOS等，...
Win10 IDEA连接虚拟机中的Hadoop集群（进来保你成）_idea连接虚拟机上hadoop集群
2401_84185074的博客
04-28 1370
变量值：%JAVA_HOME%\bin变量值：%JAVA_HOME%\jre\bin使用java -version、javac验证（注意上面bin以及\jre\bin都要配置，不然会出现hadoop找不到JAVA_HOME的问题）6. 将winutil.exe放置到hadoop-2.7.7\bin\目录下面。下载，GitHub中选一个比自己hadoop版本相同或者说高一点的版本)
linux虚拟机搭建hadoop伪分布式集群
04-26
在搭建Hadoop伪分布式集群的过程中，首先需要在Linux环境下配置VMware的NAT网络，确保虚拟机能够稳定地运行和通信。NAT网络允许虚拟机通过宿主机与外部网络进行通信，同时保持IP地址的固定性。具体操作包括取消DHCP...
本地虚拟机集群搭建数据仓库实战
weixin_43160819的博客
07-02 602
组件目录一. 环境准备二. JDK安装三. Hadoop安装过程四. Zookeeper安装五. Flume安装六. Kafka安装七. MySQL安装八. Sqoop安装九. Hive安装十. 安装ES5.2十一. 安装 Spark2.4.3十二. 安装Livy十三. Maven十四. Apache Griffin编译 一. 环境准备 内存4G，硬盘50G (根据自己的电脑配置酌情决定，内存最好4G起步) 安装好linux /boot 200M /swap 2g / 剩余 *安装VMTools 关闭防火
windows10_intellij本地访问虚拟机ubuntu16.04的Hadoop的实现Demo
qq_35274666的博客
06-29 511
win 10_intellij本地实现对虚拟机ubuntu16.04的Hadoop-2.7.7的访问Demo 本人初学hadoop,大数据这块实属萌新小白，今天开始慢慢写点hadoop 学习博客，不是教程，只是希望能逐步总结一些学习过程中失败碰壁的经验，给后面的学习道路打下一些基础，争取不要再犯重复类似的错误。如有大佬能抽空指点，本人更是万分感谢。 经过查阅资料和不断尝试，终于实现了在本地idea intellij环境远程访问虚拟机hadoop。 本文的前提是hadoop已经在vm中部署成功了，详细过程可以
4台虚拟机实现高可用Hadoop集群步骤
逐鹿
09-26 1577
目录 一、集群安装 1、软件版本选择 2、机器配置 1）4台机器分配 2）修改hosts 3）免密登录 3、软件安装 1）安装jdk 2）安装zookeeper 3）安装hadoop 4）小结 二、启动集群 1、启动zookeeper 2、启动hadoop 1）启动journalnode进程初始...
hadoop环境搭建和在本地用虚拟机模拟分布式集群的搭建
qiurongfeng的博客
12-25 2155
由于老师布置的大作业，以及对于想深入的实践下课堂学到的知识，记录下步骤，写了本篇文章。当然也走了一些弯路，希望大家能够一次成功吧。 需要的工具： 1：VMwave 2：centOS 可能会用到的东西： 1:centos的yum出现Could not retrieve mirrorlist解决方法 Centos7 安装wget报错，could not retrieve mirrorli...
本地虚拟机搭建Hadoop集群
迷途中的一片羽毛博客
05-03 4218
准备工作 jdk1.8 hadoop2.7 VMware 一、新建三台虚拟机（使用centos 7） 1、重命名hostname，分别命名为namenode、datanode2、datanode3 建立主机名与IP地址映射,打开编辑：vi /etc/hosts 2、配置静态ip地址，打开配置文件：vi /etc/sysconfig/network-scripts/ifcfg-...
Centos 7下VMware三台虚拟机Hadoop集群初体验
a13954278187的博客
11-05 724
一、下载并安装Centos 7 　　传送门：https://www.centos.org/download/ 　 注：下载DVD ISO镜像 这里详解一下VMware安装中的两个过程 网卡配置 是Additional search domains:8.8.4.4也是谷歌提供的免费DNS服务器Ip地址 二、SecureCRT远程操控 pi...
本地虚拟机搭建nacos集群
weixin_38205301的博客
10-17 809
本地虚拟机搭建nacos集群 准备工作 准备好三台服务器： 192.168.91.129 192.168.91.130 192.168.91.131 nacos所需环境： jdk1.8、mysql8.0 安装jdk1.8 三台机器安装jdk1.8 1、安装之前先卸载linux下自带的openjdk,可以用 java -version命令查看 `openj`dk version "1.8.0_262"` `OpenJDK Runtime Environment (build 1.8.0_262-b
【详细】VMware虚拟机配置Hadoop集群实验[CentOS8]
Coder_C9的博客
04-05 2236
上Hadoop课。。。。
虚拟机搭建hadoop集群步骤
qq_38076935的博客
01-15 2280
内存4G，硬盘50G 安装好linux /boot 200M /swap 2g / 剩余 *安装VMTools 关闭防火墙 sudo service iptables stop sudo chkconfig iptables off 设置静态IP，改主机名 编辑vim /etc/sysconfig/network-scripts/ifcfg-eth0 改成 ================================= DEVICE=eth0 TYPE=Ethernet ONBOOT=y
Windows与Ubuntu虚拟机搭建Hadoop集群详解
在这个文档中，我们详细阐述了如何在Windows系统上通过虚拟机（VirtualBox或VMware Workstation）搭建Hadoop集群。以下是关键步骤的详细说明： 1. **环境准备**: - 在Windows系统上，使用VMware Workstation安装...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值