Hadoop 3.x 集群搭建心得

已于 2024-04-11 09:34:54 修改
阅读量292 收藏 1
点赞数 14
文章标签： hadoop 大数据 分布式
于 2024-04-11 09:21:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kenanlp/article/details/137624390
版权
本文详细介绍了如何在虚拟机环境下搭建Hadoop 3.x集群，包括虚拟机安装、环境配置、集群启动脚本、JPS查询、Web界面访问以及在Centos7.5上安装Python 3.7.6。此外，还阐述了使用Python执行Hadoop上的MapReduce作业的步骤。
摘要由CSDN通过智能技术生成

1、虚拟机安装

IP：192.168.10.102
虚拟机：lipeng，123456
环境变量路径：/etc/profile.d/my_env.sh
解压缩指令：
tar -zxvf spark-3.1.2-bin-without-hadoop.tgz -C /opt/module/
mv spark-3.1.2-bin-without-hadoop spark-3.1.2
host文件查询：/etc/hosts
同步目录：cd /opt/module，执行xsync spark-3.1.2/，拷贝到其他虚拟机（Spark为例）

2、脚本启动集群

192.168.10.102虚拟机：lipeng，123456
环境变量路径：

任意路径下，执行myhadoop start/stop
全局脚本路径：/home/lipeng/bin
在这里插入图片描述

3、脚本查询Jps

Jpsall
在这里插入图片描述

4、集群部署环境

最低0.47元/天 解锁文章
鹏鹏楠楠
关注
Hadoop集群实验
870166708@qq.com
04-12 1928
实验介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。 本实验使用四台虚拟主机搭建集群系统，网络拓扑如下 安装前准备 所需软件： Vmware Workstation 15 Pro Ubuntu 18.04.4镜像 参考教程： https://hadoop.ap...
Windows家庭版下基于Docker的hadoop、Spark集群搭建
crhcyq的博客
11-27 1169
windows下基于Docker的Spark集群搭建 目录windows下基于Docker的Spark集群搭建1、实验目的2、实验平台3、实验内容和要求3.1 docker环境安装3.1.1 开启Hyper-V3.2 根据已有的docker文件创建镜像3.3 基于docker创建spark集群总结功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释
eclipse+hadoop2.6.x环境搭建总结
kngines
03-21 312
目的 完成eclipse + hadoop2.6.x 开发环境搭建 ; 常见错误总结 ; 大数据等综合技术积累 . 环境搭建 推荐参考文章 (已比较全面，不在赘述) 搭建Hadoop2.6.0+Eclipse开发调试环境 问题总结 (重点) 问题 1 :密码登录 hadoop设置 ssh 免密码登录（否则每次启动【start-all.sh】都需要输入多次密码...
从零手把手教你搭建Hadoop集群
zwl2220943286的博客
08-27 1210
从零手把手教你搭建Hadoop集群
Hadoop伪分布式集群搭建学习总结
weixin_43001972的博客
07-21 2134
hadoop伪分布式集群搭建过程学习总结
Hadoop3.1.3集群搭建
xxxaaz的博客
04-23 626
Hadoop3.1.3集群搭建1. Hadoop简介2. 机器准备2.1机器硬件配置2.2 虚拟机安装2.3 网络设置2.4 更改主机名称2.5 创建新用户3. 工具及脚本准备3.1 上传jdk和hadoop安装包3.2 配置集群间ssh免密登录4. jdk和hadoop安装（三台机器均需完成）4.1 解压jdk和hadoop安装包4.2 配置java和hadoop的环境变量5. 配置hadoop集群5.1 集群部署规划5.2 修改各组件对应的配置文件5.3 启动集群并测试6. 设置集群历史服务器和日志聚集
hadoop集群搭建、spark集群搭建、pyspark搭建（linux+window）
lfx1997的博客
10-28 1885
linux和window上安装pyspark库。
大数据集群搭建心得
weixin_42541360的博客
11-13 859
大数据集群搭建心得基础环境准备主节点安装安装JDK安装HadoopHadoop配置文件从节点配置Hadoop启动 基础环境准备 1 将每台服务器的防火墙关闭 systemctl status firewalld.service #查看防火墙状态 systemctl stop firewalld.service #关闭防火墙 systemctl disable firewalld.service #禁止防火墙开机启动 2 配置hosts文件 在主节点上编辑hosts文件 vi /etc/h
hadoop 高可用集群搭建(HA)学期总结（如有错误请给予纠正）
m0_58958839的博客
01-05 2581
（一）准备工作： Linux使用的是CentOS-7-x86 官网下载地址：https://archive.kernel.org/centos-vault/7.6.1810/isos/x86_64/ 虚拟机VMware Workstation 16 Pro 这个网站上去搞懂得都懂 Hadoop安装包版本：hadoop-2.7.4 官网下载地址:https://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/ jdk安装版本：jdk-8u211.
hadoop集群搭建总结
diaoqi5743的博客
11-12 553
通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves 官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html) 1 先决条件 确保在...
Hadoop与Spark平台搭建心得
chun19920827的博客
06-15 2552
近来学习Spark，作为Linux小白，在Hadoop与Spark平台搭建过程中，产生了许多之前未预料的错误。经过锲而不舍的网上查找文章和不断尝试，终于解决了所有的错误，成功将Spark平台运行起来。为了防止今后的遗忘，也为了给像我一样的小白提供搭建Hadoop与Spark平台的经验心得，特结合网上相关文章写下此文章。 本文采用系统和软件版本如下： Ubuntu16.04 64位 JDK
大数据之Hadoop学习（环境配置）——Hadoop伪分布式集群搭建
lzw2016的博客
11-18 1500
title: Hadoop伪分布式集群搭建 date: 2018-11-14 15:17:20 tags: Hadoop categories: 大数据 点击查看我的博客: Josonlee’s Blog 文章目录前言准备伪分布式特点JDK 下载和环境配置配置虚拟机网络环境配置Hadoop的环境下载Hadoop上传并解压安装配置Hadoop环境变量修改hadoop配置文件配置hadoop用户免...
mac2019环境 Airflow+hive+spark+hadoop本地环境安装
G.D.Retop的专栏
11-16 554
本地安装可分为两个部分，mac软件环境， python开发环境ps: 安装过程参考chatgpt、csdn文章。
计算机毕业设计Hive+Spark空气质量预测 空气质量可视化 空气质量分析 空气质量爬虫 Hadoop 机器学习 深度学习 Django 大模型
最新发布
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
11-17 843
计算机毕业设计Hive+Spark空气质量预测 空气质量可视化 空气质量分析 空气质量爬虫 Hadoop 机器学习 深度学习 Django 大模型
计算机毕业设计Hadoop+大模型空气质量预测 空气质量可视化 空气质量分析 空气质量爬虫 Spark 机器学习 深度学习 Django 大模型
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
11-16 707
计算机毕业设计Hadoop+大模型空气质量预测 空气质量可视化 空气质量分析 空气质量爬虫 Spark 机器学习 深度学习 Django 大模型
大数据应用开发——实时数据处理（二）
谁呛我名字的博客
11-14 165
大数据应用开发——实时数据采集大数据应用开发——实时数据处理Flink完成Kafka中的数据消费，将数据分发至Kafka的dwd层中hadoop，zookeeper，kafka，flink，hbase要开启目录并在HBase中进行备份。
RabbitMQ 与 PHP Swoole 实现
学习,分享一直在路上
11-12 971
RabbitMQ 是一个开源的消息队列中间件，允许通过异步消息传递来解耦应用程序的各个部分。Swoole 是一个高性能的 PHP 扩展，支持异步编程和协程，适用于构建高并发的网络服务。将 RabbitMQ 与 Swoole 结合使用，可以构建高效、可扩展的应用程序。本文将介绍如何使用 RabbitMQ 和 PHP Swoole 实现一个简单的消息队列示例。使用 Docker 快速启动 RabbitMQ 实例
大数据机器学习算法与计算机视觉应用02：线性规划
qq_35933041的博客
11-12 855
在零和博弈中，是概率和对应收益乘积的总和（收益给定），在最大流问题中，是通往终点所有流量的总和。卡马卡方法又被称作内部点方法，它寻找最优解的方法并非从可行域边界的一个顶点出发，而是从可行域内部的一个点开始。线性规划可以是没有边界的，但是一般都是可行的，否则目标函数无解。单纯形法从可行域的一个顶点开始，依次和附近的点比较，如果发现新的最大值，就进行迁移。在许多情况下，这个方程是没有精确解的，这个时候我们转而去计算最接近的解，也就是要求。的交点上，那么其中一个在最新的这一步出现的概率是多少呢？
蓝队技术学习
weixin_65861348的博客
11-12 979
该手册详细规定了在不同安全事件发生时应执行的标准操作程序，按安全事件类别进行了分类阐述。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值