- 博客(3)
- 收藏
- 关注
RSS订阅原创 spark安装及其配置
在文件末尾内添加配置信息（/home/hd/apps/spark/conf/spark-env.sh）进入spark的sbin目录 启动spark（/home/hd/apps/spark/sbin）文件（/home/hd/apps/spark/conf/slaves）上传安装包到文件夹内（使用moba工具）修改配置文件（/etc/profile）hdfs在上一篇文章感兴趣可以看一下。切换到root用户，末尾添加。出现这个画面就说明安装完成了。进入到spark目录。
2024-12-09 09:14:03
598
原创 Hadoop集群的部署
Hadoop集群是一个由多个计算机（节点）组成的分布式计算环境，用于存储和处理大规模数据。这种架构利用了Apache Hadoop框架，旨在以高效、可靠的方式处理数据集。Hadoop分布式文件系统（HDFS）：用于存储数据，支持将大文件分割为多个数据块，并在多个节点上复制以提高容错性。：负责集群资源管理和任务调度，确保资源的有效分配。MapReduce：一种分布式计算框架，用于处理和分析存储在HDFS中的数据。节点类型主节点（Master Node）：管理集群的整体状态，负责资源调度和任务分配。
2024-11-30 17:12:19
1297
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人