- 博客(4)
- 收藏
- 关注
原创 Spark集群环境搭建
实验目的:通过该实验后,能掌握以下知识:1 能够手动搭建Spark集群2 能使用Spark Shell实验说明:本实验环境中已经配置好Hadoop集群环境和spark on yarn的运行环境,只需要在主服务器(namenode)上执行hdfs namenode -format 格式化命令后启动Hadoop集群。本次搭建的Spark将使用Hadoop YARN作为集群的资源管理器。所以其需要基于Hadoop集群环境。实验步骤:步骤一:启动Hadoop集群进入到hadoop
2021-11-21 15:49:18 4480
原创 在配置各种集群时,Linux安装好相应软件包后,要切记配置环境变量
在配置各种集群时,Linux安装好相应软件包后,要切记配置环境变量软件包:配置环境变量:打开/etc/profile文件,进行配置输入命令source /etc/profile,使配置生效
2021-11-09 14:45:25 212
原创 安装Hadoop
实验概述:1. 配置Hadoop主从服务2. 配置服务器ssh免登录3. 验证Hadoop安装成功实验目的:通过该实验后,可以独立安装配置Hadoop集群环境实验背景:本实验中会分配到三台装有Centos 7的服务器,请将其中的一台选定为主服务器(namenode),另外两台为从服务器(datanode) 。本实验以server-1为主服务器,server-2,server-3 为从服务器,实际试验中读者分配到的服务器名称不一定是叫server-1,server-2,server
2021-11-06 14:12:55 2751
原创 zookeeper集群status状态一直失败解决方案
Zookeeper集群status状态一直失败解决方案通过一系列排查,发现常见错误都不行致命错误:启动zookeeper集群(zkServer.sh start)要在每台服务器分别执行一次最后发现成功了
2021-10-30 15:09:03 1228
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人