搭建hadoop、SPARK,安装PySpark和notebook,实现简单实例文件分别在local、standalone、yarn和k8s上的运行
搭建hadoop、SPARK,安装PySpark和notebook,实现简单实例文件分别在local、standalone、yarn和k8s上的运行——大数据作业准备一、安装jdk二、安装hadoop集群1.设置SSH免密钥2.hadoop下载及环境配置3.hadoop配置相关文件4.分发和启动Hadoop三、安装zookeeper1.zookeeper分布式集群搭建2.修改相应的配置文件四、安装spark1.下载安装scala1.搭建spark集群2.启动spark集群准备 准备了三台虚拟机,配置网
原创
2021-09-30 09:12:10 ·
362 阅读 ·
0 评论