spark环境搭建

最新推荐文章于 2024-11-08 15:09:09 发布

Shawood1028

最新推荐文章于 2024-11-08 15:09:09 发布

阅读量123

点赞数

分类专栏： Java 文章标签： hadoop

本文链接：https://blog.csdn.net/qq_27667825/article/details/118317422

版权

Java 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

一、hadoop所需环境搭建

1.ubuntu 安装java 8

		sudo apt install openjdk-8-jdk

2.安装伪分布式hadoop
解决安装过程遇到的问题：

Starting namenodes on [localhost]
pdsh@shaw-B365M-POWER: localhost: rcmd: socket: Permission denied
Starting datanodes
pdsh@shaw-B365M-POWER: localhost: rcmd: socket: Permission denied
Starting secondary namenodes [shaw-B365M-POWER]

修改pdsh默认连接方式

export PDSH_RCMD_TYPE=ssh

开放ubuntu 端口

sudo iptables -I INPUT -p tcp --dport 9000 -j ACCEPT
sudo iptables -I INPUT -p tcp --dport 9870 -j ACCEPT
sudo netfilter-persistent save
sudo netfilter-persistent reload