Hadoop+spark+jupyter环境搭建（一）：Hadoop平台的搭建

最新推荐文章于 2022-10-10 12:01:31 发布

myz95

最新推荐文章于 2022-10-10 12:01:31 发布

阅读量1.7k

点赞数

文章标签： Hadoop

本文链接：https://blog.csdn.net/weixin_41867777/article/details/80401126

版权

本文详细介绍了在Ubuntu 14系统上搭建1+1 Hadoop集群的步骤，包括创建hadoop用户、配置系统源、安装 JDK、配置SSH无密码登录、安装和配置Hadoop，以及启动Hadoop的过程。

摘要由CSDN通过智能技术生成

Hadoop+spark+jupyter环境搭建顺序请参照：

Hadoop平台的搭建接

基于Hadoop组件Yarn搭建Spark

pyspark+jupyter部署在Linux

一、集群配置信息

集群为1+1，1台master，1台slave的结构

配置（两台一致）：

系统：Ubuntu 14

内核：4核

内存：8G

两台主机的信息：

主机名

myz-master

192.168.0.212

浮动IP:

210.14.69.105

myz-slave

192.168.0.213

二、集群搭建过程

1. 新建hadoop用户，用户密码设置，sudo操作不需要密码等，每台主机一样

登录root用户

$ su root

新建hadoop用户

# adduser hadoop

设置hadoop用户sudo操作不需要密码，修改sudoers文件内容

# vim /etc/sudoers

文件内容：

# User privilege specification
root   ALL=(ALL:ALL) ALL
hadoop  ALL=(ALL:ALL) ALL

# Members of the admin group may gain root privileges
%admin ALL=(ALL) ALL


# Allow members of group sudo to execute any command
%sudo  ALL=(ALL:ALL) ALL
hadoop  ALL=(ALL)NOPASSWD:ALL