搭建Hadoop+Python的大数据开发环境

实验环境

CentOS镜像为CentOS-7-x86_64-Everything-1804.iso

虚机配置

节点名称 IP地址 子网掩码 CPU/内存 磁盘 安装方式
master 192.168.204.101 255.255.255.0 1核心/4GB 100GB GNOME Desktop
slave1 192.168.204.111 255.255.255.0 1核心/2GB 100GB Minimal Install
slave2 192.168.204.112 255.255.255.0 1核心/2GB 100GB Minimal Install

软件清单

软件名称 版本号
Hadoop 2.8.1
Hive 2.1.1
Sqoop 1.4.6
Java 1.8.0_131
MariaDB 5.5.60
Python 2.7.5/3.6.2

配置基本环境

安装虚拟机

master节点以GNOME Desktop安装
slave节点以Minimal Install安装

用户名 密码
root hadoop
hadoop hadoop

配置网络

该项同时在master、slave1、slave2节点配置。
该项使用root身份配置。

检查网络连通性

[root@localhost ~]# ping 114.114.114.114 -c 4

1222343-20190407174950500-1061070440.png

修改dns地址

[root@localhost ~]# vi /etc/resolv.conf
#修改为
nameserver 223.5.5.5

1222343-20190407174956209-717100527.png

更换阿里yum源 [1]

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum makecache

1222343-20190407175002364-838191063.png

更换阿里pip源 [2]

mkdir ~/.pip/
vim ~/.pip/pip.conf

写入以下内容

[global]
index-url = https://mirrors.aliyun.com/pypi/simple/

yum方式安装基本工具

[root@localhost ~]# yum install -y tree vim epel-* net-tools ntpdate wget

编辑网络配置

[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

根据虚机配置表配置以下信息

TYPE="Ethernet"
UUID="17cd99b5-4414-4f6e-b7a3-e573104dd306"
ONBOOT="yes"
DEVICE="ens33"
NAME="ens33"
BOOTPROTO="static"
IPADDR=192.168.204.101
NETMASK=255.255.255.0
GATEWAY=192.168.204.2
DNS1=223.5.5.5

1222343-20190407175011178-1194105235.png

保存退出后,重启网络服务

[root@localhost ~]# systemctl restart network

查看网络信息

[root@localhost ~]# ifconfig

配置防火墙

该项同时在master、slave1、slave2节点配置。
该项使用root身份配置。

关闭并禁止自动启动防火墙

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld

禁止SELinux

[root@localhost ~]# setenforce 0

配置禁止开机自启SELinux

[root@localhost ~]# vim /etc/selinux/config

SELINUX=enforcing改成SELINUX=disabled

1222343-20190407175020263-1733048288.png

修改主机名

该项同时在master、slave1、slave2节点配置。
该项使用root身份配置。

修改network配置文件

[root@localhost ~]# vim /etc/hostname

主节点修改为master,从节点相应修改为slave1slave2

输入以下命令(从节点修改为相应名称)

[root@localhost ~]# hostname master

重启虚机

[root@localhost ~]# reboot

重新进入控制台,检验修改

[root@master ~]# hostname

修改hosts文件

该项同时在master、slave1、slave2节点配置。
该项使用root身份配置。

输入以下命令,配置hosts文件

[root@master ~]# vim /etc/hosts

根据实验环境,添加以下条目至hosts文件

192.168.204.101     master
192.168.204.111     slave1
192.168.204.112     slave2

1222343-20190407175028282-1054735818.png

检查hosts是否生效

ping master
ping slave1
ping slave2

1222343-20190407175034517-644757139.png

配置时钟同步

该项同时在master、slave1、slave2节点配置。
该项使用root身份配置。

配置定时任务

crontab -e

#输入以下配置,设置同步时间的定时任务  
0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

使用下列命令,使时间立即同步

/usr/sbin/ntpdate cn.pool.ntp.org

1222343-20190407175040086-1260029440.png

配置免密登录

该项使用hadoop用户身份配置。
该项按照步骤依次在各个节点配置。

主节点master
在主节点master输入以下命令生成秘钥

[hadoop@master ~]$ ssh-keygen -t rsa

复制公钥文件

[hadoop@master ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

1222343-20190407175048757-2086665554.png

从节点slave1
在从节点slave1输入以下命令生成秘钥,并将秘钥发送

  • 11
    点赞
  • 58
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值