大数据爬坑行（一）安装hadoop

最新推荐文章于 2024-07-28 16:45:11 发布

look_god

最新推荐文章于 2024-07-28 16:45:11 发布

阅读量233

点赞数

分类专栏：大数据文章标签：大数据 hadoop

本文链接：https://blog.csdn.net/u012260861/article/details/86777498

版权

去年公司开展了一个大数据项目，趁现在过年用博客记录大数据爬坑的过程。
首先记录hadoop的安装，不显示具体公司与客户信息，还是记录虚拟机测试的过程，虚拟机测试时没用HA。

一、安装三台虚拟机，操作系统RHEL7.3，
1、root用户名密码123456。
2、修改ip地址，以及dns

hadoop1 10.0.2.45
hadoop2 10.0.2.46
hadoop3 10.0.2.47

vi /etc/sysconfig/network-scripts/ifcfg-ens192

TYPE=Ethernet 
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPADDR=10.0.2.45
PREFIX=24
GATEWAY=10.0.2.254
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens192
UUID=434ee7d8-595f-4240-9759-9f20d6d7dadc
DEVICE=ens192
ONBOOT=yes

service network restart
3、修改好hostname
vi /etc/hosts
4、修改dns服务器
vi /etc/resolv.conf（坑，nameserver必须小写，后面不是等号，是空格）
nameserver XXX.XXX.XXX.XXX
5、关闭防火墙
查看防火墙状态。
systemctl status firewalld
临时关闭防火墙命令。重启电脑后，防火墙自动起来。
systemctl stop firewalld
永久关闭防火墙命令。重启后，防火墙不会自动启动。
systemctl disable firewalld
打开防火墙命令。
systemctl enable firewalld
6、配置本地yum源
mkdir -p /mnt/cdrom
mount /dev/cdrom /mnt/cdrom
cd /etc/yum.repos.d/
vi cdrom.repo

[cdrom]
name=cdrom
baseurl=file:///mnt/cdrom/
enable=1
gpgcheck=0

删掉原先的repo
rm -rf public-yum-ol7.repo
测试安装wget，成功。
yum install wget

二，下载安装jdk
1、下载jdk
mkdir -p /app/software
cd /app/software
wget http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz
2、解压到 /usr/Java
mkdir /usr/Java （三台机都执行）
tar -zxvf jdk-8u141-linux-x64.tar.gz -C /usr/Java/
复制到另外两台机
scp -r jdk1.8.0_141