拿好!你们的大数据云计算作业之hadoop搭建

写在前面

每搭一次hadoop,我都感受到新一轮的窒息,终于在第二次整明白了点,一点经验,希望大家看了以后比我顺利!

用到的工具&安装包

VMworkstation、Xshell、WinSCP、CentOS7镜像、jdk-8u202-linux-x64.tar.gz、hadoop-2.6.0.tar.gz。

这里强调一下,
不要用最新的jdk和hadoop!
不要用最新的jdk和hadoop!
不要用最新的jdk和hadoop!
这是导致我窒息的主要原因,官网十几k的那么下了半天,最后还不好用,你说气不气,后面要运行jar包,plugin找不到,自己生成还老是报错的时候,你就跪着哭吧~
对linux命令不熟悉的,也请老老实实下载tar.gz的压缩包吧!万一出了错还好找解决办法。
WinSCP是个好东西!谁用谁知道!

详细步骤

最开始,在VM上创建一台虚拟机,按照以下步骤部署就够了,slave就用克隆(这里搭建的是伪分布式,一台master,一台slave,多台slave的照着套就行),自己复制目录过去万一掉点啥,你不知道,我也不知道~

配置Host文件及修改主机名

vi /etc/hosts

在文末加入以下内容,注意master和slaveX仅为节点主机名字,也可以换,但一定要与主机名对应。配置Host文件主要是实现路由映射,使得各虚拟机节点之间能够通过主机名直接进行互相访问。

X.X.X.X master 
X.X.X.X slave1 
X.X.X.X slave2 
修改主机名

我参考的这篇文章linux更改主机名的方法,解决不生效问题
通过修改/etc/hostname来更改主机名,这种方法修改完之后必须重启服务才会生效,一般适用于Centos7系列的linux发行版
可以先使用cat /etc/hostname查看
使用vim /etc/hostname更改,改完保存退出
重启服务:

systemctl restart systemd-hostnamed

检查or安装jdk

1 检查是否存在jdk
rpm -qa | grep java

若有请删除

rpm -e --nodeps jdk 软件名称
2 安装jdk

2.1 使用wget下载tar.gz安装包

wget 下载链接

这里的下载文件会直接存在root文件夹下(前提是你以root用户登录)
2.2 解压jdk的包
格式如下:

tar -zxvf jdk压缩包名称 -C 解压到哪个目录

一般大家都会把jdk(包括hadoop)安装在/usr/local/下,第一次就都这么来吧!不为别的,复制粘贴时不用自己改路径,岂不美哉~

tar -zxvf jdk-8u202-linux-x64.tar.gz -C /usr/local/
  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值