hadoop搭建一条龙
写在前面
每搭一次hadoop,我都感受到新一轮的窒息,终于在第二次整明白了点,一点经验,希望大家看了以后比我顺利!
用到的工具&安装包
VMworkstation、Xshell、WinSCP、CentOS7镜像、jdk-8u202-linux-x64.tar.gz、hadoop-2.6.0.tar.gz。
这里强调一下,
不要用最新的jdk和hadoop!
不要用最新的jdk和hadoop!
不要用最新的jdk和hadoop!
这是导致我窒息的主要原因,官网十几k的那么下了半天,最后还不好用,你说气不气,后面要运行jar包,plugin找不到,自己生成还老是报错的时候,你就跪着哭吧~
对linux命令不熟悉的,也请老老实实下载tar.gz的压缩包吧!万一出了错还好找解决办法。
WinSCP是个好东西!谁用谁知道!
详细步骤
最开始,在VM上创建一台虚拟机,按照以下步骤部署就够了,slave就用克隆(这里搭建的是伪分布式,一台master,一台slave,多台slave的照着套就行),自己复制目录过去万一掉点啥,你不知道,我也不知道~
配置Host文件及修改主机名
vi /etc/hosts
在文末加入以下内容,注意master和slaveX仅为节点主机名字,也可以换,但一定要与主机名对应。配置Host文件主要是实现路由映射,使得各虚拟机节点之间能够通过主机名直接进行互相访问。
X.X.X.X master
X.X.X.X slave1
X.X.X.X slave2
修改主机名
我参考的这篇文章linux更改主机名的方法,解决不生效问题
通过修改/etc/hostname来更改主机名,这种方法修改完之后必须重启服务才会生效,一般适用于Centos7系列的linux发行版
可以先使用cat /etc/hostname
查看
使用vim /etc/hostname
更改,改完保存退出
重启服务:
systemctl restart systemd-hostnamed
检查or安装jdk
1 检查是否存在jdk
rpm -qa | grep java
若有请删除
rpm -e --nodeps jdk 软件名称
2 安装jdk
2.1 使用wget下载tar.gz安装包
wget 下载链接
这里的下载文件会直接存在root文件夹下(前提是你以root用户登录)
2.2 解压jdk的包
格式如下:
tar -zxvf jdk压缩包名称 -C 解压到哪个目录
一般大家都会把jdk(包括hadoop)安装在/usr/local/下,第一次就都这么来吧!不为别的,复制粘贴时不用自己改路径,岂不美哉~
tar -zxvf jdk-8u202-linux-x64.tar.gz -C /usr/local/