文章目录
windows虚拟机中配置Hadoop Hive(二)
完全分布式:Hadoop守护进程运行在一个集群上
伪分布式:在单节点集群上运行Hadoop,其中所有的守护进程都运行在同一台机器上.对机器的消耗更小一点.
一 利用Xftp将软件包上传到Linux中
我们不要用root用户登录,使用Hadoop用户登录,将软件传输到Hadoop的目录下:
在xshell 中 检查一下是否有这几个软件:
二 配制免密登录
免密码登录的原因:如果集群不是伪分布式的,那么在存文件的时候,有多份,比如存了三份,那么在下载的时候他会从不同的块下载,你要下载node101的文件,需要先进入才能下载.如果不配置免密登录,需要先输入密码,三个结点的话每次输密码我可以接受,但是如果3个文件10000个块,块在不同的机器上,你要输入这么多密码,心里是不是很崩溃.
- 1 切换到root用户:
su - root
- 2 关闭selinux:
vim /etc/selinux/config
按i进入插入模式,SELINUX=disabled
esc :wq
保存并退出.clear清屏
- 3 切换到Hadoop用户:
su - hadoop
- 4 进入Hadoop的家目录:
cd
进入Hadoop家目录后,输入下面的命令:
注:ssh的意思登录到其他机器的意思,我现在是node100,要登录到101,在一个集群上是可以登录的,登录后相当于可以进入另一台电脑上了.
ssh-keygen -t rsa
[输入完后连按4个回车]
ssh node100
[yes,输入hadoop用户的密码]
ssh-copy-id node100
[输入hadoop用户的密码]
检查是否成功:ssh node100
不需要密码即可登录
三 解压软件包到/opt/module
先切换到root,在opt里面创建一个文件夹module:
在root用户下切换到opt文件夹:cd /opt/
创建module文件夹:mkdir module
更改所有者和所有组给Hadoop:
chgrp hadoop module/
chown hadoop module/
回到的家目录开始解压:
cd
tar -zxvf ./jdk-8u181-linux-x64.tar.gz -C /opt/module/
tar -zxvf ./hadoop-2.7.3.tar.gz -C /opt/module/
tar -zxvf ./apache-hive-3.1.1-bin.tar.gz -C /opt/module/
四 编辑环境变量:
cd
进入家目录,这个.bash_profile是一个隐藏文件
vim ~/.bash_profile
在文件末尾(光标移到最后一行,按一个小写的o)添加
JAVA_HOME=/opt/module/jdk1.8.0_181
HADOOP_HOME=/opt/module/hadoop-2.7.3
HIVE_HOME=/opt/module/apache-hive-3.1.1-bin
PATH= P A T H : PATH: