windows虚拟机中配置Hadoop Hive(二)

windows虚拟机中配置Hadoop Hive(二)

完全分布式:Hadoop守护进程运行在一个集群上
伪分布式:在单节点集群上运行Hadoop,其中所有的守护进程都运行在同一台机器上.对机器的消耗更小一点.

一 利用Xftp将软件包上传到Linux中

我们不要用root用户登录,使用Hadoop用户登录,将软件传输到Hadoop的目录下:

在xshell 中 检查一下是否有这几个软件:

二 配制免密登录

免密码登录的原因:如果集群不是伪分布式的,那么在存文件的时候,有多份,比如存了三份,那么在下载的时候他会从不同的块下载,你要下载node101的文件,需要先进入才能下载.如果不配置免密登录,需要先输入密码,三个结点的话每次输密码我可以接受,但是如果3个文件10000个块,块在不同的机器上,你要输入这么多密码,心里是不是很崩溃.

• 1 切换到root用户:su - root
• 2 关闭selinux: vim /etc/selinux/config 按i进入插入模式, SELINUX=disabled
  

esc :wq 保存并退出.clear清屏

• 3 切换到Hadoop用户:su - hadoop
• 4 进入Hadoop的家目录: cd
  
  进入Hadoop家目录后,输入下面的命令:
  注:ssh的意思登录到其他机器的意思,我现在是node100,要登录到101,在一个集群上是可以登录的,登录后相当于可以进入另一台电脑上了.
  ssh-keygen -t rsa [输入完后连按4个回车]
  ssh node100 [yes，输入hadoop用户的密码]
  ssh-copy-id node100 [输入hadoop用户的密码]

检查是否成功:ssh node100 不需要密码即可登录

三 解压软件包到/opt/module

先切换到root,在opt里面创建一个文件夹module:
在root用户下切换到opt文件夹:cd /opt/
创建module文件夹:mkdir module

更改所有者和所有组给Hadoop:
chgrp hadoop module/
chown hadoop module/


回到的家目录开始解压:
cd
tar -zxvf ./jdk-8u181-linux-x64.tar.gz -C /opt/module/
tar -zxvf ./hadoop-2.7.3.tar.gz -C /opt/module/
tar -zxvf ./apache-hive-3.1.1-bin.tar.gz -C /opt/module/

四 编辑环境变量：

cd 进入家目录,这个.bash_profile是一个隐藏文件
vim ~/.bash_profile

在文件末尾(光标移到最后一行,按一个小写的o)添加
JAVA_HOME=/opt/module/jdk1.8.0_181
HADOOP_HOME=/opt/module/hadoop-2.7.3
HIVE_HOME=/opt/module/apache-hive-3.1.1-bin
PATH= P A T H : PATH: