【超详细】从VMware安装到Hadoop+Hbase完全分布式搭建到音乐排行榜综合实验

本文详细介绍了从VMware安装到Hadoop和Hbase的完全分布式环境搭建,包括VMwareTools的安装、系统配置、JAVA环境安装、SSH设置,以及Hadoop集群配置和Hbase的安装与集成。最后通过音乐排行榜的综合实验验证了配置的正确性。
摘要由CSDN通过智能技术生成

目录

 

一、VMware安装

二、VMwareTools安装

三、更新apt

四、安装配置SSH

五、安装JAVA环境

六、Hadoop安装

七、克隆一台slave

八、修改主机名和测试连通

九、SSH无密码登录Slave

十、配置集群/分布式环境

十一、Hbase的安装与配置

十二、MapReduce与Hbase集成环境

十三、Eclipse安装与配置

十四、音乐排行榜综合实验


一、VMware安装

注意:如果选择的系统是64Ubuntu系统,那么在安装虚拟机前,我们还要进入BIOS开启CPU的虚拟化

VMware Workstation安装

双击,选择安装目录,一路next,即可完成。

双击桌面上的图标,然后输入产品序列号。

配置Vmware

安装好VMware,打开VMware主界面,点击”创建新的虚拟机”

选择”典型”然后下一步

直接下一步

稍后安装操作系统

选择”Linux”系统,版本选择”Ubuntu 64位”

选择合适的位置安装

自定义硬件

内存分配2GB

选择完ISO映像文件后,点“关闭”,最后点击“完成”。

 

二、VMwareTools安装

点击“虚拟机”,点击“安装VMware tool”。

将圈出来的这个安装包复制到home下,并解压(用命令(tar  zxvf  VMwareTools-10.0.10-4301679.tar.gz)或者右键解压都行,下划线处为自己的包名,可能会不同)。

如图,可得到文件夹vmware-tools-distrib

后面就一路回车。直到他跳出:

至此,安装完毕,重新启动虚拟机。重启后才能生效。

三、更新apt

选择服务器后,会让你授权,就输入一下密码。

然后点击“关闭,会弹出上面的弹窗,点击“重新载入”。

等他更新完,ctrl+Alt+t快捷键打开终端。

sudo apt-get update

sudo apt-get install vim 顺带手装个vim,vi的增强版。

会问“您希望继续执行吗?”打个Y就行,然后开始安装,等。

四、安装配置SSH

sudo apt-get install openssh-server

ssh localhost 

exit                           # 退出刚才的 ssh localhost


cd ~/.ssh/                     # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示,都按回车就可以


cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

再次ssh localhost,就会发现直接登录,无需密码。

五、安装JAVA环境

创建一个目录,用于放置JDk:sudo  mkdir  –p  /usr/lib/jvm

将jdk的包解压到上述目录:sudo  tar  zxvf  jdk-8u101-linux-x64.tar.gz  -C  /usr/lib/jvm

配置环境变量,输入命令:vim  ~/.bashrc

打开文件后,按i键,将光标移动最后面添加以下内容:

export  JAVA_HOME=/usr/lib/jvm/jdk1.8.0_101
export  JRE_HOME=${JAVA_HOME}/jre
export  CLASSPATH=.:{JAVA_HOME}/lib:${JRE_HOME}/lib
export  PATH=${JAVA_HOME}/bin:$PATH

按下Esc键,取消输入,“:wq”,保存并退出。

使配置生效:source  ~/.bashrc

验证是否成功:java  -version

六、Hadoop安装

sudo  tar  zxvf  hadoop-2.6.0.tar.gz  -C  /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       # 修改文件权限

验证hadoop安装是否正确:

cd /usr/local/hadoop
./bin/hadoop version

配置hadoop环境:

vim ~/.bashrc

在文件最末尾插入:

保存退出。

使之生效。

cd /usr/local/hadoop/etc/hadoop

找到hadoop-env.sh,打开

将这里,修改为具体的Java路径:

/usr/lib/jvm/jdk1.8.0_101

七、克隆一台slave

首先,将master关机,因为运行中和挂起状态无法克隆。

然后在左边栏中,找到Master,右键,管理,克隆。就会出现如上图弹框。

  • 3
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值