【超详细】从VMware安装到Hadoop+Hbase完全分布式搭建到音乐排行榜综合实验

目录

 

一、VMware安装

二、VMwareTools安装

三、更新apt

四、安装配置SSH

五、安装JAVA环境

六、Hadoop安装

七、克隆一台slave

八、修改主机名和测试连通

九、SSH无密码登录Slave

十、配置集群/分布式环境

十一、Hbase的安装与配置

十二、MapReduce与Hbase集成环境

十三、Eclipse安装与配置

十四、音乐排行榜综合实验

---

一、VMware安装

注意：如果选择的系统是64位Ubuntu系统，那么在安装虚拟机前，我们还要进入BIOS开启CPU的虚拟化

VMware Workstation安装

双击，选择安装目录，一路next，即可完成。

双击桌面上的图标，然后输入产品序列号。

配置Vmware

安装好VMware，打开VMware主界面，点击”创建新的虚拟机”

选择”典型”然后下一步

直接下一步

稍后安装操作系统

选择”Linux”系统,版本选择”Ubuntu 64位”

选择合适的位置安装

自定义硬件

内存分配2GB

选择完ISO映像文件后，点“关闭”，最后点击“完成”。

 

二、VMwareTools安装

点击“虚拟机”，点击“安装VMware tool”。

将圈出来的这个安装包复制到home下，并解压（用命令（tar  zxvf  VMwareTools-10.0.10-4301679.tar.gz）或者右键解压都行，下划线处为自己的包名，可能会不同）。

如图，可得到文件夹vmware-tools-distrib

后面就一路回车。直到他跳出：

至此，安装完毕，重新启动虚拟机。重启后才能生效。

三、更新apt

选择服务器后，会让你授权，就输入一下密码。

然后点击“关闭，会弹出上面的弹窗，点击“重新载入”。

等他更新完，ctrl+Alt+t快捷键打开终端。

sudo apt-get update

sudo apt-get install vim 顺带手装个vim，vi的增强版。

会问“您希望继续执行吗？”打个Y就行，然后开始安装，等。

四、安装配置SSH

sudo apt-get install openssh-server

ssh localhost 

exit                           # 退出刚才的 ssh localhost

cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以

cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

再次ssh localhost，就会发现直接登录，无需密码。

五、安装JAVA环境

创建一个目录，用于放置JDk：sudo  mkdir  –p  /usr/lib/jvm

将jdk的包解压到上述目录：sudo  tar  zxvf  jdk-8u101-linux-x64.tar.gz  -C  /usr/lib/jvm

配置环境变量，输入命令：vim  ~/.bashrc

打开文件后，按i键，将光标移动最后面添加以下内容：

export  JAVA_HOME=/usr/lib/jvm/jdk1.8.0_101
export  JRE_HOME=${JAVA_HOME}/jre
export  CLASSPATH=.:{JAVA_HOME}/lib:${JRE_HOME}/lib
export  PATH=${JAVA_HOME}/bin:$PATH

按下Esc键，取消输入，“:wq”，保存并退出。

使配置生效：source  ~/.bashrc

验证是否成功：java  -version

六、Hadoop安装

sudo  tar  zxvf  hadoop-2.6.0.tar.gz  -C  /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       # 修改文件权限

验证hadoop安装是否正确：

cd /usr/local/hadoop
./bin/hadoop version

配置hadoop环境：

vim ~/.bashrc

在文件最末尾插入：

保存退出。

使之生效。

cd /usr/local/hadoop/etc/hadoop

找到hadoop-env.sh，打开

将这里，修改为具体的Java路径：

/usr/lib/jvm/jdk1.8.0_101

七、克隆一台slave

首先，将master关机，因为运行中和挂起状态无法克隆。

然后在左边栏中，找到Master，右键，管理，克隆。就会出现如上图弹框。