数据挖掘学习日记9·Hadoop环境搭建(一)

引言

数据挖掘基础课程告一段落，接下来要开始Hadoop的课程学习。

课程准备的第一步，便是环境搭建，包括CentOS系统准备、jdk、maven、sql、tomcat、eclipse(可选)的安装。

接下来依次进行。本次安装CentOS、jdk、eclipse的安装。

CentOS系统准备

使用的机器是暗影精灵3，系统是win10。

上学期学习Linux时，试图安装Win10+Ubuntu的双系统，但是以失败告终。去请教了老师也没得到解决方案，好像是显卡相关的问题，另一个用游戏本的同学也遇到了相同的问题。

于是此次将CentOS装在虚拟机中。

使用的软件是Oracle Vitual Box。

步骤

1. 点击工具栏的新建，在弹出的对话框中填写相应的信息：

名称：随便写

类型：Linux

版本：other windows(64-bit)

2. 点击下一步，选择分配的内存大小，至少2G，不然后面安装系统的时候会报内存不足的错误。

3. 点击下一步，选择“现在创建虚拟硬盘”单选框，点击“创建”按钮。

4. 点击“专家模式”，修改文件大小。因为接下来要使用Hadoop，所以选大一点，16G以上，建议20G。修改完参数后点击创建即可。

5. 双击列表中新创建的虚拟机，根据引导完成装机。

※正式的工作中，一般不会安装图形界面。但为了学习方便，不妨在安装时选择Desktop版本。

虚拟机与原生系统的文件共享

推荐大家使用WinCP，网络博客上有很多教程，不赘述。

要实现文件共享，还有另外一种方法——安装VirtualBox扩展。

VirtualBox Extension Pack实现文件共享

一、 前提

安装扩展包之前，请保证你的CentOS中已经安装了一下两个东西：

• 最新的gcc
• kernel

否则会出现以下问题：

1. gcc

可通过以下命令进行安装：

$ yum install gcc

可以通过以下命令来检查是否安装成功：

$ which gcc

更详细的教程请点击这里查看。

2. kernel

可以通过以下命令进行安装：

$ sudo yum install kernel-devel
$ sudo yum install kernel

更详细的教程请点击这里查看。

二、资源获取

大家可以从这里获取（VirtialBox官网，找列表中的"VirtualBox 6.0.4 Oracle VM VirtualBox Extension Pack"，点击下方链接All supported platforms即可下载）。

三、安装

将资源下载到本地后，启动CentOS，双击资源，在虚拟机界面上方的菜单栏找到“设备”选项卡，点击选项卡下的“安装增强功能”，按提示走即可。

安装完成后，设置菜单栏中的“设备-共享粘贴板”、“设备-拖放”都为双向，可实现虚拟机和物理机的粘贴板互通，同时可以直接把文件从物理机拽到虚拟机中。

但是我的笔记本无法通过“拖放”功能传送功能，于是我又设置了“设备-共享文件夹”，具体方法请看这里。设置完之后，使用

$ shutdown -r now

命令重启虚拟机后生效。

JDK安装

您的CentOS很可能本身就自带jdk，但由于其完整性无法保证，为后期开发便利，建议卸载掉重新安装上官方版本。

方法一：可以现在物理机上准备好Linux版本的jdk，传送到虚拟机上安装，也可以直接在虚拟机上下载。下载后，在本地用命令

tar -xvzf 文件名

>>参考

进行解压。

方法二：直接使用yum命令安装。

安装的详细方法请看这里。

eclipse安装

显然，在正式的工作中基本不会直接在部署环境下进行编码。我们可以选择将代码打好包丢过去，但为了学习和练习的方便，不妨直接在CentOS的图形界面上也安装上eclipse。

这里附上官网下载链接?。

 

好，以上就是Hadoop环境搭建的第一部分。