引言
数据挖掘基础课程告一段落,接下来要开始Hadoop的课程学习。
课程准备的第一步,便是环境搭建,包括CentOS系统准备、jdk、maven、sql、tomcat、eclipse(可选)的安装。
接下来依次进行。本次安装CentOS、jdk、eclipse的安装。
CentOS系统准备
使用的机器是暗影精灵3,系统是win10。
上学期学习Linux时,试图安装Win10+Ubuntu的双系统,但是以失败告终。去请教了老师也没得到解决方案,好像是显卡相关的问题,另一个用游戏本的同学也遇到了相同的问题。
于是此次将CentOS装在虚拟机中。
使用的软件是Oracle Vitual Box。
步骤
1. 点击工具栏的新建,在弹出的对话框中填写相应的信息:
名称:随便写
类型:Linux
版本:other windows(64-bit)
2. 点击下一步,选择分配的内存大小,至少2G,不然后面安装系统的时候会报内存不足的错误。
3. 点击下一步,选择“现在创建虚拟硬盘”单选框,点击“创建”按钮。
4. 点击“专家模式”,修改文件大小。因为接下来要使用Hadoop,所以选大一点,16G以上,建议20G。修改完参数后点击创建即可。
5. 双击列表中新创建的虚拟机,根据引导完成装机。
※正式的工作中,一般不会安装图形界面。但为了学习方便,不妨在安装时选择Desktop版本。
虚拟机与原生系统的文件共享
推荐大家使用WinCP,网络博客上有很多教程,不赘述。
要实现文件共享,还有另外一种方法——安装VirtualBox扩展。
VirtualBox Extension Pack实现文件共享
一、 前提
安装扩展包之前,请保证你的CentOS中已经安装了一下两个东西:
- 最新的gcc
- kernel
否则会出现以下问题:
1. gcc
可通过以下命令进行安装:
$ yum install gcc
可以通过以下命令来检查是否安装成功:
$ which gcc
更详细的教程请点击这里查看。
2. kernel
可以通过以下命令进行安装:
$ sudo yum install kernel-devel
$ sudo yum install kernel
更详细的教程请点击这里查看。
二、资源获取
大家可以从这里获取(VirtialBox官网,找列表中的"VirtualBox 6.0.4 Oracle VM VirtualBox Extension Pack",点击下方链接All supported platforms即可下载)。
三、安装
将资源下载到本地后,启动CentOS,双击资源,在虚拟机界面上方的菜单栏找到“设备”选项卡,点击选项卡下的“安装增强功能”,按提示走即可。
安装完成后,设置菜单栏中的“设备-共享粘贴板”、“设备-拖放”都为双向,可实现虚拟机和物理机的粘贴板互通,同时可以直接把文件从物理机拽到虚拟机中。
但是我的笔记本无法通过“拖放”功能传送功能,于是我又设置了“设备-共享文件夹”,具体方法请看这里。设置完之后,使用
$ shutdown -r now
命令重启虚拟机后生效。
JDK安装
您的CentOS很可能本身就自带jdk,但由于其完整性无法保证,为后期开发便利,建议卸载掉重新安装上官方版本。
方法一:可以现在物理机上准备好Linux版本的jdk,传送到虚拟机上安装,也可以直接在虚拟机上下载。下载后,在本地用命令
tar -xvzf 文件名
进行解压。
方法二:直接使用yum命令安装。
安装的详细方法请看这里。
eclipse安装
显然,在正式的工作中基本不会直接在部署环境下进行编码。我们可以选择将代码打好包丢过去,但为了学习和练习的方便,不妨直接在CentOS的图形界面上也安装上eclipse。
这里附上官网下载链接?。
好,以上就是Hadoop环境搭建的第一部分。