数据挖掘学习日记9·Hadoop环境搭建(一)

引言

数据挖掘基础课程告一段落,接下来要开始Hadoop的课程学习。

课程准备的第一步,便是环境搭建,包括CentOS系统准备、jdk、maven、sql、tomcat、eclipse(可选)的安装。

接下来依次进行。本次安装CentOS、jdk、eclipse的安装。

CentOS系统准备

使用的机器是暗影精灵3,系统是win10。

上学期学习Linux时,试图安装Win10+Ubuntu的双系统,但是以失败告终。去请教了老师也没得到解决方案,好像是显卡相关的问题,另一个用游戏本的同学也遇到了相同的问题。

于是此次将CentOS装在虚拟机中。

使用的软件是Oracle Vitual Box。

步骤

1. 点击工具栏的新建,在弹出的对话框中填写相应的信息:

名称:随便写

类型:Linux

版本:other windows(64-bit)

2. 点击下一步,选择分配的内存大小,至少2G,不然后面安装系统的时候会报内存不足的错误。

3. 点击下一步,选择“现在创建虚拟硬盘”单选框,点击“创建”按钮。

4. 点击“专家模式”,修改文件大小。因为接下来要使用Hadoop,所以选大一点,16G以上,建议20G。修改完参数后点击创建即可。

5. 双击列表中新创建的虚拟机,根据引导完成装机。

※正式的工作中,一般不会安装图形界面。但为了学习方便,不妨在安装时选择Desktop版本

虚拟机与原生系统的文件共享

推荐大家使用WinCP,网络博客上有很多教程,不赘述。

要实现文件共享,还有另外一种方法——安装VirtualBox扩展。

VirtualBox Extension Pack实现文件共享

一、 前提

安装扩展包之前,请保证你的CentOS中已经安装了一下两个东西:

  • 最新的gcc
  • kernel

否则会出现以下问题:

1. gcc

可通过以下命令进行安装:

$ yum install gcc

可以通过以下命令来检查是否安装成功:

$ which gcc

更详细的教程请点击这里查看。

2. kernel

可以通过以下命令进行安装:

$ sudo yum install kernel-devel
$ sudo yum install kernel

更详细的教程请点击这里查看。

二、资源获取

大家可以从这里获取(VirtialBox官网,找列表中的"VirtualBox 6.0.4 Oracle VM VirtualBox Extension Pack",点击下方链接All supported platforms即可下载)。

三、安装

将资源下载到本地后,启动CentOS,双击资源,在虚拟机界面上方的菜单栏找到“设备”选项卡,点击选项卡下的“安装增强功能”,按提示走即可。

安装完成后,设置菜单栏中的“设备-共享粘贴板”、“设备-拖放”都为双向,可实现虚拟机和物理机的粘贴板互通,同时可以直接把文件从物理机拽到虚拟机中。

但是我的笔记本无法通过“拖放”功能传送功能,于是我又设置了“设备-共享文件夹”,具体方法请看这里。设置完之后,使用

$ shutdown -r now

命令重启虚拟机后生效。

JDK安装

您的CentOS很可能本身就自带jdk,但由于其完整性无法保证,为后期开发便利,建议卸载掉重新安装上官方版本。

方法一:可以现在物理机上准备好Linux版本的jdk,传送到虚拟机上安装,也可以直接在虚拟机上下载。下载后,在本地用命令

tar -xvzf 文件名

>>参考

进行解压。

方法二:直接使用yum命令安装。

安装的详细方法请看这里

eclipse安装

显然,在正式的工作中基本不会直接在部署环境下进行编码。我们可以选择将代码打好包丢过去,但为了学习和练习的方便,不妨直接在CentOS的图形界面上也安装上eclipse。

这里附上官网下载链接?。

 

好,以上就是Hadoop环境搭建的第一部分。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值