Ubuntu的安装与MapReduce程序的编译运行

目录一、在Windows中使用VirtualBox安装Ubuntu1.安装前的准备2. 安装Ubuntu二、Hadoop安装教程_单机/伪分布式配置1.创建hadoop用户2.更新apt3.安装SSH、配置SSH无密码登陆4.安装Java环境5.安装 Hadoop 26.Hadoop单机配置(非分布式)7.Hadoop伪分布式配置8.运行Hadoop伪分布式实例三、分布式文件系统HDFS1.利用Shell命令与HDFS进行交互1.目录操作2.文件操作2.利用Java API与HDFS进行交互3.利用Java
摘要由CSDN通过智能技术生成

一、在Windows中使用VirtualBox安装Ubuntu

1.安装前的准备

(1)打开VirtualBox,点击“创建”按钮,创建一个虚拟机
(2)给虚拟机命名,选择操作系统,版本
(3)如果您选择的系统是32位Ubuntu,那么版本请选择“Ubuntu (32 bit)”
(4) 如果您选择的系统是64位Ubuntu,那么版本请选择“Ubuntu (64 bit)”
(5)如果界面中有“文件夹”选项,则在“文件夹”后面可以设置为本地磁盘目录,比如“D:\”。
在这里插入图片描述
(6)选择内存大小
因为笔者的电脑总内存为4GB,因此这里划分1GB的内存给Ubuntu(实际上在这种配置运行虚拟机以后,仍会稍显卡顿,建议电脑总内存增加到8GB以上)。如果你电脑上的总内存有8GB,那么可以划分3GB内存给Ubuntu,这样运行会快很多。
在这里插入图片描述
(7)创建虚拟硬盘
在这里插入图片描述
(8)选择虚拟硬盘文件类型VDI
在这里插入图片描述(9)虚拟硬盘选择动态分配
在这里插入图片描述
(10)选择文件存储的位置和容量大小
如果只是学习hadoop,那么默认8G容量是够用的。但是考虑到读 者可能安装其他应用软件,因此这里划分30GB用于文件存储(如 果少于30GB,后期会出现磁盘空间不够的情况)。
在这里插入图片描述
(11)点击创建就可以

2. 安装Ubuntu

(1)选择下载的Ubuntu LTS 14.04的ISO映像文件
进入存储设置界面后,点击没有盘片,再点击光盘按钮,选择一个虚拟光驱,添加上面您下载的Ubuntu LTS 14.04 ISO映像文件。
在这里插入图片描述
(2)选择刚创建的虚拟机Ubuntu,点击“启动”按钮
启动如果看到下面的界面,那么请下拉选项选择你刚才选择的ISO文件。(如果没有出现此界面,直接跳往下一步即可)
启动看到Ubuntu 的安装欢迎界面,选择你想用的语言,推荐使用中文(简体)
在这里插入图片描述
(3)检查是否连接网络,是否安装第三方软件
直接点击“继续”按钮。
在这里插入图片描述
(4)确认安装类型
我们选择”其他选项”,在点击继续
安装完成后,选择时区
时区选择默认即可,点击“继续”
在这里插入图片描述
(5)键盘布局
左右栏目都选择汉语即可
在这里插入图片描述
(6)设置用户名和密码
建议选择“登录时需要密码”选项。由于我们现在处于学习阶段,不需要考虑安全问题,密码建议使用一位的密码,
这样在安装软件需要输入密码的时候也比较方便。
在这里插入图片描述
(7)点击继续,现在安装过程,系统会自动安装,不要点击skip,可以泡杯咖啡,等候系统自动安装完成。
安装完成,重启安装终于完成,点击“现在重启”即可。“现在重启”只是重启虚拟机系统的运行,并不是重启Windows系统。
在这里插入图片描述
在这里插入图片描述

二、Hadoop安装教程_单机/伪分布式配置

1.创建hadoop用户

(1)首先按 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 :
$ sudo useradd -m hadoop -s /bin/bash
(2)接着使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次密码:
$ sudo passwd hadoop
(3)可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:
$ sudo adduser hadoop sudo
(4)最后注销当前用户(点击屏幕右上角的齿轮,选择注销),返回登陆界面。在登陆界面中选择刚创建的 hadoop 用户进行登陆。

2.更新apt

(1)用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了。
按 ctrl+alt+t 打开终端窗口,执行如下命令:
$ sudo apt-get update
(2)后续需要更改一些配置文件,我比较喜欢用的是 vim(vi增强版,基本用法相同),
建议安装一下(如果你实在还不会用 vi/vim 的,请将后面用到 vim 的地方改为 gedit,
这样可以使用文本编辑器进行修改,并且每次文件更改完成后请关闭整个 gedit 程序,否则会占用终端):
$ sudo apt-get install vim
(3)安装软件时若需要确认,在提示处输入 y 即可
在这里插入图片描述

3.安装SSH、配置SSH无密码登陆

(1)集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:
$ sudo apt-get install openssh-server
(2)安装后,可以使用如下命令登陆本机:
$ ssh localhost
(3)此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入密码 hadoop,这样就登陆到本机了。
在这里插入图片描述
(4)但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。
首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成 密钥,并将密钥加入到授权中:
$ exit
$ cd ~/.ssh/
$ ssh-keygen -t rsa
$ cat ./id_rsa.pub >> ./authorized_keys
(5)此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了,如下图所示。
在这里插入图片描述

4.安装Java环境

(1)第1种安装JDK方式(手动安装,推荐采用本方式)
需要按照下面步骤来自己手动安装JDK1.8。
我们已经把JDK1.8的安装包jdk-8u162-linux-x64.tar.gz放在了百度云盘,可以点击 这里到百度云盘下载JDK1.8安装包(提取码:99bg)。请把压缩格式的文件jdk-8u162-linux-x64.tar.gz下载到本地电脑,假设保存在“/home/linziyu/Downloads/”目录下。
在Linux命令行界面中,执行如下Shell命令(注意:当前登录用户名是hadoop):
$ cd /usr/lib
$ sudo mkdir jvm
$ cd ~
$ cd Downloads
$ sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm
(2)上面使用了解压缩命令tar,如果对Linux命令不熟悉,可以参考常用的Linux命令用法。
JDK文件解压缩以后,可以执行如下命令到/usr/lib/jvm目录查看一下:
$ cd /usr/lib/jvm
$ ls
(3)可以看到,在/usr/lib/jvm目录下有个jdk1.8.0_162目录。
下面继续执行如下命令,设置环境变量:
$ cd ~
$ vim ~/.bashrc
(4)上面命令使用vim编辑器(查看vim编辑器使用方法)打开了hadoop这个用户的环境变量配置文件,请在这个文件的开头位置,添加如下几行内容:export
JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME= J A V

  • 1
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值