Ubuntu Kylin中在Hadoop的环境下对各个单词出现次数进行统计

本文介绍了在Ubuntu Kylin操作系统中,如何搭建Hadoop环境,安装Eclipse,配置Hadoop伪分布式,并通过Eclipse实现MapReduce的WordCount程序,统计单词出现次数,最后将结果保存到本地。
摘要由CSDN通过智能技术生成

安装Ubuntu

这里贴一个ubuntu的官方网站链接,可以下载到ubuntu 16.04的iso文件

https://wiki.ubuntu.com/XenialXerus/ReleaseNotes?_ga=2.66502190.1690246585.1511691893-1975959426.1511691893.

创建hadoop环境

在终端中创建名为hadoop的用户,使用 /bin/bash 作为 shell。

下面展示一些 内联代码片

sudo apt-get install vim

这条命令创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell。
接着使用如下命令设置密码,密码随便设置,记得住就好。

sudo apt-get install openssh-server

为 hadoop 用户增加管理员权限,不加的话后面步骤不能进行。

ssh localhost

注销以下,然后用刚创建的 hadoop 用户进行登陆
在这里插入图片描述

更新apt

在终端窗口输入命令更新apt,如果不更新的话可能导致后面步骤无法完成

sudo apt-get update

在这里插入图片描述
如果有命令更新无效可以更改软件源解决。
在这里插入图片描述
这里安装一下vim

sudo apt-get install vim

在这里插入图片描述

安装Java环境

下载安装jdk的官网地址为:
链接: http://www.oracle.com/technetwork/java/javase/downloads/index.html。.
点击安装,然后点击下一步,知道安装完毕。

接下里在Linux命令行界面中执行如下命令

cd /usr/lib
sudo mkdir jvm		#创建/usr/lib/jvm目录用来存放JDK文件
cd ~		#进入hadoop用户的主目录
cd 下载		#英文注意区分大小写字母,刚才已经通过把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该目录下
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm		#把JDK文件解压到/usr/lib/jvm目录下

JDK文件解压缩以后,可以执行如下命令到解压目录下查看

cd /usr/lib/jvm
ls

在这里插入图片描述

接下来设置JAVA环境变量

cd ~
vim ~/.bashrc

打开环境变量配置.bashrc文件
在这里插入图片描述

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${
   JAVA_HOME}/jre
export CLASSPATH=.:${
   JAVA_HOME}/lib:${
   JRE_HOME}/lib
export PATH=${
   JAVA_HOME}/bin:$PATH

在这里插入图片描述
保存文件并退出编辑器

:wq

执行如下命令使得配置生效

source ~/.bashrc

这时候可以使用如下命令查看是否安装成功

java -version

在这里插入图片描述

安装Hadoop

Hadoop官网:http://hadoop.apache.org/.
我这里用的Hadoop版本下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.5/.

先将Hadoop安装到目标文件夹

sudo tar -zxf ~/下载/hadoop-2.10.0.tar.gz -C /usr/local		#解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop		#将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop		#修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值