在VirtualBox中使用Ubuntu系统上传单词文件至HDFS，运用Map reduce进行计数

最新推荐文章于 2022-12-13 15:37:33 发布
最新推荐文章于 2022-12-13 15:37:33 发布
阅读量650 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45150813/article/details/111136787
版权

在VirtualBox中使用Ubuntu系统上传单词文件至HDFS，运用Mapreduce进行计数

1.Hadoop搭建

本文所用环境基于Ubuntu安装完毕。

1.1创建hadoop用户

首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 :

| sudo useradd -m hadoop -s /bin/bash

接着使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码：

sudo passwd hadoop

可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题：

sudo adduser hadoop sudo

1.2 更新apt

用 hadoop 用户登录后，我们先更新一下 apt，后续我们使用 apt 安装软件，如果没更新可能有一些软件安装不了。按 ctrl+alt+t 打开终端窗口，执行如下命令：

sudo apt-get update

若出现如下 “Hash校验和不符” 的提示，可通过更改软件源来解决。若没有该问题，则不需要更改。从软件源下载某些软件的过程中，可能由于网络方面的原因出现没法下载的情况，那么建议更改软件源。

后续由于需要更改配置文件，故安装vim编辑器，命令如下：

sudo apt-get install vim

安装时会出现确认，只需要输入y即可
在这里插入图片描述

1.3安装SSH、配置SSH无密码登陆

集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：

sudo apt-get install openssh-server

安装后，可以使用如下命令登陆本机：

ssh localhost

此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。
首次登录成功
但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。
首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
at ./id_rsa.pub >> ./authorized_keys  # 加入授权

此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了，如下图所示。
在这里插入图片描述

1.4安装Java环境

用shell命令输入:

sudo apt-get install default-jre default-jdk

上述安装过程需要访问网络下载相关文件，请保持联网状态。安装结束以后，需要配置JAVA_HOME环境变量，请在Linux终端中输入下面命令打开当前登录用户的环境变量配置文件.bashrc：

vim ~/.bashrc

在文件最前面添加如下单独一行（注意，等号“=”前后不能有空格），然后保存退出：
export JAVA_HOME=/usr/lib/jvm/default-java
然后按Esc键输入：wq 回车即可
接下来，要让环境变量立即生效，请执行如下代码：

source ~/.bashrc    # 使变量设置生效

执行上述命令后，可以检验一下是否设置正确：

echo $JAVA_HOME     # 检验变量值
java -version
$JAVA_HOME/bin/java -version  # 与直接执行java -version一样

1.5安装Hadoop

我们选择将 Hadoop 安装至 /usr/local/ 中：

sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

cd /usr/local/hadoop
./bin/hadoop version

1.6Hadoop伪分布式配置

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。
修改配置文件 core-site.xml (通过 gedit 编辑会比较方便: gedit ./etc/hadoop/core-site.xml)，将当中的

<configuration>
</configuration>

修改为下面配置：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

同样的，修改配置文件 hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

配置完成后，执行 NameNode 的格式化:

cd /usr/local/hadoop
 ./bin/hdfs namenode -format

成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。
在这里插入图片描述
接着开启 NameNode 和 DataNode 守护进程。

cd /usr/local/hadoop
./sbin/start-dfs.sh  #start-dfs.sh是个完整的可执行文件，中间没有空格

若出现如下SSH提示，输入yes即可。
提示
成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。
在这里插入图片描述

2.运用Mapreduce对单词文本进行计数

2.1上传文件至HDFS

将所准备好的英文文件放在Ubuntu中的
在这里插入图片描述
将此文件上传到HDFS（hdfs已经开启）

 ./bin/hdfs dfs -put /home/hadoop/下载/TheTowerMenagerie.txt input

查看是否上传成功：

 ./bin/hdfs dfs -ls input

上传成功如图
在这里插入图片描述

2.2安装、配置Hadoop-Eclipse-Plugin

要在 Eclipse 上编译和运行 MapReduce 程序，需要安装 hadoop-eclipse-plugin，可下载 Github 上的 hadoop2x-eclipse-plugin（备用下载地址）。

下载后，将 release 中的 hadoop-eclipse-kepler-plugin-2.6.0.jar （还提供了 2.2.0 和 2.4.1 版本）复制到 Eclipse 安装目录的 plugins 文件夹中，运行 eclipse -clean 重启 Eclipse 即可（添加插件后只需要运行一次该命令，以后按照正常方式启动就行了）

 unzip -qo ~/下载/hadoop2x-eclipse-plugin-master.zip -d ~/下载    # 解压到 ~/下载 中
sudo cp ~/下载/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /usr/lib/eclipse/plugins/    # 复制到 eclipse 安装目录的 plugins 目录下
 /usr/lib/eclipse/eclipse -clean    # 添加插件后需要用这种方式使插件生效

在继续配置前请确保已经开启了 Hadoop。

启动 Eclipse 后就可以在左侧的Project Explorer中看到 DFS Locations（若看到的是 welcome 界面，点击左上角的 x 关闭就可以看到了。CentOS 需要切换 Perspective 后才能看到，即接下来配置步骤的第二步）。
在这里插入图片描述
插件需要进一步的配置。

第一步：选择 Window 菜单下的 Preference。
在这里插入图片描述此时会弹出一个窗体，窗体的左侧会多出 Hadoop Map/Reduce 选项，点击此选项，选择 Hadoop 的安装目录（如/usr/local/hadoop，Ubuntu不好选择目录，直接输入就行）。
在这里插入图片描述
第二步：切换 Map/Reduce 开发视图，选择 Window 菜单下选择 Open Perspective -> Other（CentOS 是 Window -> Perspective -> Open Perspective -> Other），弹出一个窗体，从中选择 Map/Reduce 选项即可进行切换。
在这里插入图片描述
第三步：建立与 Hadoop 集群的连接，点击 Eclipse软件右下角的 Map/Reduce Locations 面板，在面板中单击右键，选择 New Hadoop Location。
在这里插入图片描述
在弹出来的 General 选项面板中，General 的设置要与 Hadoop 的配置一致。一般两个 Host 值是一样的，如果是伪分布式，填写 localhost 即可，另外我使用的Hadoop伪分布式配置，设置 fs.defaultFS 为 hdfs://localhost:9000，则 DFS Master 的 Port 要改为 9000。Map/Reduce(V2) Master 的 Port 用默认的即可，Location Name 随意填写。

最后的设置如下图所示：
在这里插入图片描述
配置好后，点击左侧 Project Explorer 中的 MapReduce Location （点击三角形展开）就能直接查看 HDFS 中的文件列表了（HDFS 中要有文件，如下图是 WordCount 的输出结果），双击可以查看内容，右键点击可以上传、下载、删除 HDFS 中的文件，无需再通过繁琐的 hdfs dfs -ls 等命令进行操作了。
在这里插入图片描述

2.3eclipse创建MapReduce 项目

点击 File 菜单，选择 New -> Project…:
在这里插入图片描述
选择 Map/Reduce Project，点击 Next。
在这里插入图片描述
填写 Project name 为 WordCount 即可，点击 Finish 就创建好了项目。
在这里插入图片描述
此时在左侧的 Project Explorer 就能看到刚才建立的项目了。
在这里插入图片描述
接着右键点击刚创建的 WordCount 项目，选择 New -> Class
在这里插入图片描述
需要填写两个地方：在 Package 处填写 org.apache.hadoop.examples；在 Name 处填写 WordCount。
在这里插入图片描述
创建 Class 完成后，在 Project 的 src 中就能看到 WordCount.java 这个文件。将如下 WordCount 的代码复制到该文件中。

package org.apache.hadoop.examples;
 
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
 
public class WordCount {
    public WordCount() {
    }
 
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String[] otherArgs = (new GenericOptionsParser(conf, args)).getRemainingArgs();
        if(otherArgs.length < 2) {
            System.err.println("Usage: wordcount <in> [<in>...] <out>");
            System.exit(2);
        }
 
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(WordCount.TokenizerMapper.class);
        job.setCombinerClass(WordCount.IntSumReducer.class);
        job.setReducerClass(WordCount.IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
 
        for(int i = 0; i < otherArgs.length - 1; ++i) {
            FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
        }
 
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[otherArgs.length - 1]));
        System.exit(job.waitForCompletion(true)?0:1);
    }
 
    public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();
 
        public IntSumReducer() {
        }
 
        public void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
            int sum = 0;
 
            IntWritable val;
            for(Iterator i$ = values.iterator(); i$.hasNext(); sum += val.get()) {
                val = (IntWritable)i$.next();
            }
 
            this.result.set(sum);
            context.write(key, this.result);
        }
    }
 
    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
        private static final IntWritable one = new IntWritable(1);
        private Text word = new Text();
 
        public TokenizerMapper() {
        }
 
        public void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
 
            while(itr.hasMoreTokens()) {
                this.word.set(itr.nextToken());
                context.write(this.word, one);
            }
 
        }
    }
}

在运行 MapReduce 程序前，还需要执行一项重要操作（也就是上面提到的通过复制配置文件解决参数设置问题）：将 /usr/local/hadoop/etc/hadoop 中将有修改过的配置文件（如伪分布式需要 core-site.xml 和 hdfs-site.xml），以及 log4j.properties 复制到 WordCount 项目下的 src 文件夹（~/workspace/WordCount/src）中：

 cp /usr/local/hadoop/etc/hadoop/core-site.xml ~/workspace/WordCount/src
 cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml ~/workspace/WordCount/src
 cp /usr/local/hadoop/etc/hadoop/log4j.properties ~/workspace/WordCount/src

没有复制这些文件的话程序将无法正确运行，本教程最后再解释为什么需要复制这些文件。

复制完成后，务必右键点击 WordCount 选择 refresh 进行刷新（不会自动刷新，需要手动刷新），可以看到文件结构如下所示：
在这里插入图片描述
点击工具栏中的 Run 图标，或者右键点击 Project Explorer 中的 WordCount.java，选择 Run As -> Run on Hadoop，就可以运行 MapReduce 程序了。不过由于没有指定参数，运行时会提示 “Usage: wordcount “，需要通过Eclipse设定一下运行参数。

右键点击刚创建的 WordCount.java，选择 Run As -> Run Configurations，在此处可以设置运行时的相关参数（如果 Java Application 下面没有 WordCount，那么需要先双击 Java Application）。切换到 “Arguments” 栏，在 Program arguments 处填写 “input output” 就可以了。
在这里插入图片描述
设定参数后，再次运行程序，可以看到运行成功的提示，刷新 DFS Location 后也能看到输出的 output 文件夹
在这里插入图片描述
在终端中输入下列命令可查看结果

 cd /usr/local/haddop
./bin/hdfs dfs -cat output/part-r-00000

在这里插入图片描述
可查看到output文件
在这里插入图片描述

3.总结

通过本次实验通过hdfs、mapreduce对文本进行计数，让人掌握了hdfs、mapreduce的基本操作，加深了对其理解。有助于我们更好的学习大数据。

4.参考资料

1.Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0(2.7.1)/Ubuntu14.04(16.04)
2.使用Eclipse编译运行MapReduce程序_Hadoop2.6.0_Ubuntu/CentOS

特别鸣谢厦门大学数据库实验室 / 给力星出品及厦门大学林子雨老师，转载请注明

不想掉头发啊！！
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
调用MapReduce对文件中各个单词出现的次数进行统计
q5416407795的博客
12-30 683
文章目录 需求描述 一、环境介绍 二、具体步骤 需求描述 1.将待分析的文件（不少于10000英文单词）上传到HDFS。 2.调用MapReduce对文件中各个单词出现的次数进行统计。 3.将统计结果下载本地。 一、环境介绍 Ubuntu 14.04 Hadoop 2.6.0 Eclipse 3.8 JAVA环境 二、具体步骤 1.将一个10000字英语单词的文件直接拖到hadoop中 2.启动hadoop cd /usr/local/hadoop ./sbi.
运用MapReduce程序对英语单词出现的频次进行统计
weixin_43815345的博客
12-19 520
运用MapReduce程序对英语单词出现的频次进行统计一、 前期准备工作（一）：在Windows中使用VirtualBox安装Ubuntu二、 前期准备工作（二）：三、 配置java环境四、 安装hadoop五、 进行Hadoop伪分布式的相关配置六、运用MapReduce程序进行单词出现频次的的统计（一）上传到HDFS（二）Eclipse相关配置（三） 执行MapReduce的 wordcount程序进行单词统计七、总结 一、 前期准备工作（一）： 在Windows中使用VirtualBox安装Ubunt
调用MapReduce对文件中各个单词出现次数进行统计
fengriwei的博客
12-25 1431
调用MapReduce对文件中各个单词出现次数进行统计
在虚拟机virtualbox中安装ubuntu的图文教程
09-30
Virtualbox虚拟机相对比VMWare workstation轻量级一些，运行一般的游戏的话，性能不输于vmware。但是配置起来相对麻烦，接下来通过本文给大家介绍在虚拟机virtualbox中安装ubuntu的图文教程，一起看看吧
virtualbox中ubuntu和windows共享文件夹设置教程
09-30
本篇文章主要介绍了virtualbox中ubuntu和windows共享文件夹设置教程，有兴趣的同学可以了解一下。
VirtualBox安装ubuntu16.04.3以及如何设置共享文件夹，使得ubuntu系统能访问主机文件进行粘贴复制.docx
04-28
VirtualBox安装ubuntu16.04.3以及如何设置共享文件夹，使得ubuntu系统能访问主机文件进行粘贴复制
调用MapReduce对文件各个单词出现的次数进行统计
weixin_56771780的博客
12-30 1330
调用MapReduce对文件各个单词出现的次数进行统计
MapReduce实现统计单词出现次数
m0_48920182的博客
09-28 565
MapReduce实现统计单词出现次数。首先写一个WordMapper类，然后写WordReducer类。 Long String是jdk自带的数据类型，在网络传输序列化中 hadoop认为其效率不高,所以自己封装了一套数据类型,包括自己的序列化机制（Writable）。LongWritable相当于Long,但它可序列化，key是行的起始偏移量（光标所在的偏移值）Text相当于String，value是行的内容
从零开始：调用MapReduce进行单词的词频统计
qq_21467401的博客
12-30 2595
使用MapReduce对指定文本进行单词的词频统计
调用Mapreduce对一篇英文文章的英文单词进行统计
space202020的博客
12-10 860
调用MapReduce对英文单词做统计 首先，我们需要安装hadoop才能够使用它里面的MapReduce功能来对文章进行分析统计。安装hadoop我是使用虚拟机Linux操作系统Ubuntu来作为hadoop的安装环境，当然你也可以使用本地windows来作为安装环境，这些不影响hadoop的功能使用和实现。 一．Hadoop的安装 （一）准备工作 1、创建用户 如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户： sudo useradd -m
在Hadoop调用MapReduce分析文件中单词出现个数
kaim1的博客
12-23 370
在Hadoop调用MapReduce分析文件中单词出现个数 运行环境 实验需要在Oracle VM virtual box中安装Hadoop Hadoop的基本配置 Hadoop基本安装配置主要包括以下几个步骤： • 创建Hadoop用户 • SSH登录权限设置 • 安装Java环境 • 单机安装配置 • 伪分布式安装配置 Hadoop安装完成后， 更新apt以便进行后续的软件安装。通过按 ctrl+alt+t 打开终端窗口，执行命令： sudo apt-get update，输入密码后可开始更新，完成后如
MapReduce统计单词在各文件出现次数
Edan2001的博客
02-16 6339
分布式计算MapReduce编程Ⅰ 实验目的： 1、理解集群分布式计算原理 2、熟悉MR程序中Mapper、Reducer函数的编写 实现倒排索引效果，统计每个单词在不同文件中的出现次数 实验要求 有三个文件a.txt，b.txt，c.txt 每个文件的内容为若干行单词，单词之间以空格分开 编写程序实现单词的倒排索引效果 以 A-M 字母开头（包含小写）的单词出现在 0 区；以 N-Z 字母开头的单词出现在 1 区；其余开头的单词出现在 2 区 输出形式：hadoop a.txt->2,b.tx
大数据MapReduce统计单词实例
赵广陆
03-14 1011
目录1 梳理单词计数的执行流程2 实战WordCount3 web界面中查看任务执行情况 1 梳理单词计数的执行流程 上面的是单个文件的执行流程，有一些现象看起来还是不明显 下面我们来看一个两个文件的执行流程 2 实战WordCount 前面我们通过理论层面详细分析了单词计数的执行流程，下面我们就来实际上手操作一下。 大致流程如下： 第一步：开发Map阶段代码 第二步：开发Reduce阶段代码 第三步：组装Job 在idea中创建WordCountJob类 添加注释，梳理一下需求： 需求：读取hdf
大数据Hadoop学习(4)-MapReduce经典案例-单词统计
LoongKK的博客
05-04 2202
大数据Hadoop学习(4)-MapReduce经典案例-单词统计 MapReduce单词统计案例（分别使用样例带的jar包和自己编写代码实现的jar包运行） 1. Hadoop经典案例——单词统计 1） 打开HDFS的UI界面，选择Utilities-Browse the file system可查看文件系统里的文件。使用-cat也可。 2） 准备文本文件，执行vi word.txt指令新建...
【云计算与大数据计算】Hadoop MapReduce实战之统计每个单词出现次数、单词平均长度、Grep（附源码 ）
最新发布
showswoller的博客
12-13 1914
【云计算与大数据计算】Hadoop MapReduce实战之统计每个单词出现次数、单词平均长度、Grep（附源码 ）
MapReduce——WordCount案例（统计单词个数）
晓风岚月
01-22 4657
一、MapReduce概念 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。 二、MapReduce核心思想 1）分布式的运算程序往往需要分成至少2个阶段 2）第一个阶段的maptask并...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值