ubuntu下运行第一个小例子——wordcount

最新推荐文章于 2022-03-14 16:41:03 发布
最新推荐文章于 2022-03-14 16:41:03 发布
阅读量1k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Littlesmilepotato/article/details/26614257
版权
本文详细记录了在Ubuntu系统下运行Hadoop的第一个WordCount程序的过程，包括Hadoop的启动、HDFS文件操作及MapReduce程序的执行。在运行过程中遇到了HDFS连接错误，通过重新格式化Namenode并重启Hadoop得以解决。最后，文章介绍了WordCount程序的执行流程，包括map和reduce阶段的工作原理。
摘要由CSDN通过智能技术生成
原谅我总是参考人家的文档，自己弄总出错啊呜呜呜哭 参考别人的问题就是：自己会遇到各种新的问题，下面也有一些解答。凑合看吧~~

1.换成hadoop用户登陆


2.在某路径下创建两个file，写入内容


3.启动hadoop






4.试图在HDFS上创建文件夹，却出现连接错误：



最低0.47元/天 解锁文章
bnuzhxr
关注
专栏目录
学习记录：Hadoop之WordCount运行
iboringyou的专栏
04-13 488
单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版"Hello World"，该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到。单词计数主要完成功能是：统计一系列文本文件中每个单词出现的次数，如下图所示。      ┄┄┄┄┄┄┄┄┄分割线┄┄┄┄┄┄┄┄┄ 1）创建本地示例文件    登录master服务器，在had
Ubuntu12.04+hadoop-1.1.2运行wordcount示例
bluetropic的专栏
05-30 1313
HADOOP自己带有一些实例，比如wordcount实例实现统计单词在文本文件中的出现次数。下面是实验过程：   下面的命令，都直接是hadoop/bin里的命令，如果在/etc/profile里设置过PATH和CLASSPATH属性了，就可以和我一样省略掉命令路径前缀。   第一步：创建一个目录，作为数据输入源目录。 命令行输入：mkdir  input   第二步：在in
ubuntu下wordcount例子
weixin_30883311的博客
10-20 277
在/home/yuanqin/下建立file文件夹，再在文件夹建立file1.txt、file2.txt、file3.txt file1内容：hello word file2内容：hello hadoop file3内容：你好 你是谁 你好 我是袁琴 在hadoop目录下输入：bin/hadoop fs -mkdir input bin/hadoop fs -put /home/yu...
[虚拟机VM][Ubuntu12.04]运行WordCount例子
weixin_34110749的博客
07-25 350
2019独角兽企业重金招聘Python工程师标准>>> ...
unbuntu虚拟机下hadoop实例wordcount的运行
nuisthou的博客
09-24 862
1.查看hadoop进程启动情况:jps。正常情况下应该有NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker 2.查看集群状态：bin/hadoop dfsadmin  -report； 3.在/usr/local/hadoop/hadoop-0.20.2创建目录test，在test下创建文本file01、file02，分别
HadoopCV(2)—— hadoop平台上运行javaCV程序
bomb_peng的专栏
05-23 1999
首先
在Ubuntu16.04中配置Anaconda（Python2.7）以支持Spark2.0（Pyspark）
困而学之，学思并重
12-12 7747
本文主要内容： 对比Spark和Hadoop 介绍PysPark和Anaconda 搭建并配置 运行WordCount 最近想学习大数据分析平台Spark，由于实验室设备不足，只能先在本地搭建一个独立式的Spark环境，进行简单分析，逐步探索Spark的奥秘，为以后Spark集群操作打好基础。 对于从事数据挖掘和机器学习人员来说，使用anaconda的ipython notebook无疑是最棒的体
大数据——从零开始写MapReduce程序
3CDFP
11-08 5233
大数据—从零开始写MapReduce程序 brycezou@163.com 1、在Mac上配置Hadoop 1）安装 JAVA 1.7.0_79，用 java -version 检验是否安装成功。 2）下载 Hadoop-2.7.1，解压缩，配置环境变量。 #在 ~/.bash_profile 文件中进行配置 export HADOOP_HOME=/Users/b
【神经网络并行训练（上）】基于MapReduce的并行算法的实现
strawcherry_wj的博客
08-30 2345
最近看了一些基于MapReduce的神经网络并行训练方面的论文，老师让我自己去实现一下，更深入的体会其中的原理。 MapReduce是基于java语言的框架，于是一开始想用java写深度学习代码。但是dl4j框架实在太难用了，而且网络上的深度学习教程都是基于python的，所以最终还是决定用python去实现基于MapReduce框架的神经网络。如果行不通的话，后面再考虑用java实现神经网络。 目前大致的学习步骤如下： 1、Python实现最简单的MapReduce例子，如Wordcount 2、MapR
ubuntu运行hadoop的wordcount
09-22
ubuntu上面运行hadoop自带的wordcount实例
ubuntu下在ecplise上实现wordcount的小结
IT菜鸟进阶之路
04-17 255
1 wordcount源码 package org.jediael.hadoopdemo; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path;
ubuntu部署flink集群 ，运行wordcount 例子
A__stick的博客
01-31 1058
说明：事先完成了以下的准备工作： ubuntu16 安装了hadoop集群（完全分布式） hadoop集群有六个节点：hadoop1~hadoop6 每个节点都安装了flink-1.12.0（略），flink有六个节点 运行的代码jar包获取方式：   在windows上的IntelliJ IDEA上编写代码，打包成jar包提交到ubuntu上的集群上运行   运行flink自带的例子 @[TOC]1、standlone模式   @[TOC]1.1 standlone模式：   独立的flink集群，不需要
大数据技术实验一-在ubuntu18.04中安装伪分布式Hadoop并使用自带wordcount案例
hgxiaojiujiu的博客
03-14 4404
必要时转载请标明出处 本文是在ubuntu上安装Hadoop的操作，关于如何在centOS上安装Hadoop可参考 https://blog.csdn.net/hgxiaojiujiu/article/details/120382331 实验一 熟悉常用的Linux操作和Hadoop操作 一、 实验目的 （1）掌握Linu虚拟机的安装方法。Hadoop在Linux操作系统上运行可以发挥最佳性能。鉴于目前很多读者正在使用Windows操作系统，因此，为了完成本书的后续实验，这里有必要通过本实验让读者掌握在W
详解 WordCount 运行后历史日志记录
Zephyr's Blog
01-01 5099
在 《Hadoop-2.5.0-cdh5.3.2 HA 安装》 一文中我们已经详细讲述了如何搭建 HA 模式，同时最后还演示了运行其自带的 wordcount 程序，详情请参考 运行 Hadoop自带 wordcount 程序 。先简要回顾下： 基础概念 1 运行 wordcount 程序 2 控制台输出结果 二 Hadoop 作业日志收集过程详解 三 ResourceManage
MapReduce分析和编写WordCount程序
qq_45578279的博客
11-19 789
实验名称 分析和编写wordcount程序 实验目的 1、熟练理解和掌握MapReduce编程模型 2、学会使用map和reduce方法编写wordcount案例，实现需求：对输入文件统计单词频率 实验原理 http://hadoop.apache.org/docs/r1.0.4/cn/streaming.html 实验环境 Ubuntu 16.04 Hadoop 2.7.3 Python 3.6 python代码编写 1、创建map.py文件（作业要求：添加去除标点符号的处理；把大写字母都转成小写） im
mac 10.9.5 安装hadoop 1.2.1 运行wordcount
xyjikl
05-08 832
1  在终端上输入 ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/homebrew/go/install)" （这个命令用来安装brew，如果之前已经安装了可以省略 2         brew install homebrew/versions/hadoop121 //这样可以选择安装hadoop的版本
Mac在hadoop3.1.1上运行WordCount例子
张欣的博客
12-13 1551
搭建好了Hadoop以后，用一个大家都常用的WordCount例子来试一试。 下面是WordCount的代码： import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path;...
【hadoop学习】在伪分布式hadoop上手把手实践word count程序【上】
xceman1997的专栏
10-11 1644
前两天在Mac OS 10.8.1上搭建了hadoop伪分布式系统，这两天自娱自乐，用java写了个word count程序，在上面运行成功。因为java不是我主要编程语言，而且控制台下编译环境也不熟，又是在业余时间自己折腾，因此折腾了几天，呵呵，惭愧。下面记录下整个过程，包括这两天踩到的各种坑儿。 1. word count 程序撰写 这个容易，打开vim，直接按照教科书上的内容敲代
Mapreduce实例——WordCount
最新发布
10-06
Mapreduce实例-WordCount是一个经典的MapReduce程序，用于统计文本中每个单词出现的次数。它的工作原理是将输入的文本划分为多个片段，每个片段由多个键值对组成，其中键是单词，值是1。然后通过Map阶段将每个片段中的单词提取出来，并将每个单词映射为键值对，其中键是单词，值是1。接下来，通过Shuffle和Sort阶段将具有相同单词的键值对聚集在一起。最后，通过Reduce阶段将相同单词的计数值进行累加，得到每个单词的总次数。 以下是一个示例代码片段，展示了WordCount程序的基本结构和关键组件： ```java import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Job job = Job.getInstance(); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值