Map/Reduce API样例二

最新推荐文章于 2022-07-23 14:53:25 发布
最新推荐文章于 2022-07-23 14:53:25 发布
阅读量248 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/calvin_kui/article/details/45200329
版权
环境：
CentOS 6.5, Eclipse 4.4.2, Hadoop 1.1.2


任务目标：从数据源统计ip第一位数字的记录列表


一、数据源准备

在hdfs://vm1:9000/user/hadoop/in目录中上传了两个数据文件,test1.txt和test2.txt

内容如下：

test1.txt

MAY 12:10:12 192.158.202 calvin
THR 11:22:23 192.168.22.3 james
THR 22:33:22 192.155.23.22 john
FRI 23:22:12 158.129.234.23 kate
LL 
DDI 23:11:33 192.168.11.10 frame

test2.txt 

EIG 12:10:12 192.158.202 calvin
OCT 11:22:23 192.168.22.3 james
NUM 22:33:22 192.155.23.22 john
SEC 23:22:12 158.129.234.23 kate


二、程序编写 

import java.io.IOException;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;


public class Test_2 extends Configured implements Tool {


<span style="white-space:pre">	</span>enum Counter {
<span style="white-space:pre">		</span>LINE_SKIP
<span style="white-space:pre">	</span>}
<span style="white-space:pre">	</span>
<span style="white-space:pre">	</span>
<span style="white-space:pre">	</span>public static class Map_2 extends Mapper<LongWritable, Text, Text, Text> {


<span style="white-space:pre">		</span>@Override
<span style="white-space:pre">		</span>protected void map(LongWritable key, Text value, Context context)
<span style="white-space:pre">				</span>throws IOException, InterruptedException {
<span style="white-space:pre">			</span>
<span style="white-space:pre">			</span>String line = value.toString(); 
<span style="white-space:pre">			</span>
<span style="white-space:pre">			</span>try {
<span style="white-space:pre">				</span>String[] lineSplits = line.split(" ");
<span style="white-space:pre">				</span>String ip = lineSplits[2];
<span style="white-space:pre">				</span>
<span style="white-space:pre">				</span>String k = ip.split("\\.")[0];
<span style="white-space:pre">				</span>
<span style="white-space:pre">				</span>
<span style="white-space:pre">				</span>context.write(new Text(k), new Text(ip));
<span style="white-space:pre">				</span>
<span style="white-space:pre">			</span>} catch (Exception e) {
<span style="white-space:pre">				</span>e.printStackTrace();
<span style="white-space:pre">				</span>
<span style="white-space:pre">				</span>context.getCounter(Counter.LINE_SKIP).increment(1);
<span style="white-space:pre">			</span>}
<span style="white-space:pre">		</span>}
<span style="white-space:pre">		</span>
<span style="white-space:pre">	</span>}
<span style="white-space:pre">	</span>
<span style="white-space:pre">	</span>public static class Reducer_2 extends Reducer<Text, Text, Text, Text> {


<span style="white-space:pre">		</span>@Override
<span style="white-space:pre">		</span>protected void reduce(Text key, Iterable<Text> values, Context context)
<span style="white-space:pre">				</span>throws IOException, InterruptedException {
<span style="white-space:pre">			</span>
<span style="white-space:pre">			</span>String out = "";
<span style="white-space:pre">			</span>
<span style="white-space:pre">			</span>for (Text value : values) {
<span style="white-space:pre">				</span>out += value.toString() + "|";
<span style="white-space:pre">			</span>}
<span style="white-space:pre">			</span>
<span style="white-space:pre">			</span>context.write(key, new Text(out));
<span style="white-space:pre">		</span>}
<span style="white-space:pre">		</span>
<span style="white-space:pre">	</span>}
<span style="white-space:pre">	</span>
<span style="white-space:pre">	</span>@Override
<span style="white-space:pre">	</span>public int run(String[] args) throws Exception {
<span style="white-space:pre">		</span>
<span style="white-space:pre">		</span>Configuration conf = this.getConf();
<span style="white-space:pre">		</span>
<span style="white-space:pre">		</span>Job job = new Job(conf, "Test_2");
<span style="white-space:pre">		</span>job.setJarByClass(Test_2.class);
<span style="white-space:pre">		</span>
<span style="white-space:pre">		</span>FileInputFormat.addInputPath(job, new Path(args[0]));
<span style="white-space:pre">		</span>FileOutputFormat.setOutputPath(job, new Path(args[1]));
<span style="white-space:pre">		</span>
<span style="white-space:pre">		</span>job.setMapperClass(Map_2.class);
<span style="white-space:pre">		</span>job.setReducerClass(Reducer_2.class);
<span style="white-space:pre">		</span>
<span style="white-space:pre">		</span>job.setOutputFormatClass(TextOutputFormat.class);
<span style="white-space:pre">		</span>job.setOutputKeyClass(Text.class);
<span style="white-space:pre">		</span>job.setOutputValueClass(Text.class);
<span style="white-space:pre">		</span>
<span style="white-space:pre">		</span>job.waitForCompletion(true);
<span style="white-space:pre">		</span>
<span style="white-space:pre">		</span>return job.isSuccessful() ? 1 : 0;
<span style="white-space:pre">	</span>}
<span style="white-space:pre">	</span>
<span style="white-space:pre">	</span>public static void main(String[] args) throws Exception {
<span style="white-space:pre">		</span>
<span style="white-space:pre">		</span>int res = ToolRunner.run(new Configuration(), new Test_2(), args);
<span style="white-space:pre">		</span>System.exit(res);
<span style="white-space:pre">		</span>
<span style="white-space:pre">	</span>}


}

三、在Eclipse中运行程序 

Run As -> Run Configuration -> Arguments选项卡 -> 在Program Arguments中填入hdfs://vm1:9000/user/hadoop/in hdfs://vm1:9000/user/hadoop/out  -> Run


四、运行结果

在hdfs://vm1:9000/user/hadoop/out/part-r-00000文件中查看结果

158<span style="white-space:pre">	</span>158.129.234.23|158.129.234.23|
192<span style="white-space:pre">	</span>192.158.202|192.168.22.3|192.155.23.22|192.168.11.10|192.158.202|192.168.22.3|192.155.23.22|


五、打包运行

1. 将工程打成jar包(hadoop-test.jar)，并指定Main Class为Test_2

2. 执行命令 hadoop jar hadoop-test.jar hdfs://vm1:9000/user/hadoop/in hdfs://vm1:9000/user/hadoop/out 运行程序


calvin_kui
关注
专栏目录
Deploying a PyTorch Model as a REST API using FastAPI
程序员光剑
08-03 1578
2021年，随着技术的飞速发展，越来越多的企业开始采用人工智能(AI)、机器学习(ML)及深度学习(DL)技术。其中，通过部署预训练模型作为RESTful API服务来实现对模型的即时推断，可以极大地提高产品的实用性、降低成本并促进科技创新，是各行各业都应该重视的方向。本文将以PyTorch作为示例模型，基于FastAPI构建一个可供访问的RESTful API接口，并通过Docker容器化部署该服务，使得它可以在不同的环境中运行，也可以方便地扩展和迁移到新的环境中。
Map/Reduce API 样例一
calvin_kui的专栏
04-22 310
环境： CentOS 6.5, Eclipse 4.4.2, Hadoop 1.1.2 任务目标：从数据源抽取指定的字段，并统计出错行数 一、数据源准备 在hdfs://vm1:9000/user/hadoop/in目录中上传了两个数据文件,test1.txt和test2.txt 内容如下： test1.txt MAY 12:10:12 192.158.202 cal
Map/Reduce简单样例----wordcount
weixin_30588907的博客
04-06 60
1.1 MapReduce编程模型　　 　　MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 　　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker，Jo...
map/reduce实例（一）
mo_5201314的博客
08-25 364
map/reduce基础——wordcount wordcount是map/reduce中最基础的一个案例，是一个入门练习案例。 map/reduce一般分为三个组件mapper、reducer、dirver。mapper和reducer负责业务逻辑，driver负责提交业务。 mapper如下 public class Mapwordc extends Mapper<LongWritabl...
Map Reduce
weixin_45512368的博客
07-23 756
Map Reduce 学习
flink样例完整代码
最新发布
05-31
2. **Transformation**：Flink提供了多种数据转换操作，如Map、Filter、KeyBy、Reduce、Join、Window等，它们构建了数据处理的管道。 3. **Stateful Processing**：Flink支持状态ful处理，允许程序记住之前处理的...
spark的样例代码
10-25
3. 数据处理：`val counts = lines.flatMap(_.split("\\W+")).map(word => (word, 1)).reduceByKey(_ + _)` 4. 输出结果：`counts.show()` **Python Spark编程** Python API（PySpark）使得Python开发者也能轻松地...
spark中常见样例
qq_24186493的博客
12-09 1190
spark中常见样例前言一、scala和spark环境测试1.测试scala环境2.测试spark环境二、wordcount例子1.在spark-shell中2.在eclipse-Scala工具中3.graphframe 前言 &amp;amp;amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp
mapreduce中操作titan样例代码
08-19
2. **Map阶段**：在Map阶段，每个Mapper实例接收一部分数据，这些数据可能是图的顶点、边或者属性。你可以自定义Mapper类来处理这些数据，比如读取图元素，执行特定的业务逻辑，然后将结果作为键值对输出。 3. **...
hadoop1.1.2 mapred-default.xml
calvin_kui的专栏
04-18 752
hadoop.job.history.location     If job tracker is static the history files are stored    in this single well known place. If No value is set here, by default,   it is in the local file system at
hadoop1.1.2 core-default.xml
calvin_kui的专栏
04-18 627
hadoop.tmp.dir   /tmp/hadoop-${user.name}   A base for other temporary directories.   hadoop.native.lib   true   Should native hadoop libraries, if present, be used.   hadoop.htt
Linux系统上hadoop1.1.2 eclipse插件编译
calvin_kui的专栏
04-21 558
环境： CentOS 6.5, Hadoop 1.1.2, Eclipse 4.4.2, Ant 1.9.4 一、 软件准备 1. 在CentOS上安装好Eclipse 2. 在CentOS上安装好Hadoop 3. 在CentOS上安装好Ant 本机安装软件目录如下： HADOOP_HOME=/home/hadoop/hadoop-1.1.2 ECLIPSE_HO
hadoop1.1.2 hdfs-default.xml
calvin_kui的专栏
04-18 522
dfs.namenode.logging.level   info   The logging level for dfs namenode. Other values are "dir"(trac e namespace mutations), "block"(trace block under/over replications and block creations/deletion
Hadoop集群完全分布式安装与配置
calvin_kui的专栏
04-19 509
环境： CentOS6.5, Hadoop1.1.2, jdk1.6 三台Linux虚拟机： 192.168.190.100: hostname:vm1 规划:master节点 192.168.190.101 hostname:vm2 规划:slave节点1 192.168.190.102 hostname:vm3 规划:slave节点2 一、配置hosts
使用hadoop RPC实现RPC调用
calvin_kui的专栏
04-18 467
环境： hadoop1.1.2 一、 定义服务提供的对象的接口, 此接口必须extends org.apache.hadoop.ipc.VersionedProtocol eg. import org.apache.hadoop.ipc.VersionedProtocol; /** * 业务接口, must extends VersionedProtocol * @autho
hdfs shell操作大全
calvin_kui的专栏
04-17 421
一、hadoop命令  #键入hadoop回车，查看使用帮助: Usage: hadoop [--config confdir] COMMAND where COMMAND is one of:   namenode -format     format the DFS filesystem   secondarynamenode    run the DFS secondary nam
导入hadoop源码到eclipse
calvin_kui的专栏
04-16 412
1. 在eclipse中新建一个java project, 名字为hadoop(可任意命名) 2. 拷贝haoop目录下的core, hdfs, mapred三个文件夹到eclipse的src下 3. 调整hadoop/src下的目录结构      右键项目hadoop -> Properties -> Java Build Path -> Source  删除hadoop
使用java操作hdfs
calvin_kui的专栏
04-18 363
环境： hdoop1.1.2 方法一、使用java.net.URL访问 eg. import java.io.InputStream; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOUtils; public cl
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值