![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
Empty-cup
这个作者很懒,什么都没留下…
展开
-
MapReduce2.0详解
一个分布式运算程序的编程框架。核心功能:将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上。MapReduce采用的是多进程并发方式,而不是多线程并发。优点:方便对每一个任务进行控制和调配。缺点:进程相对线程来说会消耗更多的启动时间。总体流程(MR2.0):1、一个mr程序启动的时候,最先启动的是MRAppMaster...原创 2019-06-14 10:05:23 · 807 阅读 · 0 评论 -
MapReduce编程基础WordCount
public class WordCountYARNApp { public static void main(String[] args) throws Exception { //1.获取job对象 Configuration configuration = new Configuration(); Job job = Job.getI...原创 2019-08-30 23:00:31 · 144 阅读 · 0 评论 -
MapReduce自定义序列化类
自定义序列化类的开发步骤:1. 实现Writable接口2. 重写write和readFields方法,注意字段顺序一样3. 必须带一个默认无参的构造方法4. 写自己的toString方法5. 如果需要排序,那么需要实现Comparable需求:求出每个号码的上行流量、下行流量以及总和。先实现Writable接口:public class Access implements Wri...原创 2019-08-30 23:17:51 · 404 阅读 · 0 评论 -
MapReduce的全局TopN简单实现
public class TopN { public static void main(String[] args) throws Exception { //1.获取job对象 Configuration configuration = new Configuration(); Job job = Job.getInstance(conf...原创 2019-09-03 16:27:50 · 273 阅读 · 0 评论 -
IDEA开发mapreduce程序本地提交到Yarn运行
public class WC_Yarn { public static void main(String[] args) throws Exception { //1.获取job对象 Properties properties = System.getProperties(); properties.setProperty("HADOOP...原创 2019-09-08 00:02:25 · 529 阅读 · 0 评论