![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技术
jgzquanquan
这个作者很懒,什么都没留下…
展开
-
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 给力星 2014年8月10日 (updated: 2016年6月8日) 85662 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步转载 2017-09-07 18:37:32 · 378 阅读 · 0 评论 -
MapReduce学习笔记
MapReduce学习笔记 一.MapReduce模型简介 1. MapReduce采用“分而治之”策略,一个存储在分布式文件系统中的大规模数据集,会被切分成许多独立的分片(split),这些分片可以被多个Map任务并行处理 2. MapReduce设计的一个理念就是“计算向数据靠拢”,而不是“数据向计算靠拢”,因为,移动数据需要大量的网络传输开销 3. MapReduc原创 2017-10-31 19:03:08 · 1458 阅读 · 0 评论 -
MapReduce编程案例——气象分析
MapReduce编程案例——气象分析 描述: ·通过采集的气象数据分析每年的最高温度 ·初始数据: 0067011990999991950051507004888888889999999N9+00001+9999999999999999999999 0067011990999991950051512004888888889999999N9+00221+999999999999999原创 2017-11-02 13:22:05 · 1742 阅读 · 0 评论 -
使用Eclipse编译运行MapReduce程序
使用Eclipse编译运行MapReduce程序_Hadoop2.6.0_Ubuntu/CentOS 给力星 2014年10月11日 (updated: 2016年7月22日) 18010 本教程介绍的是如何在 Ubuntu/CentOS 中使用 Eclipse 来开发 MapReduce 程序,在 Hadoop 2.6.0 下验证通过。虽然我们可以使用命令行编译打包运行自己的Map转载 2017-11-05 10:04:41 · 1341 阅读 · 1 评论 -
MapReduce初级案例
MapReduce初级案例 1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。 1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下所示:转载 2017-11-05 12:21:04 · 358 阅读 · 0 评论