MapReduce
程序员班干部
这个作者很懒,什么都没留下…
展开
-
(三)StringTokenizer类的使用
原文出自:http://blog.sina.com.cn/s/blog_8830b3ed0100y9m7.htmlStringTokenizer是一个用来分隔String的应用类,相当于VB的split函数。1.构造函数public StringTokenizer(String str)public StringTokenizer(String str, Str转载 2015-04-13 00:12:51 · 262 阅读 · 0 评论 -
Hive,Pig,HBase 区别与联系
转自http://blog.csdn.net/devtao/article/details/14213481看了几天的Hadoop生态系统,对Hive,Pig,HBase搞的有些糊涂,查阅时发现糊涂的不止我一个,如某个鸟问的帖子发表的疑问,when to use Hbase and when to use Hive?....请教了google,现总结如下:Pig转载 2015-04-13 13:49:42 · 293 阅读 · 0 评论 -
旧的WordCount分析
一、源代码程序package org.apache.hadoop.examples;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.fs.Path;import org.apache.hadoop.i原创 2015-04-14 11:20:54 · 223 阅读 · 0 评论 -
hadoop特别数据类型介绍
Hadoop提供了如下内容的数据类型,这些数据类型都实现了WritableComparable接口,以便用这些类型定义的数据可以被序列化进行网络传输和文件存储,以及进行大小比较。BooleanWritable:标准布尔型数值ByteWritable:单字节数值DoubleWritable:双字节数FloatWritable:浮点数IntWritable:整型数LongW原创 2015-04-14 11:16:41 · 317 阅读 · 0 评论 -
(六)MapReduce编程实例
转自:http://blog.csdn.net/devtao/article/details/16948323前提准备:1.hadoop安装运行正常。Hadoop安装配置请参考:Ubuntu下 Hadoop 1.2.1 配置安装2.集成开发环境正常。集成开发环境配置请参考 :Ubuntu 搭建Hadoop源码阅读环境MapReduce编程实例转载 2015-04-13 13:34:41 · 288 阅读 · 0 评论 -
(一)开发示例:WordCount
package com.t.hadoop;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.转载 2015-04-13 13:41:37 · 270 阅读 · 0 评论 -
(五)MapReduce编程实例
基本步骤一:创建一个mapper源表bloghbase(main):006:0> create 'blog','article','author'0 row(s) in 2.7330 secondsblog表,初步有article和author两个familyarticle具有如下qualifier[content,tags,title]转载 2015-04-13 13:26:42 · 661 阅读 · 0 评论 -
(三)MapReduce编程实例
MapReduce编程实例:MapReduce编程实例(一),详细介绍在集成环境中运行第一个MapReduce程序 WordCount及代码分析MapReduce编程实例(二),计算学生平均成绩MapReduce编程实例(三),数据去重MapReduce编程实例(四),排序MapReduce编程实例(五),MapReduce实现单表关联转载 2015-04-13 13:17:59 · 548 阅读 · 0 评论 -
(四)MapReduce编程实例
前提准备:1.hadoop安装运行正常。Hadoop安装配置请参考:Ubuntu下 Hadoop 1.2.1 配置安装2.集成开发环境正常。集成开发环境配置请参考 :Ubuntu 搭建Hadoop源码阅读环境MapReduce编程实例:MapReduce编程实例(一),详细介绍在集成环境中运行第一个MapReduce程序 WordCount及代码分析转载 2015-04-13 13:23:55 · 253 阅读 · 0 评论 -
Hadoop实战-中高级部分 之 Hadoop MapReduce高级编程
Hadoop RestFulHadoop HDFS原理1Hadoop HDFS原理2Hadoop作业调优参数调整及原理Hadoop HAHadoop MapReduce高级编程Hadoop IOHadoop MapReduce工作原理Hadoop 管理Hadoop 集群安装Hadoop RPC 第一部分:重要的组件Combiner转载 2015-04-13 11:04:57 · 796 阅读 · 0 评论 -
(二)MapReduce经典案例分享(求平均分数)
资源文件math张三 99李四 90王五 90赵六 60资源文件china张三 79李四 75王五 80赵六 90资源文件english张三 89李四 75王五 70赵六 90分析:map 阶段将将学生姓名作为key 成绩作为value.这样Reduce阶段得到的数据就是key:张三 v原创 2015-04-13 00:07:38 · 636 阅读 · 0 评论 -
(一)解释MapReduce
We want to count all the books in the library. You count up shelf #1, I count up shelf #2. That's map. The more people we get, the faster it goes.我们要数图书馆中的所有书。你数1号书架,我数2号书架。这就是“Map”。我们人越多,数书就更快。原创 2015-04-12 22:34:24 · 189 阅读 · 0 评论 -
mapreduce框架详解
转自http://www.cnblogs.com/sharpxiajun/p/3151395.html 感谢夏天的深林开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只转载 2015-04-14 09:32:57 · 251 阅读 · 0 评论