Hadoop/MapReduce
文章平均质量分 67
joeywen
努力做正确的事
展开
-
Map/Reduce 算法面试问题列表
周末有空自己实现,并把过程贴出来分享给大家。1. Map/Reduce方式实现矩阵相乘http://www.norstad.org/matrix-multiply/index.html 2. Map/Reduce方式实现PageRank算法http://blog.ring.idv.tw/comment.ser?i=369http://co转载 2013-11-19 22:31:07 · 2016 阅读 · 0 评论 -
访问Hadoop的HDFS文件系统的Java实现
Hadoop版本 Hadoop-0.19.1-core.jar1、创建HDFS对象Configuration config = new Configuration();config.set("fs.default.name","hdfs://127.0.0.1:9000/");FileSystem dfs = FileSystem.get(config);2、新建目录原创 2013-12-15 17:15:10 · 2699 阅读 · 1 评论 -
Hive建表实例——定义serdeproperties属性
创建table时,直接定义serdeproperties属性,create table wzhg(c0 string,c1 string,c2 string)row format serde 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'with serdeproperties ('input.regex' = 'bduid原创 2013-06-09 23:36:01 · 26360 阅读 · 1 评论 -
大数据处理方法总结(转载)
转自:http://www.cnblogs.com/jishu/archive/2011/04/27/2030921.html大数据量的问题是很多面试笔试中经常出现的问题,比如baidu google 腾讯 这样的一些涉及到海量数据的公司经常会问到。 下面的方法是我对海量数据的处理方法进行了一个一般性的总结,当然这些方法可能并不能完全覆盖所有的问题,但是这样的一些方法也基本可以处理绝大转载 2013-12-21 22:32:35 · 1406 阅读 · 0 评论 -
HDFS append File 出现AlreadyBeingCreatedException
前段时间,公司刚开始往HDFS append File时原创 2014-07-20 17:22:59 · 4171 阅读 · 1 评论 -
MapReduce实例——ChainMapper的使用
按照API上的说明:/** * The ChainMapper class allows to use multiple Mapper classes within a single * Map task. * * The Mapper classes are invoked in a chained (or piped) fashion, the output of * th原创 2014-01-11 19:02:03 · 2274 阅读 · 0 评论 -
用Bash Script编写Hadoop MapReduce Streaming
MapReduce对外提供一个多语言编写MR的功能,就是Hadoop Streaming。我们可以通过自己喜欢的语言来编写Mapper和Reducer函数,运行MapReduce job。本文给出利用Bash script来编写mapreduce 的示例原创 2015-06-07 15:08:17 · 1616 阅读 · 0 评论