hadoop
文章平均质量分 68
学无止境-逆流而上
编程是门艺术,要有自己的特色!
展开
-
mapreduce与mapreduceV2/yarn
Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架(0.20.0 及之前版本)的同仁应该很熟悉如下的原 Ma转载 2014-11-14 10:37:01 · 914 阅读 · 0 评论 -
mapreduce创建solrcloud索引
原理图:原创 2014-11-12 11:45:01 · 5988 阅读 · 0 评论 -
Spark vs. MapReduce
MapReduce为大数据挖掘提供了有力的支持,但是复杂的挖掘算法往往需要多个MapReduce作业才能完成,多个作业之间存在着冗余的磁盘读写开销和多次资源申请过程,使得基于MapReduce的算法实现存在严重的性能问题。大处理处理后起之秀Spark得益于其在迭代计算和内存计算上的优势,可以自动调度复杂的计算任务,避免中间结果的磁盘读写和资源申请过程,非常适合数据挖掘算法。腾讯TDW Spark平转载 2014-11-04 18:12:56 · 9467 阅读 · 1 评论 -
solr4.7.2整合hbase的BUG
场景:solr的handler中,连接hbase获取数据,原创 2014-08-27 11:30:17 · 1458 阅读 · 1 评论 -
记录mapreduce遇到的问题
1、java.lang.ClassNotFoundException 后来发现原来是在0.20版本以后main方法中需要加:job.setJarByClass(HBaseToFile.class);才能找到自定义的map或reduce内部类 2、原创 2014-07-18 16:59:15 · 3379 阅读 · 0 评论 -
hbase使用记录
1、hbase结构很简单,元数据是原创 2014-07-09 18:23:31 · 1090 阅读 · 0 评论