- 博客(15)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Mapreduce的排序、全排序以及二次排序
排序在MapReduce中属于重要的概念，而且MapReduce过程本身就含有排序的概念MapReduce的排序是默认按照Key排序的，也就是说输出的时候，key会按照大小或字典顺序来输出，比如一个简单的wordcount，出现的结果也会是左侧的字母按照字典顺序排列。下面讨论MapReduce几种不同的排序方式。部分排序、全局排序、二次排序。部分排序是MapReduce中默
2015-05-31 16:00:25
9460
原创 Hadoop学习笔记之Hive
Hive是建立在hadoop上的一个框架，是对HDFS中的数据进行搜索，利用自己独有的HQL，所以也称数据仓库分析系统，提供了丰富的sql查询方式来分析存储在HDFS上的数据。HIVE为数据仓库的管理提供了许多功能：ETL（提取、转化、加载）工具，数据存储管理和大型数据集的查询和分析能力。Hive可将外部命令解析成一个MapReduce过程，交付给hadoop集群处理。Hive定义了类SQ
2015-05-31 13:26:22
1085
原创 Hadoop深入研究之Configuration
Hadoop没有使用java.util.Properties管理配置文件，也没有用Apache Jakarta Commons Configuration管理配置文件，而是使用了一套独有的配置文件管理系统，使用org.apache.hadoop.conf.Configuration处理配置信息。Hadoop的配置文件采用xml格式 io.sort.factor 1
2015-05-26 20:36:10
1468
转载 区分运行时异常和受检查异常【文摘+转】
原文地址：http://zqc-0101.iteye.com/blog/1256266=======================================================================正确运用异常处理机制，有助于提高程序的健壮性。 所谓程序的健壮性，就是指程序在多数情况下能够正常运行，返回预期的正确结果；如果偶
2015-05-17 11:07:05
905
转载 Java中三种简单注解介绍和代码实例
原文地址：http://www.jb51.net/article/55370.htm==================================================================================这篇文章主要介绍了Java中三种简单注解介绍和代码实例,本文讲解了Override注解、Deprecated注解、Suppr
2015-05-17 10:31:44
928
转载 HBase存储架构
转自博文：http://www.360doc.com/content/11/0714/22/28217_133622183.shtml==============================================================================================英文原文：http://www.larsgeorg
2015-05-16 14:23:32
671
转载 HBase的那些事
本文是将网上有些博文的部分摘取出来，目的是对自己上一篇没有涉及到的进行补充摘自一下博文：http://blog.csdn.net/woshiwanxin102213/article/details/17584043http://jiajun.iteye.com/blog/899632==========================================
2015-05-16 14:04:13
747
原创 Hadoop学习笔记之初始HBase
Hbase 是Apache Hadoop的数据库，具有开源、分布式、可扩展和面向列存储的特点，借鉴谷歌的Bigtable思想。说到数据库，我们最开始使用的是关系型数据库，但是HBase不同于一般的关系型数据库，她介于Nosql和RDBMS之间，常常将其归为Nosql。HBase适合非结构化数据存储的数据库，而且是基于列的模式，一个数据行拥有一个可选择的键和任意数量的列，所以HBase是
2015-05-16 09:50:50
1296
转载 通俗易懂的动态规划
一直觉得动态规划比较难懂，但是最近做题几乎都是动态规划的思想，而网上书上大部分都是生硬的语言公式于是看到了这篇文章，感觉这才是经典，真正的通俗易懂原文地址：http://www.cnblogs.com/sdjl/articles/1274312.html===============================================================
2015-05-08 23:15:47
1474
原创 Maximum Subarray
Find the contiguous subarray within an array (containing at least one number) which has the largest sum.For example, given the array [−2,1,−3,4,−1,2,1,−5,4],the contiguous subarray [4,−1,2,1]
2015-05-08 19:51:51
845
原创 Unique Paths
A robot is located at the top-left corner of a m x n grid (marked 'Start' in the diagram below).The robot can only move either down or right at any point in time. The robot is trying to reach the
2015-05-06 19:58:11
699
原创 Hadoop错误集锦（持续更新）
将自己在hadoop学习中遇到的错误贴出来，后续学习的朋友可以迅速解决问题java.net.NoRouteToHostException: No route to host at java.net.PlainSocketImpl.socketConnect(Native Method) at java.net.AbstractPlainSocketI
2015-05-05 16:13:54
2350
原创 Hadoop集群搭建
准备环境：Win7内存4G，还是建议各位将内存升为8G，不然运行MR特别慢虚拟机三台，每台内存512MB======================================================================先配置三台主机的准备条件：1、修改linux主机名2、修改IP3、修改主机名与映射关系4、关闭防火墙5、
2015-05-05 15:37:31
721
转载 常识：数据挖掘最常见的十种方法
原文地址：http://www.36dsj.com/archives/2512下面介绍十种数据挖掘（Data Mining）的分析方法，以便于大家对模型的初步了解，这些都是日常挖掘中经常遇到的算法，希望对大家有用！（甚至有数据挖掘公司，用其中的一种算法就能独步天下）1、基于历史的MBR分析（Memory-Based Reasoning；MBR）基于历史的MB
2015-05-04 23:37:25
801
转载 无法debug断点跟踪JDK源代码——missing line number attributes的解决方法
原文出处：http://www.cnblogs.com/wavky/p/3802537.html?utm_source=tuicool在项目工程->Properties->Java Build Path->Libraries中导入的JRE System Library库里，给jar包添加JDK源代码包后，能够直接打开JDK的各种类文件源代码，如Object、String、H
2015-05-03 21:03:49
804
Apache Kylin 权威指南
2017-10-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人