- 博客(11)
- 资源 (20)
- 收藏
- 关注
转载 HBase简介(很好的梳理资料)
一、简介historystarted by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop become Apache
2014-07-28 17:31:43 678
原创 Hbase的Hfile存储
HBASE是按列存储的,所以很多人都认为相同column family(列族) 或者qualifier(小列)的数据存储在一起。这个理解是正确的吗?真相是:如果内存中有不同的KeyValue,这些KeyValue的rowkey不同,CF(列族)不同,Qualifier(小列)不同。当内存执行flush 的时候(操作方法: flush 'tablename'),所有的相同列族存储
2014-07-28 16:54:49 2014
原创 初识hive UDF
第一部分:产生背景产生背景 •为了满足客户个性化的需求,Hive被设计成一个很开放的系统,很多内容都支持用户定制,包括: •文件格式:Text File,Sequence File •内存中的数据格式: Java Integer/String, Hadoop IntWritable/Text •用户提供的 map/reduce 脚本:不管什么语言,利用 stdin/stdou
2014-07-24 17:56:55 1042
原创 hadoop
一、安装说明系统环境:CentOS-6.4 (Oracle VM VirtualBox)Hadoop版本:hadoop-2.4.1 以下都是采用root用户操作,建议另外创建一个用户和组,如: hadoop用户和hadoop用户组二、安装前提1、在VirtualBox中安装好CentOS6.4 linux操作系统2、添加hadoop用户和hadoop用户组group
2014-07-23 15:44:23 903 1
转载 hive select语句输出指定分隔符
在Hive0.11.0版本新引进了一个新的特性,也就是当用户将Hive查询结果输出到文件,用户可以指定列的分割符,而在之前的版本是不能指定列之间的分隔符,这样给我们带来了很大的不变,在Hive0.11.0之前版本我们一般是这样用的:1hive> insert overwrite local directory '/home/wyp/Documents/resul
2014-07-21 15:47:30 19057 1
转载 MapReduce: 提高MapReduce性能的七点建议[译]
Cloudera提供给客户的服务内容之一就是调整和优化MapReduce job执行性能。MapReduce和HDFS组成一个复杂的分布式系统,并且它们运行着各式各样用户的代码,这样导致没有一个快速有效的规则来实现优化代码性能的目的。在我看来,调整cluster或job的运行更像一个医生对待病人一样,找出关键的“症状”,对于不同的症状有不同的诊断和处理方式。 在医学领域,没
2014-07-14 22:22:27 803
转载 mapreduce 作业优化
map阶段优化参数:io.sort.mb(default 100)当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。而是会利用到了内存buffer来进行已经产生的部分结果的缓存,并在内存buffer中进行一些预排序来优化整个map的性能。每一个map都会对应存在一个内存buffer,map会将已经产生的部分结果先写入到该
2014-07-14 22:09:18 679
原创 只写map不需要reduce,Mapper直接输出到mysql
@Override public int run(String[] args) throws Exception { Configuration conf = getConf(); conf.set("fs.default.name", "hdfs://172.16.1.50:8020"); conf.set("mapred.te
2014-07-14 16:44:52 4584
转载 使用Hive读取Hbase中的数据
第一步,启动hadoop,命令:./start-all.sh第二步,启动hive,命令:./hive --auxpath /home/dream-victor/hive-0.6.0/lib/hive_hbase-handler.jar,/home/dream-victor/hive-0.6.0/lib/hbase-0.20.3.jar,/home/dream-victor/hive
2014-07-10 20:48:04 815 1
Myeclipse好用的几款插件
2013-11-29
artDialog页面弹出框
2012-08-15
Google Maps Javascript API V3开发包
2012-08-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人