- 博客(16)
- 收藏
- 关注
转载 Hive 调整inputsplit size来增加MAP数
线上一个Hive(CDH4.2.0)的清洗Job出错,查看日志发现其中一个MAP OOME:查看了日志这个HQL是2个表进行Join,splits=2即开了2个MAP进行分别处理,其中一个...
2013-09-17 20:03:38
393
转载 Sqoop splitkey支持的类型
前阶段一个Sqoop抽取Job指定了一个xxx_id作为splitkey,后来抽取失败;想当然以为PK就是int,发现其实是varchar(https://issues.apache.org/ji...
2013-09-17 14:26:50
101
转载 Sqoop fetchsize失效
前几天线上Sqoop的一个Job(从MySQL抽取数据到Hadoop)突然报了OOME,后重跑并做java trace发现内存占用都是byte[],同时cpu top 3的方法都是com.mysq...
2013-09-16 22:51:30
169
转载 动态Zookeeper节点变更
最近做一次zk的线上迁移,由于线上使用的集群版本是CDH4.2,zk的版本是3.4.5,还不支持动态变更节点(在https://issues.apache.org/jira/browse/ZOOK...
2013-09-16 20:56:04
279
转载 Flume-ng HDFS sink原理解析
HDFS sink主要处理过程在process方法: //循环batchSize次或者Channel为空 for(txnEventCount = 0;...
2013-09-15 22:36:56
125
转载 Flume-ng FileChannel原理解析
v:* {behavior:url(#default#VML);}o:* {behavior:url(#default#VML);}w:* {behavior:url(#default#VML);}.shape ...
2013-09-15 12:39:07
123
转载 关于共享SQL——窥视解析
parse[@more@]演员表:A——————boylookB——————hrC——————davidSQL> show userUSER is "BOYLOOK"SQL> select * from tab;TN...
2011-07-12 10:13:17
151
转载 利用Oracle VPD实现行级安全保护(二)
VPD[@more@]通过VPD策略的设置,David只能够查看部门60和80的记录。SQL> conn davidEnter password: Connected.SQL> select employee_id,...
2011-07-12 10:10:31
114
转载 利用Oracle VPD实现行级安全保护(一)
VPD[@more@]大家都知道,Oracle的锁机制是行级别的,下面来看看Oracle的安全访问机制: 安全的数据过滤,必须在基础数据表的一层就完成,这样用户无论是通过视图还是基础表都无法绕过安全控制。而VPD(virt...
2011-07-12 10:10:03
297
转载 模拟利用MV进行数据迁移
物化视图[@more@]利用MV的数据迁移最大的特点是比较灵活,可以实现跨平台,跨数据库版本迁移,而且能够实现数据的重组优化。该方式的实现原理要求在源表对象有一个主键,用于MV刷新。在源表上创建MV日志,再在目标数据库创建结构一...
2011-07-12 10:08:28
107
转载 Oracle在线重定义
在线重定义[@more@]Oracle9i之前,表数据的整理是通过 alter table XXX move [tablespace XX]进行的。如果表非常大,IO又不快的时候,move的过程可能相当漫长,不能算是HA特性。因...
2011-07-12 10:06:42
135
转载 谁动了我的索引(三)
oracle索引学习[@more@]环境介绍:SQL> desc t1;Name Null? Type--------------------...
2011-07-12 10:05:56
89
转载 谁动了我的索引(二)
oracle索引学习[@more@]接上文http://boylook.itpub.net/post/43144/520539;嗯,自从有了上次的经验,实验时建表都要把rowid拉进来,排除干扰:SQL> create t...
2011-07-12 10:03:03
64
转载 not null与check is not null
not null与check is not null区别[@more@]在OCP SQL部分有这样一道题:You need to add a NOT NULL constraint to the QUANTITY column ...
2011-07-12 09:59:03
432
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人