- 博客(16)
- 收藏
- 关注
RSS订阅转载 Hive 调整inputsplit size来增加MAP数
线上一个Hive（CDH4.2.0）的清洗Job出错，查看日志发现其中一个MAP OOME：查看了日志这个HQL是2个表进行Join，splits=2即开了2个MAP进行分别处理，其中一个...
2013-09-17 20:03:38
393
转载 Sqoop splitkey支持的类型
前阶段一个Sqoop抽取Job指定了一个xxx_id作为splitkey，后来抽取失败；想当然以为PK就是int，发现其实是varchar（https://issues.apache.org/ji...
2013-09-17 14:26:50
101
转载 Sqoop fetchsize失效
前几天线上Sqoop的一个Job（从MySQL抽取数据到Hadoop）突然报了OOME,后重跑并做java trace发现内存占用都是byte[]，同时cpu top 3的方法都是com.mysq...
2013-09-16 22:51:30
169
转载 动态Zookeeper节点变更
最近做一次zk的线上迁移，由于线上使用的集群版本是CDH4.2，zk的版本是3.4.5，还不支持动态变更节点（在https://issues.apache.org/jira/browse/ZOOK...
2013-09-16 20:56:04
279
转载 Flume-ng HDFS sink原理解析
HDFS sink主要处理过程在process方法： //循环batchSize次或者Channel为空 for(txnEventCount = 0;...
2013-09-15 22:36:56
125
转载 Flume-ng FileChannel原理解析
v:* {behavior:url(#default#VML);}o:* {behavior:url(#default#VML);}w:* {behavior:url(#default#VML);}.shape ...
2013-09-15 12:39:07
123
转载 关于共享SQL——窥视解析
parse[@more@]演员表：A——————boylookB——————hrC——————davidSQL> show userUSER is "BOYLOOK"SQL> select * from tab;TN...
2011-07-12 10:13:17
151
转载 利用Oracle VPD实现行级安全保护（二）
VPD[@more@]通过VPD策略的设置，David只能够查看部门60和80的记录。SQL> conn davidEnter password: Connected.SQL> select employee_id,...
2011-07-12 10:10:31
114
转载 利用Oracle VPD实现行级安全保护（一）
VPD[@more@]大家都知道，Oracle的锁机制是行级别的，下面来看看Oracle的安全访问机制： 安全的数据过滤，必须在基础数据表的一层就完成，这样用户无论是通过视图还是基础表都无法绕过安全控制。而VPD（virt...
2011-07-12 10:10:03
297
转载 模拟利用MV进行数据迁移
物化视图[@more@]利用MV的数据迁移最大的特点是比较灵活，可以实现跨平台，跨数据库版本迁移，而且能够实现数据的重组优化。该方式的实现原理要求在源表对象有一个主键，用于MV刷新。在源表上创建MV日志，再在目标数据库创建结构一...
2011-07-12 10:08:28
107
转载 Oracle在线重定义
在线重定义[@more@]Oracle9i之前，表数据的整理是通过 alter table XXX move [tablespace XX]进行的。如果表非常大，IO又不快的时候，move的过程可能相当漫长，不能算是HA特性。因...
2011-07-12 10:06:42
135
转载 谁动了我的索引(三)
oracle索引学习[@more@]环境介绍：SQL> desc t1;Name Null? Type--------------------...
2011-07-12 10:05:56
89
转载 谁动了我的索引(二)
oracle索引学习[@more@]接上文http://boylook.itpub.net/post/43144/520539；嗯，自从有了上次的经验，实验时建表都要把rowid拉进来，排除干扰：SQL> create t...
2011-07-12 10:03:03
64
转载 not null与check is not null
not null与check is not null区别[@more@]在OCP SQL部分有这样一道题：You need to add a NOT NULL constraint to the QUANTITY column ...
2011-07-12 09:59:03
432
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人