自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

曾经是个DBA

愿无岁月可回头,且以深情共白首。

原创 查看 YARN 上 Hive 运行的 MapReduce Job 的完整 SQL

查看 YARN 上 Hive 运行的 MapReduce Job 的完整 SQL这个默认界面只能看到这个 Job 相关 SQL 的缩略版,没法看到完整的 SQL 很是蛋疼。但最近发现只要点到 Configuration 里搜索 query.string,就能看到完整版了。我不会是最后一个知道的吧?...

2019-05-27 14:04:52 1507 1

原创 记一次神奇的 MapReduce OOM

背景使用 HiBench 对 CDH 集群中各个组件进行基准测试(HiBench的使用这里不过多赘述)。由于最初 conf/hibench.conf 文件中配置的 hibench.scale.profile (影响数据规模的参数) 为 huge, hibench.default.map.parallelism & hibench.default.shuffle.parallelism ...

2018-06-08 16:20:50 750 1

原创 Oracle压缩黑科技(二)--压缩数据的修改

原文链接:https://www.red-gate.com/simple-talk/sql/oracle/compression-in-oracle-part-2-read-only-data/在本系列的第一篇文章中,我们看到了只有在直接路径加载、CTAS(create table as select)和”alter table move”时,基础表压缩机制才可以生效。同时当表启用了压缩时,Orac

2017-12-21 16:35:12 395

原创 Oracle压缩黑科技(一)--基础表压缩

在关于Oracle压缩的这一系列文章中,我们会研究下传统Oracle数据库系统的各类压缩方式,这意味着该系列文章的目录结构大概是:1. 基础表压缩 2. OLTP表压缩 3. 索引压缩。但是,不讨论Exadat

2017-12-21 16:34:23 2762

原创 【Oracle 12c 多租户专题】PDB的内存资源管理

原文链接:https://oracle-base.com/articles/12c/multitenant-memory-resource-management-for-pdbs-12cr2在12.2之前的版本,我们根本没有办法控制一个单独的PDB能使用的内存总量。导致的结果就是“一个糟糕的邻居”可能占用大量内存从而导致同一个实例下其他PDB的性能下降。在Oracle 12.2中,你可以控制某单个P

2017-09-15 14:14:13 1738

原创 【Oracle 12c ASM专题】Flex磁盘组到底有多flexible?

原文链接:https://martincarstenbach.wordpress.com/2017/08/22/12-2-new-feature-the-flex-asm-disk-group-part-4/Flex Disk Group属性前三部分我分享了关于ASM Flex Disk Group、File Group和Quota Group如何强制对存储空间进行限制的实验结果。但是我还没有测试修

2017-09-15 14:13:35 873

转载 Git 里面的 origin 到底代表啥意思?

作者:田雅文 链接:https://www.zhihu.com/question/27712995/answer/39946123 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

2017-08-29 17:40:05 14227 2

原创 【Oracle 12c ASM专题】配额组的配额真的管用吗?

原文连接:https://martincarstenbach.wordpress.com/2017/07/21/12-2-new-feature-the-flex-asm-disk-group-part-3/本专题的上一部分中,我介绍了Flex ASM Diskgroup的两个相关概念,配额组和文件组。但配额组的配额是否真的写多少就是多少呢?(还是超出个百分之多少也没关系)我对此非常好奇。幸运的是,

2017-08-25 11:03:16 366

原创 【Oracle 12c ASM专题】Flex Diskgroup相关概念

在上一部分中,我讲了一些基础知识和人们使用ASM Flex Diskgroup一般想达到的目的。这一部分我将介绍一些Flex Diskgroup的相关新概念。Flex ASM Diskgroup相关新概念当Flex Diskgroup挂载之后,下一步就是创建一些新的实体(这里的实体指文件组和配额组等)了。首先,需要创建配额组(quota group),顾名思义,配额组可以给组内的实体设定配额(存储空

2017-08-10 11:34:34 463

原创 常见数学符号

大写 小写 英文注音 国际音标注音 中文注音   Α α alpha alfa 阿耳法   Β β beta beta 贝塔   Γ γ gamma gamma 伽马   Δ δ deta delta 德耳塔   Ε ε epsilon epsilon 艾普西隆   Ζ ζ zeta zeta 截塔   Η η eta eta 艾塔   Θ θ theta θita 西塔   Ι

2017-08-06 15:21:24 1151

原创 【Oracle 12c ASM专题】我的第一个Flex Diskgroup

原文链接: https://martincarstenbach.wordpress.com/2017/07/06/12-2-new-feature-the-flex-asm-disk-group-part-1/之前我都是从其他分享者那里了解了12.2的flex diskgroup,但直到现在我都没能亲自探索下它有多cool。我相信它真的非常cool而且很值得拿出来分享下。关于这个特性和下面这些测试

2017-08-03 15:06:11 564

原创 【Oracle 12c Flex Cluster专题】节点角色转换

笔者上一篇译文中在介绍Leaf Node时提到, 虽然leaf node不要求直接访问共享存储,但最好还是连上共享存储,因为说不准未来哪天就要把这个leaf node转为hub node使用。 其实这样的说法并不够准确,在12cR1时,leaf node上是无法运行只读数据库实例的,这时不连接共享存储完全不影响其使用。而12cR2的leaf node是可以运行只读数据库实例的,一旦leaf no

2017-07-27 18:05:18 928

原创 【Oracle 12c Flex Cluster专题】Leaf Node的故障迁移

原文链接:http://allthingsoracle.com/oracle-flex-cluster-leaf-node-failover/Oracle 在12c中使用hub-and-spoken技术实现了flex cluster的功能(即RAC集群中的每个节点不再需要既运行ASM实例又运行DB实例,各节点可以扮演不同的角色)。相比12c以前的版本,该功能使集群规模的扩大和缩减变得更加靠谱。原因如

2017-07-19 22:02:56 493

原创 Oracle 隐含参数查询

SELECT ksppinm, ksppstvl, ksppdesc FROM x$ksppi x, x$ksppcv y WHERE x.indx = y.indx AND ksppinm = '_gc_policy_time';

2017-03-20 14:33:41 435

原创 Oracle RAC SCAN NAME域名解析服务精简版配置

安装依赖包:yum install bind*     配置/etc/named.conf[root@dg01 ~]# cat /etc/named.conf //// named.conf//// Provided by Red Hat bind package to configure the ISC BIND named(8) DNS// server as a

2017-03-11 20:59:05 1441

转载 Makefile 中:= ?= += =的区别

http://www.cnblogs.com/wanqieddy/archive/2011/09/21/2184257.html在Makefile中我们经常看到 = := ?= +=这几个赋值运算符,那么他们有什么区别呢?我们来做个简单的实验新建一个Makefile,内容为:ifdef DEFINE_VRE    VRE = “Hello World!”else

2017-02-24 15:22:37 237

转载 ORA-15025: could not open disk "/dev/asm***"

Symptoms:打完补丁后,数据库报错ORA-15025,数据库无法启动.alert日志信息:Wed Jul22 16:26:57 2015ORA-15025:could not open disk "/dev/12casm-diskb"ORA-27041:unable to open fileLinux-x86_64Error: 13: Permissi

2017-02-07 15:33:04 852

转载 CRS-2409:The clock on host is not synchronous with the mean cluster time

Oracle Server - Enterprise Edition - Version 11.2.0.1 to 11.2.0.1 [Release 11.2]Information in this document applies to any platform.SYMPTOMSCTSSD runs in observer mode even though no time sync

2017-02-07 13:50:36 2989

原创 IDA逆向常用宏定义

/* This file contains definitions used by the Hex-Rays decompiler output. It has type definitions and convenience macros to make the output more readable. Copyright (c) 2007-2011 Hex-Ray

2016-12-09 15:57:51 1816

转载 脚本调用ssh后出现Pseudo-terminal will not be allocated because stdin is not a terminal

原帖地址:http://blog.csdn.net/annicybc/article/details/3216041在最近一个刚刚完成的项目中,我们使用了SSH远程login到指定的服务器,在command模式下直接ssh + IP就可以了(通过设置不需要用户密码),如:ssh 10.22.19.54,使用exit退出到本机服务。为了完成一些自动化的工作,我将这段代码通过如下SHELL方式

2016-12-09 14:21:16 3053

原创 miui8删除应用商店不卡米

本贴内容是miui7~8删除应用商店不卡米教程!以前的教程距现在也有很长的时间!我只是根据我所理解的,再次讲述一个方法,过程!我承认此贴基于“http://bbs.mydigit.cn/read.php?tid=1369828”请行家无视,小白不喜勿喷!我也看过那位大神的教程,看完后!大概有了头绪!首先决定文件是services.jar,代码主要认证3个apk文件的包名!也就是说只要把那三个包

2016-12-06 20:55:27 8964

原创 pv lv vg代表的意义

PV 物理卷(physical volume) lv 逻辑卷(logical volume)vg 卷组(Volume Group)

2016-11-28 16:25:46 1063

原创 RAID管理工具 -- MegaCli常用命令

#查raid卡信息(生产商、电池信息及所支持的raid级别)/opt/MegaRAID/MegaCli/MegaCli64 -AdpAllInfo -aALL |grep -E "Product Name|BBU|Memory Size|RAID Level Supported"#查看虚拟化(vd)和物理盘(pd)的信息,比如查看物理硬盘数,是否有硬盘offline或者degrad

2016-11-25 10:54:48 8673 1

原创 反编译python的pyc/pyo字节码文件

github项目:点击打开链接运行环境需要python2.7,可以反编译2.5-2.7的python字节码。下载项目后执行python setup.py install即可(执行该命令输出的内容会告诉你名为uncompyle2的脚本的具体路径)通过dos命令进行反编译:python C:\Users\Administrator\Anaconda2\Scripts\uncompyle

2016-11-22 10:16:14 3615

原创 Linux 维护模式时磁盘为只读模式

mount -o remount rw /

2016-11-03 21:40:55 1957

原创 PostgreSQL 去除字符串中的不可见字符 终极方法

测试表中数据如下:postgres=# select * from test; street ---------- 澄江街道 澄江街道(2 行记录)然后我们执行如下sql:postgres=# select * from test where street='澄江街道'; street ---------- 澄江街道(1 行记录)问题已经暴露,明明两条‘

2016-11-02 16:57:49 3355

原创 Oracle GoldenGate 安装配置全记录

1 安装OGG1.1 上传OGG压缩包解压压缩包 1.2 配置环境变量.bash_profile中添加如下内容export LD_LIBRARY_PATH=$ORACLE_HOME/lib 1.3 创建OGG工作目录GGSCI (rac01) 3> create subdirs Creating subdirectories under current

2016-11-01 15:27:18 1170

原创 OGG 故障排除

当启动replication时,OGG总是去执行那个错误的事务时,跳过错误的事务。start rep rep01 skiptransaction

2016-11-01 12:54:20 651

原创 Oracle GoldenGate add trandata的意义所在

如果不执行add trandata,insert同步没有问题(ORACLE数据库),但是在同步update或delete操作时,就会因为丢失主键报同步错误。不开启表级的最小附加日志,update的redo信息不记录没有进行更新的字段信息,如主键不更新的话主键不记录在redo中,所以会导致同步失败。像这样:2016-11-01 11:15:59 WARNING OGG-01003 Oracl

2016-11-01 11:20:30 3398

原创 kettle使用sql查询ORA-00911无效字符

sql的末尾不能加分号。。。。。。。

2016-10-28 10:32:39 3220 3

原创 Spark1.5的一个bug

>>> 16/10/15 20:07:35 INFO YarnClientSchedulerBackend: Requesting to kill executor(s) 116/10/15 20:07:35 INFO ExecutorAllocationManager: Removing executor 1 because it has been idle for 60 seconds (n

2016-10-27 16:34:25 1263

原创 创建DataGuard为什么要开启force logging

日志记录模式(LOGGING 、FORCE LOGGING 、NOLOGGING)三者的含义LOGGING:当创建一个数据库对象时将记录日志信息到联机重做日志文件。LOGGING实际上是对象的一个属性,用来表示在创建对象时是否记录REDO日志,包括在做DML时是否记录REDO日志。一般表上不建议使用NOLOGGING,在创建索引或做大量数据导入时,可以使用NOLOGGING 。FO

2016-10-13 15:42:43 1021

原创 ASM 故障组概念

一份数据在一个故障组中是唯一的镜像是以区为单位,所以不要假象某磁盘和某磁盘是镜像关系数据是随机的、尽量平均的分散到各个故障组中一个故障组中,不管有多少个磁盘,都可以把它当成一大块逻辑磁盘这个例子应该能说明“冗余度和故障组个数是两个分裂的概念”比如故障组的数量恒定为3(数字1-6代表一区一区的数据)extenal redundancyFG1:1 4FG2:

2016-10-13 13:08:41 1016

转载 数据库in/exists用法和效率大揭密

之前没注意到这两者的差别。其实,这里还是有一定的陷阱的。先看下代码:[java] view plain copy select count(*) from (  ( select sc.xh from "JISUANJI"."STUDENTCHECK" sc )   union    ( select stu.XH as xh        from "JI

2016-10-09 14:48:38 681

原创 动态显示impala sql的执行进度

[bd103:21000] > set live_progress=true;LIVE_PROGRESS set to true

2016-09-28 17:34:33 3289

原创 Greenplum删除segment节点

1 备份数据库[gpadmin@hadoop02 ~]$ gp_dump --gp-d=/home/gpadmin/backup tutorial20160928:14:41:34|gp_dump-[INFO]:-Read params: 20160928:14:41:34|gp_dump-[INFO]:-Command line options analyzed.20160928:14

2016-09-28 17:33:33 4720 1

原创 Greenplum添加segment节点

注意:如果master配置了standby master,添加的segment必须要有mirror segment存在,否则报错。1 查看某张表的数据分布情况tutorial=# select gp_segment_id, count(*) from otp_r group by gp_segment_id; gp_segment_id | count ------------

2016-09-28 17:23:37 4621

原创 一个根据所给资源自动配置CDH中Hadoop等参数的工具

Python的名字为:cdh_auto_configuration.py,完整内容如下:#!/usr/bin/env pythonimport optparsefrom pprint import pprintimport loggingimport sysimport mathimport ast''' Reserved for OS + DN + NM, Map:

2016-09-21 10:57:02 440

原创 关于hive和impala互为前后台的两个坑

Impala 与 Hive 之间互为前后台 有时候你会发现,切换到 Hive 执行下数据加载或转换操作比较方便,特别是处理如 RCFile, SequenceFile, 和 Avro 等这些 Impala 暂时只支持查询不支持写入的数据文件格式无论你在 Hive 中 create, drop, 或 alter 了一个表或其他对象,当切换回 impala-shell 时,立即执行一个 I

2016-09-21 10:17:17 3042

原创 impala-shell 启动报错

在daemon Node执行该命令,Namenode不行。

2016-09-20 20:59:45 1591

提示
确定要删除当前文章?
取消 删除