DBA技术与案例记录

如何开发一个小程序来控制整个pad的程序下载和程序使用时间？

经常用到Oracle中检查外键是否有索引的SQL，这里记录下，以备不时之需SELECT OWNER, TABLE_NAME, CONSTRAINT_NAME, CNAME1 || NVL2(CNAME2, ',' || CNAME2, NULL) || NVL2(CNAME3, ',' || CNAME3, NULL) ||...

一目标：建外部表查看报警日志错误 注意环节：执行alter table alert_log reject limit unlimited; 否则报错。     ora-29913ora-30653  二具体操作过程：createdirectory bdump_alert as '/opt/app/oracle/diag/rdbms/sun/sun_1/trace';

一：问题现象：a.应用程序无法连接到数据库，超时不报错二：问题分析：a.sqlplus 本机登录，正常b.sqlplus @服务名要5-10分钟c.tnsping 服务465秒首先确认是监听部分出了问题，那么看日志信息三：日志确认我的老天，listener.log 日志文件大小到4G多，直觉是这个文件过大造成的。这个文件明

1.1  Hadoop-impala十大优化之（8）—HDFS缓存最佳实践1)       HDFS缓存的Impala的概述 2)       设置缓存为HDFS的Impala 3)       使用HDFS的Impala表和分区缓存 4)       加载和HDFS启用缓存删除数据 5)       HDFS的缓存管理和Impala 6)       HDFS的缓

1.1  Hadoop-impalahadoop-impala十大优化之（7）—Impala查询运行时过滤最佳实践1.1.1  运行时过滤runtime_filter_mode=GLOBAL. 运行时过滤是一种广泛的优化在CDH 5.7 / Impala 2.5及更高版本可用特性。只有当表中数据的一小部分是查询分区表或评价一个连接条件的需要， Impala 确定合适的条

1.1  Hadoop-impala十大优化之（6）—控制资源使用最佳实践有时，平衡原始查询性能对可扩展性需要限制的资源量，如内存或中央处理器，使用一个单一的查询或组查询。Impala可以使用多种机制，有助于消除负荷重的同时使用时，产生更快的整体查询时间和资源在Impala查询，MapReduce工作共享，以及其他在CDH集群工作负载：Impala的接纳控制功能使用快速、分布式机制来阻

1.1  Hadoop-impala十大优化之（5）—基准Impala查询最佳实践Impala，像其他的Hadoop组件，目的是在分布式环境中处理大量的数据，进行性能测试，使用真实的数据和集群配置。使用一个多节点的集群，而不是一个单一的节点；对运行中包含数据而不是数十GB百万兆字节表查询。用Impala的并行处理技术是最适合的工作负载，超出单个服务器的能力。 当您运行查询返回大量的行时

之间，以及如何将中间结果合并到生成最终结果集。在实际运行查询之前，您可以看到这些详细信息。您可以使用此信息来检查查询将不会在一些非常意想不到的或低效的方式操作。[impalad-host:21000]> explain select count(*) from customer_address;+---------------------------------------------

错误：java.lang.NoClassDefFoundError: org/eclipse/core/resources/IContainer场景：今天配置maven3.39，更新了jdk1.6到1.8，maven最低要求jdk1.8,结果eclipse无法启动，日志提示myEclipse启动失败，查看日志提示：java.lang.NoClassDefFoundError: or

1.1  Hadoop-impala十大优化之（3）—impala表和列信息统计操作1.1.1  表和列的信息统计show table stats parquet_snappy;compute stats parquet_snappy;n  如果是hive的话，统计信息命令如下u  ANALYZE TABLE COMPUTE STATISTICS FOR COLUMNS

1.1  Hadoop-impala十大优化之（2）—impala连接查询的性能优化         涉及连接操作的查询通常需要更多的调整，而不是仅指一个表的查询。从联接查询集合查询的结果集的最大大小是所有联接表中的行数的乘积。当加入数个表有数以百万计或数十亿的行，任何错过的机会过滤结果集，或其他低效的查询，可能导致一个操作，不完成在一个实际的时间，必须被取消。         调整Imp

1.1  Hadoop-Impala十大优化系列之（1）—分区表优化-8个方法让分区最优化impala表分区       默认情况下，表中的所有数据文件都位于一个目录中。分区是在加载过程中基于从一个或多个列的值的物理上划分数据的技术，以加快对这些列进行测试的查询。例如，一个school_records表分区在年柱，各有不同的年值一个单独的数据目录，所有这一年的数据是存储在目录中的数据文件。

1.1  Hadoop-Impala优化十大指导原则和最佳实践以下是性能准则和最佳做法。您可以使用在规划过程中实验，和hadoop集群一起进行impala的性能调整。所有这些信息也可在文档的其他地方更详细的impala文档；以下是优化的方法措施，强调优化调优技术提供最高的投资回报1)       选择适当的数据文件格式2)       避免数据摄入过程，产生许多小的文件3)

1.1.1  Impala 5.7-10大优化思路Impala中，提供了10大类优化思路和方法1)       分区2)       连接查询性能考虑3)       表和列信息统计4)       Impala性能测试：5)       基准Impala查询：6)       控制Impala的资源使用情况： 7)       使用Impala查询Amazon S3

1    Hadoop-Impala性能优化系列开幕1.1  序和简介1.1.1  序      某集团数据中心业务支撑平台建设也2年了，磕磕碰碰一路走来。最近的hadoop业务大规模急速上升，出现不少问题。项目中集团三地集群均使用了impala作为计算引擎，性能直接提升显，同时也存在一些问题，本文结合自己的实践和官方的文档，做个整理，不敢独享。     由于项目本身繁忙，空闲时间

ALTER SYSTEM SET PGA_AGGREGATE_LIMIT 一般不大于系统的40%，或者就是系统总的内存减去sga后，剩余部分的一般不大于120%。pga_aggregate_target一般为PGA_AGGREGATE_LIMIT的一半，也就是说，一般pga_aggregate_target为系统的10-20%，PGA_AGGREGATE_LIMI为pga_aggr

oracle12c新特性（8）--RMAN中的表恢复和分区恢复　​　Oracle数据库备份主要分为两类：逻辑和物理备份。每种备份类型都有其自身的优缺点。在之前的版本中，利用现有物理备份来恢复表或分区是不可行的。为了恢复特定对象，逻辑备份是必需的。对于12c R1，你可以在发生drop或truncate的情况下从RMAN备份将一个特定的表或分区恢复到某个时间点或SCN。　　当通过RMAN

oracle12c新特性（7）--如何在RMAN中执行SQL语句　在12c中，你可以在不需要SQL前缀的情况下在RMAN中执行任何SQL和PL/SQL命令，即你可以从RMAN直接执行任何SQL和PL/SQL命令。如下便是在RMAN中执行SQL语句的示例： 　　RMAN> ALTER TABLESPACE users ADD DATAFILE SIZE 300m;

oracle12c新特性（6）--备份特定用户特权在11g R2中，引入了SYSASM特权来执行ASM的特定操作。同样地，在12c中引入了SYSBACKUP特权用来在 RMAN中执行备份和恢复命令。因此，你可以在数据库中创建一个本地用户并在不授予其SYSDBA权限的情况下，通过授予SYSBACKUP权限让其能够在RMAN中执行备份和恢复相关的任务。​$ ./