自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

DBA技术与案例记录

欢迎技术问题讨论qq77113981

  • 博客(57)
  • 收藏
  • 关注

原创 检查外键是否有索引的SQL

经常用到Oracle中检查外键是否有索引的SQL,这里记录下,以备不时之需SELECT OWNER, TABLE_NAME, CONSTRAINT_NAME, CNAME1 || NVL2(CNAME2, ',' || CNAME2, NULL) || NVL2(CNAME3, ',' || CNAME3, NULL) ||...

2019-09-02 20:09:40 191

原创 建外部表查看报警日志错误

一目标:建外部表查看报警日志错误 注意环节:执行alter table alert_log reject limit unlimited; 否则报错。     ora-29913ora-30653  二具体操作过程:createdirectory bdump_alert as '/opt/app/oracle/diag/rdbms/sun/sun_1/trace';

2017-03-07 12:24:03 711

原创 ORACLE监听日志文件小问题引发的数据库大血案

一:问题现象:a.应用程序无法连接到数据库,超时不报错二:问题分析:a.sqlplus 本机登录,正常b.sqlplus @服务名要5-10分钟c.tnsping 服务465秒首先确认是监听部分出了问题,那么看日志信息三:日志确认我的老天,listener.log 日志文件大小到4G多,直觉是这个文件过大造成的。这个文件明

2017-02-06 18:09:07 3012 1

原创 hadoop-impala十大优化之(8)—impala优化之HDFS缓存最佳实践

1.1  Hadoop-impala十大优化之(8)—HDFS缓存最佳实践1)       HDFS缓存的Impala的概述 2)       设置缓存为HDFS的Impala 3)       使用HDFS的Impala表和分区缓存 4)       加载和HDFS启用缓存删除数据 5)       HDFS的缓存管理和Impala 6)       HDFS的缓

2016-12-21 11:41:24 7338

原创 hadoop-impala十大优化之(7)—Impala查询运行时过滤最佳实践

1.1  Hadoop-impalahadoop-impala十大优化之(7)—Impala查询运行时过滤最佳实践1.1.1  运行时过滤runtime_filter_mode=GLOBAL. 运行时过滤是一种广泛的优化在CDH 5.7 / Impala 2.5及更高版本可用特性。只有当表中数据的一小部分是查询分区表或评价一个连接条件的需要, Impala 确定合适的条

2016-12-15 07:35:53 5695

原创 hadoop-impala十大优化之(6)—控制资源使用最佳实践

1.1  Hadoop-impala十大优化之(6)—控制资源使用最佳实践有时,平衡原始查询性能对可扩展性需要限制的资源量,如内存或中央处理器,使用一个单一的查询或组查询。Impala可以使用多种机制,有助于消除负荷重的同时使用时,产生更快的整体查询时间和资源在Impala查询,MapReduce工作共享,以及其他在CDH集群工作负载:Impala的接纳控制功能使用快速、分布式机制来阻

2016-12-14 07:26:56 1651 1

原创 hadoop-impala十大优化之(5)—基准Impala查询最佳实践

1.1  Hadoop-impala十大优化之(5)—基准Impala查询最佳实践Impala,像其他的Hadoop组件,目的是在分布式环境中处理大量的数据,进行性能测试,使用真实的数据和集群配置。使用一个多节点的集群,而不是一个单一的节点;对运行中包含数据而不是数十GB百万兆字节表查询。用Impala的并行处理技术是最适合的工作负载,超出单个服务器的能力。 当您运行查询返回大量的行时

2016-12-13 07:46:51 1051

原创 Hadoop-impala十大优化之(4)—根据执行计划进行性能优化及最佳实践

之间,以及如何将中间结果合并到生成最终结果集。在实际运行查询之前,您可以看到这些详细信息。您可以使用此信息来检查查询将不会在一些非常意想不到的或低效的方式操作。[impalad-host:21000]> explain select count(*) from customer_address;+---------------------------------------------

2016-12-12 13:17:53 7611

原创 eclipse插件版本或路径更改后的异常处理:java.lang.NoClassDefFoundError: org/eclipse/core/resources/IContainer

错误:java.lang.NoClassDefFoundError: org/eclipse/core/resources/IContainer场景:今天配置maven3.39,更新了jdk1.6到1.8,maven最低要求jdk1.8,结果eclipse无法启动,日志提示myEclipse启动失败,查看日志提示:java.lang.NoClassDefFoundError: or

2016-12-11 16:40:44 3223

原创 Hadoop-impala十大优化之(3)—impala表和列信息统计操作最佳实践

1.1  Hadoop-impala十大优化之(3)—impala表和列信息统计操作1.1.1  表和列的信息统计show table stats parquet_snappy;compute stats parquet_snappy;n  如果是hive的话,统计信息命令如下u  ANALYZE TABLE COMPUTE STATISTICS FOR COLUMNS

2016-12-07 07:26:10 4896

原创 Hadoop-impala十大优化之(2)—impala连接查询性能优化及最佳实践

1.1  Hadoop-impala十大优化之(2)—impala连接查询的性能优化         涉及连接操作的查询通常需要更多的调整,而不是仅指一个表的查询。从联接查询集合查询的结果集的最大大小是所有联接表中的行数的乘积。当加入数个表有数以百万计或数十亿的行,任何错过的机会过滤结果集,或其他低效的查询,可能导致一个操作,不完成在一个实际的时间,必须被取消。         调整Imp

2016-12-06 07:43:16 7427 3

原创 Hadoop-Impala十大优化系列之(1)—分区表优化-8个方法让分区最优化

1.1  Hadoop-Impala十大优化系列之(1)—分区表优化-8个方法让分区最优化impala表分区       默认情况下,表中的所有数据文件都位于一个目录中。分区是在加载过程中基于从一个或多个列的值的物理上划分数据的技术,以加快对这些列进行测试的查询。例如,一个school_records表分区在年柱,各有不同的年值一个单独的数据目录,所有这一年的数据是存储在目录中的数据文件。

2016-12-05 08:26:04 4516 5

原创 Hadoop-Impala优化十大指导原则和最佳实践

1.1  Hadoop-Impala优化十大指导原则和最佳实践以下是性能准则和最佳做法。您可以使用在规划过程中实验,和hadoop集群一起进行impala的性能调整。所有这些信息也可在文档的其他地方更详细的impala文档;以下是优化的方法措施,强调优化调优技术提供最高的投资回报1)       选择适当的数据文件格式2)       避免数据摄入过程,产生许多小的文件3)

2016-12-02 16:10:31 3440 1

原创 hadoop-Impala 5.7性能优化系列-10大优化思路

1.1.1  Impala 5.7-10大优化思路Impala中,提供了10大类优化思路和方法1)       分区2)       连接查询性能考虑3)       表和列信息统计4)       Impala性能测试:5)       基准Impala查询:6)       控制Impala的资源使用情况: 7)       使用Impala查询Amazon S3

2016-12-01 20:19:56 1603

原创 Hadoop-Impala性能优化系列开幕--敬请关注

1    Hadoop-Impala性能优化系列开幕1.1  序和简介1.1.1  序      某集团数据中心业务支撑平台建设也2年了,磕磕碰碰一路走来。最近的hadoop业务大规模急速上升,出现不少问题。项目中集团三地集群均使用了impala作为计算引擎,性能直接提升显,同时也存在一些问题,本文结合自己的实践和官方的文档,做个整理,不敢独享。     由于项目本身繁忙,空闲时间

2016-11-30 18:55:28 795

原创 oracle12c新特性(9)--限制PGA的大小

ALTER SYSTEM SET PGA_AGGREGATE_LIMIT 一般不大于系统的40%,或者就是系统总的内存减去sga后,剩余部分的一般不大于120%。pga_aggregate_target一般为PGA_AGGREGATE_LIMIT的一半,也就是说,一般pga_aggregate_target为系统的10-20%,PGA_AGGREGATE_LIMI为pga_aggr

2016-11-29 18:26:55 3178

原创 oracle12c新特性(8)--RMAN中的表恢复和分区恢复

oracle12c新特性(8)--RMAN中的表恢复和分区恢复 ​ Oracle数据库备份主要分为两类:逻辑和物理备份。每种备份类型都有其自身的优缺点。在之前的版本中,利用现有物理备份来恢复表或分区是不可行的。为了恢复特定对象,逻辑备份是必需的。对于12c R1,你可以在发生drop或truncate的情况下从RMAN备份将一个特定的表或分区恢复到某个时间点或SCN。  当通过RMAN

2016-11-28 18:18:36 571

原创 oracle12c新特性(7)--如何在RMAN中执行SQL语句

oracle12c新特性(7)--如何在RMAN中执行SQL语句 在12c中,你可以在不需要SQL前缀的情况下在RMAN中执行任何SQL和PL/SQL命令,即你可以从RMAN直接执行任何SQL和PL/SQL命令。如下便是在RMAN中执行SQL语句的示例:   RMAN> ALTER TABLESPACE users ADD DATAFILE SIZE 300m;

2016-11-25 11:46:46 383

原创 oracle12c新特性(6)--备份特定用户特权

oracle12c新特性(6)--备份特定用户特权在11g R2中,引入了SYSASM特权来执行ASM的特定操作。同样地,在12c中引入了SYSBACKUP特权用来在 RMAN中执行备份和恢复命令。因此,你可以在数据库中创建一个本地用户并在不授予其SYSDBA权限的情况下,通过授予SYSBACKUP权限让其能够在RMAN中执行备份和恢复相关的任务。​$ ./

2016-11-23 11:51:42 852

原创 oracle12c新特性(5)- 临时undo

1. oracle12c新特性(5)- 临时undo  每个Oracle数据库包含一组与系统相关的表空间,例如SYSTEM,SYSAUX,UNDO & TEMP,并且它们在Oracle数据库中每个都用于不同的目的。在Oracle 12c R1之前,临时表生成的undo记录是存储在undo表空间里的,通用表和持久表的undo记录也是类似的。而在12c R12的临时undo功能中,临时un

2016-11-21 13:05:53 881

原创 oracle12c新特性(4)---相同字段上的多重索引

oracle12c新特性(4)---相同字段上的多重索引  在Oracle 12c R1之前,一个字段是无法以任何形式拥有多个索引的。或许有人会想知道为什么通常一个字段需要有多重索引,事实上需要多重索引的字段或字段集合是很多的。在12c R1中,只要索引类型的形式不同,一个字段就可以包含在一个B-tree索引中,同样也可以包含在Bitmap索引中。注意,只有一种类型的索引是在给定时间可用的。

2016-11-19 15:57:31 1053

原创 oracle12c新特性(3)-不可见字段

oracle12c新特性(3)-不可见字段·1.在Oracle 11g R1中,Oracle以不可见索引和虚拟字段的形式引入了一些不错的增强特性。继承前者并发扬光大,Oracle 12c R1中引入了不可见字段思想。在之前的版本中,为了隐藏重要的数据字段以避免在通用查询中显示,我们往往会创建一个视图来隐藏所需信息或应用某些安全条件。·2.在12c R1中,你可以在表中创

2016-11-18 16:49:33 432

原创 CTWR进程特性

记录自从上一次备份以来数据块的变化,并把这些信息记录在跟踪文件中。RMAN使用这个文件判断增量备份中需要备份的变更数据。这极大的促进了备份性能,RMAN可以不再扫描整个文件以查找变更数据。为此Oracle引入了一个新的后台进程,CTWR(Change TrackingWriter),用于记录变化的块并将变化写入相应的日志文件中。 select filename,status,

2016-11-09 17:20:09 736

原创 修改awr报告的保留时间和快照间隔

修改awr报告的保留时间和快照间隔​execdbms_workload_repository.modify_snapshot_settings(interval=>60,retention=>7*2*24*60);有时遇到系统遇到复杂问题,处理周期长,需要保留系统的快照周期,便于分析问题,这时,需要延长延长快照时间周期默认一般是一周时间,我们这里更改为2周的快照周期。Conne

2016-11-09 17:20:07 5021

原创 如何手工删除oracle数据库和软件

有时候,有可能在dbca图形界面中找不到要删除的库,特别是standby库,默认没有在/ora/etctab里设置,只有手工删除了。假设不关心EM和iSQLPLUS相关的文件。 $ lsnrctl stop$ sqlplus '/assysdba'SQL> select *from v$controlfile; --确定控制文件所在位置SQL> select *from

2016-11-09 17:20:03 2971

原创 手工命令创建数据库

1   手工命令创建数据库删除实例:删除所有数据文件,日志文件,控制文件,配置文件以及任何实例相关的文件,即ok.创建实例:创建initSID.oraCreate database;Create additional rollbacksegment r0 in SYSTEM;Create tablespaces rbs, temp(tools, users可以不用创建)Cr

2016-11-09 17:20:01 355

原创 oracle添加主键的四种方法:

oracle添加主键的四种方法:列级,表级建立主键drop table constraint_test;1.create table constraint_test( name_id number not null constraint cons_name_id primarykey, old number )2.create table constraint

2016-11-09 17:19:58 55253

原创 如何对时间函数进行加减

1.1  如何对时间函数进行加减SQL> alter session set nls_date_format='yyyy-mm-ddhh24:mi:ss'; 会话已更改。 SQL> selectsysdate, sysdate 1/24, sysdate 1/1440, sysdate 1/86400 fromdual;  SYSDATE          

2016-11-09 17:19:53 1882

原创 java Jdbc连接oracle数据库连接测…

​实际环境中发现java连接有问题,写一测试用例,用于测试,内容如下:Redhatjava  Jdbc连接数据库连接测试vi   test.javaimport java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.St

2016-11-09 17:19:50 612

原创 oracle数据库的ora_p进程为什么这…

oracle数据库的ora_p进程为什么这么多? 这个进程是数据库的并发服务进程,常会发现数据库服务器数量越多,并发服务进程就越多。和这个进程相关的参数有四个,oracle12c中,受限四个参数cpu_count                         parallel_threads_per_cpu  parallel_max_servers     Default v

2016-11-09 17:19:47 1596

原创 mysql中文字符的问题

​mysql5.1上成功更改的例子:          1.在my.cnf中clent和mysqld加入default-character-set=utf8     2.  更改数据库字符集     3.创建数据库表字符集     4.更改兼容中文的gbk以下是详细过程 mysql> usemysqlDatabase changedmysql> CR

2016-11-09 17:19:45 330

原创 linux安装中文方块乱码现象

​由于某些原因系统安装时未安装中文支持,导致后续应用出现中文方块乱码现象,解决方法很简单,当然不是重装,只需以下三步即可搞定。1、安装中文包:#yum -y groupinstallchinese-support    安装所有与中文支持相关的包 2、修改字符编码配置文件# vi/etc/sysconfig/i18n修改后内容如下:LANG="zh_CN.UTF-8

2016-11-09 17:19:42 4349

原创 Oracle导出where条件内容

日常工作中经常会出现将一个过滤结果集导出到另一个库,需要导出命中添加where条件,由于不同平台中需要用不同的转移字符,较为繁琐,而是用参数文件就能很好的解决该问题。===========================================================目的一:导出导出表ljg ,条件为object_id?目的二:使用参数文件,解决不同平台写法不一样的繁琐

2016-11-09 17:19:39 4372

原创 oracle em 按钮乱码现象

1.在$ORACLE_HOME/jdk/jre/lib里找到font.properties文件。把它复制一份,更名为font.properties.bak 2.在$ORACLE_HOME/jdk/jre/lib里找到font.properties.zh_CN.Redhat文件。更名为font.properties,把原文件替换掉。 3.确认font.properties,最后一行字体信

2016-11-09 17:19:37 240

原创 Linux Error: 11: Resource temporarily unavailable

TNS-12518: TNS:listener could not hand off client connectionTNS-12536: TNS:operation would blockTNS-12560: TNS:protocol adapter errorTNS-00506: Operation would blockLinux Error: 11: Resource temporarily unavailable

2016-11-09 17:19:34 11520

原创 Oracle12c日常pdb创建、开关和删除…

1.1  Oracle12c日常pdb创建、开关和删除操作1.1.1  直接创建pdb数据库CREATE PLUGGABLE DATABASEtestdbADMIN USER testdbdb IDENTIFIEDBY testdbSTORAGE (MAXSIZE 2GMAX_SHARED_TEMP_SIZE 100M)DEFAULT TABLESPACE testdbd

2016-11-09 17:19:31 604

原创 Starting httpd: httpd: Couldnot reliably determine the server's fully qualified domainname

1.1  启动apache遇到错误Starting httpd: httpd: Couldnot reliably determine the server's fully qualified domainname1.1.1  问题描述[root@masterPackages]#  service httpd startStarting httpd: httpd: Could

2016-11-09 17:19:28 430

原创 prvf-0040 the remote&n…

安装oracle11g时,遇到类似这样的。prvf-0040 the remote shell /usr/local/bin/ssh request by the clientdoes not existprvf-0040 the remote shell /usr/local/bin/scp request by the clientdoes not exist检查 /usr/l

2016-11-09 17:19:26 930

原创 Another app is cu…

1.1 Another app iscurrently holding the yum lock; waiting for it toexit...有时用yum安装docker或者升级时,会出现以下情况:1.1.1 现象[root@dockerserver2 ~]# yum installdockerLoaded plugins: fastestmirror,langpack

2016-11-09 17:19:23 377

原创 mysql之percona5.6.10masterslave…

本文以在最新的percona5.6.10版本在虚拟机上进行安装配置,给第一次接触percona一个手把手教的过程。以下内容,全部来自实际测试环境。环境:    系统:vm redhat5.4    数据库:percona5.6.10两个ip:   master:192.168.66.111    slave:192.168.66.112安装步骤和思路: 1.主从库安装及配置

2016-11-09 17:19:20 443

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除