自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

数据源博客

不积跬步无以至千里, 不积小流无以成江海!

原创 CDH 磁盘逻辑卷扩容后Zookeeper无法删除的大坑

近日在一套客户的测试环境遇到一个棘手的问题。问题现象是这样的,客户CDH测试环境由于之前磁盘容量较小导致磁盘占用满的问题,在做了磁盘逻辑卷扩容后发现CDH无法正常恢复的问题,重启测试环境虚拟机也不起作用。 1、一开始,发现CDH Manager Service服务中的EventServer启动异常...

2020-07-02 12:08:28 28 0

原创 Oracle 备份失败报错ORA-04063: view SYS.KU_RADM_FPTM_VIEW has errors

Oracle备份过程中报错如下, Connected to: Oracle Database 12c Enterprise Edition Release 12.1.0.2.0 - 64bit Production With the Partitioning, OLAP, Advanced An...

2020-06-23 13:51:56 112 0

原创 EsgynDB 关于收集core信息的小技巧

EsgynDB数据库的使用中有时候会碰到一些mxosrvr的core的情况,此时需要分析core产生的原因。 常规的做法是执行gdb mxosrvr coreName,然后执行t,看一下堆栈的情况。 一些常规的手段可以收集一下client&server的基本信息, 展示如下: (gdb) ...

2020-06-23 08:53:18 42 0

原创 HBase Master启动报错java.io.IOException: error or interrupted while splitting logs

今天在一个CDH环境中启动HBase时HBase Master启动发生异常,HBase Master采用的是两台HMaster做一个HA。从CDH管理界面查询启动成功后,HBase Master状态并不太正常(如下图所示), 以上截图看似正常,实质不正常。正常情况下两个HMaster主备可用时,...

2020-06-20 20:56:07 105 0

原创 CDH5删除数据节点

本文介绍如何在CDH Hadoop集群中动态删除数据节点。在做动态删除数据节点之前我们已经有一套CDH集群环境。下面步骤为删除一个数据节点的步骤, 选择要删除的节点 选择菜单栏"主机",勾选要删除的节点 停止主机上的所有角色 勾选节点后,从"已选定的操作&q...

2020-06-10 14:27:29 153 0

原创 EsgynDB 清理不一致对象

EsgynDB中每个对象主要由于底层的HBase对象和上层的元数据组合,把一个Key-Value格式的HBase对象可以映射成为二维的关系型的表。 目前EsgynDB是可能会有某些异常场景下会导致底层的HBase对象和上层的元数据之间匹配异常,这可能主要有以下几种情况, 1、HBase对象存在,元...

2020-06-06 15:50:07 61 0

原创 HDFS启动报错Expected to be able to read up until at least txid but unable to find any edit logs

现象 Hadoop集群出现了异常断电后,HDFS启动报错,报错信息截图如下, 解决 Hadoop NN中的元数据包括: fsimage:包含某个时间点的文件系统的完整状态 edit logs:包含在最近的fsimage之后进行的每个文件系统更改(文件创建/删除/修改)。 当NN启动时,Hadoo...

2020-06-02 18:19:40 79 0

原创 EsgynDB SQL统计模式下各对象个数

EsgynDB数据库把对象的元数据信息保存在"_MD_"这个模式下,所有对象信息,包括表、索引、视图、序列、存储过程、触发器、函数等均能在元数据表中找到对应信息。 "_MD_"这个模式下有一张关键表OBJECTS,每个对象有一个唯一的OBJECT_ID,通过...

2020-05-14 15:37:04 87 0

原创 c3p0的坑导致并发性能问题

最近几天在做数据库结合应用的并发压力测试,发现并发压测性能一直上不去,透过应用日志发现主要慢在获取数据库连接上面,应用使用c3p0连接池的方式。连接池的主要配置如下, <dbConnPools> <dbConnPool id="1&q...

2020-05-12 20:53:41 325 0

原创 EsgynDB之TRIM函数

EsynDB支持TRIM函数,TRIM函数又细分为TRIM、LTRIM、RTRIM三个。 TRIM:删除一个字符串的前导和尾随字符。包括多字节字符在内的每个字符都被视为一个字符。 LTRIM:删除一个字符串的前导空格。 RTRIM:删除一个字符串的尾随空格。 以上三个函数的语法为, TRIM ([...

2020-05-08 19:22:44 65 0

原创 易鲸捷钱库新特性之SQL级别HINT功能初见

易鲸捷数据库之金融数据库在即将到来的新版本1.6.0中将支持SQL级别的HINT功能。熟悉使用Oracle的各位看官可能都知道Oracle的HINT功能,大致语法如下, {DELETE|INSERT|SELECT|UPDATE} /*+ hint [text] [hint[text]]… */ O...

2020-05-06 19:30:37 132 0

原创 Trafodion Troubleshooting-清空表报错ERROR[1034] Unable to obtain privileges

现象 Trafodion中可以使用TRUNCATE或PURGEDATA命令进行表的清空操作,某些异常情况下清空表时会报错没有权限,*** ERROR[1034] Unable to obtain privileges. 解决 TRUNCATE之前添加两个CQD, cqd TRAF_RELOAD_N...

2020-04-02 14:36:20 113 0

原创 Trafodion Troubleshooting-java.lang.Out OfMemoryError: unable to create new native thread

现象 EsgynDB节点的sql日志中报错java.lang.Out OfMemoryError: unable to create new native thread,具体信息如下, 2020-03-27 23:22:28,910, ERROR, SQL.EXE, Node Number: 0,...

2020-03-30 16:32:39 147 0

原创 EsgynDB 使用JDBC UDR访问远程Trafodion的几个问题小结

在前面的文章Trafodion 通过TMUDF访问远程Oracle数据库中我们介绍如何通过TMUDF访问来访问远程数据库,如Oracle、MySQL乃至于远程的Trafodion数据库。 凑巧今天在一个环境中需要使用TMUDF来访问远程Trafodion数据库,并在使用过程中遇到了几个小问题,以下...

2020-03-30 16:06:15 132 0

原创 EsgynDB CQD-traf_lock_ddl

本文介绍EsgynDB的CQD之traf_lock_ddl,此CQD是为了控制并发的DDL/DML操作的用途,默认情况下在EsgynDB中的DDL和DML操作不会相互阻塞,这可能会导致DDL和MDL同时进行时的一些怪异现象。打个比方,如果在一个正在不停写入数据的表上创建索引,那么可能会造成表和索引...

2020-03-30 15:17:03 90 0

原创 EsgynDB 关于带索引的DELETE性能提升

EsgynDB在金融行业的分支版本钱库(QianBase)已经问世有段时间,在钱库版本中,对相关的功能、性能部分做了大量的增强。这其中包括插入、更新及删除的性能提升。 在早期的版本中,当目标表只有主键的情况下,EsgynDB的增删改的性能是相当不错的,因为默认情况下执行计划走的是批量提交的方式,在...

2020-02-10 17:38:59 1162 0

原创 Trafodion Troubleshooting-java.io.IOException: delete late checkin for transaction xxx

现象 在Trafodion数据库中做批量删除时,执行时长超过2小时后报错如下, >>delete from test_delete where a>100; *** WARNING[6008] Statistics for column (A) from table TRAFO...

2020-02-08 17:00:13 129 0

原创 Trafodion更新统计信息原理分析

在前面的文章Trafodion 更新统计信息数据收集 中我们介绍了如何查看更新信息统计的详细步骤,今天正好有空对更新统计信息日志做了一些基本的分析,也算是大致了解了更新统计信息的内部原理了吧,以下内容对更新统计信息的步骤做了一些简化,希望没有不小心剔除掉重要的点。 1. Get Detail U...

2020-01-31 21:12:54 2995 0

原创 Trafodion Troubleshooting- Object has invalid state and cannot be accessed

现象 当表做truncate发现异常中断时,表可能会处于一种中间状态, 再查询表时可能会报表处于invalid state的错误。 解决 Truncate操作内部会执行一系列过程:包括修改元数据信息、禁用底层HBase表、删除底层HBase表等。Truncate是一个DDL操作,目前由于异常中断...

2020-01-10 18:15:28 326 0

原创 EsgynDB Troubleshooting- NodeExists for /trafodion/recovery/LOCK/SnapshotMetaLock

现象 EsgynDB中创建带增量备份的表, 出现长时间不结束的现象。 DTM日志中有报错如下, 分析 表带增量备份属性,建表时有一个额外的snapshot动作,此动作执行时会在zookeeper中临时注释一个znode节点,其他建表动作若要完成需要等待此LOCK结束。 解决 从zookeeper...

2020-01-10 16:26:27 256 0

原创 EsgynDB Troubleshooting-Transaction subsystem TMF returned error 82 while starting a transaction

现象 数据库执行相关命令,只要跟事务相关的均报错ERROR [8604], 如执行BEGIN WORK报错信息为: ERROR [8604] Transaction subsystem TMF returned error 82 while starting a transaction 分析 错误...

2020-01-09 11:59:07 265 0

原创 EsgynDB Troubleshooting-java.io.IOException: java.util.NoSuchElementException

现象 EsgynDB在做版本升级以后,发现无法查看backup tag,报错信息如下, SQL>get all backup tags; *** ERROR[5050] GET BACKUP TAGS command could not be completed. Reason: Erro...

2020-01-02 15:32:53 274 0

原创 Trafodion Troubleshooting-Failed to replace a bad datanode on the existing pipeline

现象 安装EsgynDB在单个节点,在数据库初始化过程中报错,错误内容如下, Create Library Manager: Started *** ERROR[8458] Unable to access ExpLOBInterfaceInsert interface after retry....

2019-12-28 10:54:41 236 0

原创 CDH Agent起不来-Could not determine hostname or ip address; proceeding.

现象 某CDH Hadoop集群环境在重启机器后Agent无法启动,报错信息如下, [17/Dec/2019 16:37:53 +0000] 6741 MainThread agent ERROR Could not determine hostname or ip add...

2019-12-17 17:38:30 201 0

原创 Trafodion Troubleshooting-failed because A clone should not have regions to restore

现象 在HBase中做RESTORE_SNAPSHOT时报错, hbase(main):022:0* restore_snapshot 'RLZYGLXT_FILE_snapshot' ERROR: org.apache.hadoop.hbase.snapshot.Resto...

2019-12-12 12:24:11 202 0

原创 HDFS missing blocks的处理办法

Hadoop集群中遇到了HDFS missing blocks的错误,处理办法如下: 切换到hdfs用户 su - hdfs 使用hadoop fsck命令检查坏的块 hadoop fsck / 输出示例如下 , ... /user/trafodion/.hiveStats/HIVE....

2019-12-11 11:46:55 853 0

原创 EsgynDB之递增序列

EsgynDB在很早期的版本就已经开始支持了SEQUENCE(序列)这一对象了。SEQUENCE的用法符合标准用法,与其他关系型数据库如Oracle使用方法几乎没有区别。以下是摘自SQL手册里面的关于创建SEQUENCE的语法, CREATE SEQUENCE [[catalog-name.]s...

2019-12-11 11:05:56 170 0

原创 Trafodion Troubleshooting-org.apache.hadoop.hbase.exceptions.OutOfOrderScannerNextException

现象 使用INSERT或UPSERT插入表报以下错误,但UPSERT USING LOAD或LOAD INTO则执行成功。 *** ERROR[8448] Unable to access Hbase interface. Call to ExpHbaseInterface::nextRow ...

2019-11-25 12:20:59 176 0

原创 Clouderera SCM Server启动失败之pam_unix(sshd:session) session closed for user root分析定位

昨天在某客户环境进行CDH Hadoop的安装,安装还算比较顺利,但在启动Cloudera SCM Server和Agent服务的时候均启动失败。 [root@YXnode01 ~]# service cloudera-scm-server restart Restarting clouder...

2019-11-05 14:43:53 2740 0

原创 EsgynDB 升级CDH从5.13.3到5.16.2后导致HBase启不来的问题排查

最近在项目测试中需要把CDH从5.13.3升级到5.16.2,升级过程中比较顺利,但是升级后HBase Master总是过一小会儿就出问题,HBase有两个Master,一主一备,正常情况下,查看HBase实例时应该是显示一个Master(主)和一个Master(备),但升级后看到主备状态,Reg...

2019-11-04 17:01:42 234 0

原创 CDH HIVE报错引发的一系列血案

今天偶尔发现一个CDH集群中的Hive MetaStore Server发生了异常,于是检查相关日志,具体日志为Hive MetaStore Server所在节点的/var/log/hive/hadoop-cmf-hive-HIVEMETASTORE-sbh01.esgyn.cn.log.out,...

2019-11-02 15:06:20 449 0

原创 Esgyn Designer工具指定JDK启动

Esgyn Designer工具的启动需依赖JDK 1.8版本。如果客户端机器上默认的JDK版本低于1.8,则Esgyn Designer可能无法启动。然而,有些时候,客户端机器原来可能有其他一些工具也依赖于默认的JDK,且需要JDK版本为1.7。 方法为,修改Esgyn Designer工具的启...

2019-10-25 15:56:47 177 0

原创 get views on table查看表上关联的视图

Trafodion支持语法“get views on table <tablename>”,可以看到一个表上关联的视图。 在Trafodion中,如果表有被其他视图引用,则无法直接用"drop table <tablename>"来进行删除。这种情况下,...

2019-10-25 14:43:54 131 0

原创 HDFS failover启动错误Parent znode does not exist

现象 HDFS配置了高可用,NameNode和DataNode状态看起来均正常,但两个failover进程异常。 查看failover日志,报错信息如下, tail -100f /var/log/hadoop-hdfs/hadoop-cmf-hdfs-FAILOVERCONTROLLER-hxpe...

2019-10-24 21:18:39 127 0

原创 记一次OBJECTS元数据表处于RIT的解决办法

最近一客户环境由于Hadoop故障,恢复时出现“_MD_".OBJECTS处于RIT状态,且长期不能恢复。使用Trafodion用户执行HBCHECK输出如下, HBase is available! HBase version: 1.1.2.2.4.3.0-227 HMast...

2019-09-19 20:45:50 143 0

原创 EsgynDB新版本之正则函数

EsgynDB2.7版本中支持三种常用的正则函数, REGEXP_REPLACE REGEXP_SUBSTR REGEXP_COUNT REGEXP_REPLACE 描述 根据正则表达式做字符串替换 语法 REGEXP_REPLACE(instr,patte...

2019-09-19 19:11:36 159 2

原创 EsgynDB 存储过程SP/SQL

EsgynDB的新版本支持存储过程SP/SQL,语法与Oracle的PL/SQL大部分兼容。 语法 CREATE OR REPLACE PROCEDURE <PROCEDURE NAME> ( [IN in_param param_type,...] [OUT ou...

2019-09-17 17:49:21 149 0

原创 Trafodion 从元数据表中获取字段信息的相关总结

Trafodion中所有对象的元数据信息都保存在schema "_MD_"下面,对象的信息、字段的属性等。 这里我们描述几种常用的和获取字段信息有关的SQL方法。 测试表如下, --create test table DROP TABLE IF EXISTS aaa; ...

2019-09-16 09:28:37 171 0

原创 Trafodion 修改默认的ssh通信端口

默认情况下,Trafodion每个节点之间的ssh通信是用默认的22端口,但有时候基于一些网络安全考虑我们可能会禁用22端口而使用其他端口来做为ssh通信的端口,如20022。修改方法为: 修改trafodion的 ~/.ssh/config 配置文件,增加Port=20022, xxx为非默认的...

2019-09-07 09:55:00 108 0

原创 Trafodion 查看表的创建时间与修改时间

Trafodion中每个对象(如表、索引等)创建后,会在元数据表中增加相应的记录,主要元数据表为"_MD_".objects。 以下是"_MD_".objects的表结构, SQL>showddl "_MD_".objects; ...

2019-08-26 22:42:20 161 6

提示
确定要删除当前文章?
取消 删除