数据源博客

不积跬步无以至千里, 不积小流无以成江海!

CDH升级导致EsgynDB启不来的问题分析

现象 近来有一个客户那个经常性的EsgynDB起不来。从CDH Manager看起来Hadoop集群是正常的,但trafodion用户执行hbcheck确显示HBase状态异常。 原因 使用trafodion用户执行hbcheck显示Unavailable,但CDH Manager中显示正常...

2019-05-11 20:49:11

阅读数 15

评论数 0

libssl.so.1.0.文件导致DataNode启不来

今天突然发现Hadoop集群中的一台DataNode启不来,其他节点都是正常的,此DataNode启动过程中日志只有以下错误信息, 2019-05-06 16:36:01,106 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: RECE...

2019-05-06 22:34:37

阅读数 11

评论数 0

EsgynDB 函数之unix_timestamp及from_unixtime

在EsgynDB 2.5版本及后续版本中,支持了对MySQL数据库中unix_timestamp及from_unixtime函数的兼容性实现。 unix_timestamp 用于得到一个固定timestamp对应的unix timestamp值,类型为整形。 from_unixtime用于从一个...

2019-04-29 13:11:02

阅读数 19

评论数 0

Linux 安装配置VNC

本文介绍如果在Linux机器安装VNC SERVER并从远程Windows机器安装VNC Viewer连接Linux机器。主要步骤如下, 在目标Linux机器安装VNC SERVER yum install -y vnc yum install -y vnc-server 配置VNC ...

2019-04-18 14:37:41

阅读数 40

评论数 0

Trafodion Troubleshooting-HBase Master Too many open files

2## 现象 准备地说这是一个由于HBase问题导致Trafodion不可用的问题。 重启Hadoop后,HBase Master过了一会儿自动Down掉,RegionServer显示正常。 HBase Master日志有较多报错"java.net.SocketException:...

2019-04-11 18:46:04

阅读数 47

评论数 0

Trafodion Troubleshooting-The certificate file is corrupted

现象 使用客户端工具连接Trafodion数据库,客户端工具报以下错误, An error occurred while establishing the connection: Long Message: ***ERROR[29721] The certificate file xxx.ce...

2019-03-22 17:19:11

阅读数 51

评论数 0

Trafodion Troubleshooting-HBase is not available

现象 刚启动完HBase,使用Trafodion用户执行hbcheck检查hbase状态,发现HBase不可用,报错如下, HBase is not available HBase not available. Waiting 10 seconds. ZooKeeper Quorum: dev02...

2019-03-18 18:47:20

阅读数 64

评论数 0

EsgynDB 替换License步骤

本文简要描述如何更新EsgynDB的License。 1 检查当前License状态 这可以通过多种方式实现(以下任何一种方法即可), (1) decoder命令 使用trafodion用户在其中一台EsgynDB节点上执行以下命令输出License状态 [trafodion@dev02...

2019-03-07 10:58:31

阅读数 86

评论数 0

Cloudera Agent错误Cannot assign requested address

现象 Cloudera Agent服务已经启动,但报HeartBeat错误,意味着Agent与Server通信有问题。 查看Cloudera Agent日志报错如下, [22/Feb/2019 16:05:19 +0000] 15199 MainThread _cplogging INFO ...

2019-02-22 18:25:27

阅读数 66

评论数 0

使用sqoop迁移Oracle中blob到Trafodion

在前面文章中,我们介绍了使用sqoop把blob迁移到Hive,由于Hive本身不支持LOB类型,我们使用String来存储BLOB数据,存储格式为16进制的字符串。 数据在Hive中之后,我们便可以直接使用Trafodion自带的LOAD INTO命令把数据直接从Hive表加载到Trafodi...

2019-02-20 19:24:26

阅读数 106

评论数 0

使用sqoop迁移blob到Hive表

sqoop是一款开源的关系型数据库到Hadoop的迁移工具,对于通用的数据类型,如数值类型、字符类型、日期类型等sqoop可以提供无缝地迁移到Hadoop平台。但对于特殊类型,如LOB,使用sqoop迁移则有所限制。 对于CLOB,如xml文本,sqoop可以迁移到Hive表,对应字段存储为字符...

2019-02-20 17:47:34

阅读数 339

评论数 0

使用plsql往Oracle的blob插入图片

一、创建测试表 create table a(a blob); 二、创建数据库目录,映射到服务器指定目录 create directory ffolder as '/home/u01/app/oracle'; 三、往目录中存放图片,如filename.jpg(略) 四、使用pls...

2019-02-20 16:54:12

阅读数 321

评论数 0

/usr/hdp目录下的spark包引发的血案

现象 机房断电后,HDP Hadoop各重要组件启动异常。 单独从Ambari界面启动Zookeeper报错,报错截图如下 解决 根据报错信息,定位到错误发现在ambari-python-wrap /usr/bin/hdp-select versions | grep ^2.4.3.0...

2019-02-19 11:02:52

阅读数 138

评论数 0

EsgynDB及Hadoop重启步骤

鉴于有EsgynDB使用者询问到如何重启EsgynDB的问题,这里特别写一篇博客来阐述一下,供读者参考。 前提条件 1 EsgynDB是基于Hadoop架构,目前主流的Hadoop版本主要是CDH和HDP,本文我们以底层是CDH为例。 2 EsgynDB因为只能安装在Hadoop的DataN...

2019-02-14 10:32:56

阅读数 77

评论数 0

Trafodion之DTM介绍

DTM,全称Distributed Transaction Management,即分布式事务管理器,是Trafodion支持事务的重要组件部分。 DTM是一个进程,每个数据库节点一个,可以通过sqcheck查看到DTM进程,个数与节点数一致,如下输出, [trafodion@p08 ~]$ ...

2019-02-01 11:02:06

阅读数 63

评论数 0

EsgynDB 2.5新特性之update using upsert

在已经发布的EsgynDB 2.5版本中,对update的性能做了优化。 从语法上,我们增加了新的语法update using upsert,详细语法如下, update using upsert <tablename> set <...

2019-01-25 16:59:28

阅读数 54

评论数 0

Trafodion Troubleshooting - Trying to load more than 32 hfiles to one family of one region

现象 在Trafodion中往一个单分区表中Load数据的时候,或者在一个大的分区表上创建单分区索引的时候,会遇到以下错误, ERROR[8448] Unable to access Hbase interface. Call to ExpHbaseInterface:doBulkLoad r...

2019-01-13 17:53:22

阅读数 141

评论数 0

nmon使用技巧

最近在做性能测试的时候,客户要求描述压力测试的同时机器的资源使用情况,nmon是一个很好的资源分析工具,nmon的使用比较简单,安装好nmon之后通过简单的命令即可把测试过程中的资源使用情况收集并保存为文件,之后可以使用nmon分析工具来分析nmon生成的文件,进而得到CPU、内存、网络IO、磁盘...

2019-01-12 12:55:11

阅读数 139

评论数 1

Trafodion Troubleshooting-MPI_Allgather error

现象 数据库原来运行正常,由于某一个节点硬件问题做了机器动作,之后重新启动数据库时数据库无法正常运行,monitor日志中报错信息如下图, 分析 MPI错误表示通信异常,由于问题是出现在了某节点重启之后,怀疑与此问题相关,机器重启后导致某些服务异常。 解决 经分析,发现是重启的机器防火墙自动打开...

2019-01-09 17:02:03

阅读数 48

评论数 0

Trafodion函数介绍之split_part

目前Trafodion已经支持split_part函数,其函数定义与用法和PostGreSQL中的split_part相同。具体语法定义如下(摘自PG文档,由于Trafodion的SQL手册尚未添加), 函数 返回类型 描述 示例 结果 split_part(string text...

2019-01-04 11:24:09

阅读数 105

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭