- 博客(16)
- 收藏
- 关注
RSS订阅原创 informatica 抽数报错:ORA-22835 缓冲区对于 CLOB 到 CHAR 转换或 BLOB 到 RAW 转换而言太小
最近在开发过程中发现了infa在抽取oracle的blob字段报了ora-22835错误，一般遇到这个问题都是使用substr函数截断即可，但是本次遇到的字段无论使用substr还是组合使用to_char,cast函数仍然报错。这个问题产生的原因猜测是blob/clob字段最大可以存储4GB的数据，而varchar2的最大值支持到32767（12c），infa在从源库查询的时候 substr之前，blob/clob就超过了默认转换的32767限制，所以又报了buffer不足。
2023-12-13 16:35:27
900
1
原创 kudu扩容报错
kudu的架构体系下图显示了一个具有三个 master 和多个 tablet server 的 Kudu 集群，每个服务器都支持多个 tablet。它说明了如何使用 Raft 共识来允许 master 和 tablet server 的 leader 和 f ollow。此外，tablet server 可以成为某些 tablet 的 leader，也可以是其他 tablet 的 follower。leader 以金色显示，而 follower 则显示为蓝色。下面是一些基本概念：Tab
2021-07-13 14:29:14
539
原创 cdp hive_on_tez集成ad问题
I’ll be happy to assist with this issue. I understand you are not able to integrate hive_on_tez with AD(LDAP). In CDP we only support hive on tez now, so please do not use hive on rm anymore. In CDP there is a CM know issue (will be resolved in CDP 7.1.1).
2021-04-29 09:20:34
268
转载 Kudu时间同步了还是报时间未同步异常处理
文档编写目的Kudu对时间同步有严格的要求，本文档描述了一次集群已经使用NTP进行时间同步，Kudu组件还是报时间未同步问题处理流程。 测试环境 1.CDH和CM版本：CDP7.1.4和CM7.1.42.集群启用Kerbeos+OpenLDAP+Ranger问题描述1.如下集群所有Kudu实例异常2.查看日志报时间未同步相关异常3.查看我们已经使用NTP进行时间正常同步，而且集群其他服务都没有问题，就Kudu组件...
2020-12-16 14:25:02
764
原创 记录一次hive/impala 角色授权失败
现象：通过odbc/impala-shell/beeline 输入grant命令都卡住无响应，超时失败排查了impala，hive服务都没问题最后定位到sentry，由于sentry服务的元数据库连接失败，密码到期解决：更新密码即可
2020-12-15 10:00:56
248
转载 CDH环境快速恢复不同步的JournalNode
背景：CDH集群中一个DataNode节点宕机后所有服务中断，其他节点正常运行并存储了大量新数据。在恢复宕机节点后，重启其DataNode与JournalNode，之后CM报出JournalNode不同步的错误，如下图。处理：1、停止bigdata168上不同步的JournalNode服务（在CM上操作角色）2、备份bigdata168服务器上JournalNode的数据目录cp -r /dfs/jn opt/backup3、删除bigdata168服务器上J...
2020-12-14 14:59:06
690
原创 kafka 测试
启动一个终端A，执行下面命令，> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test>hello world>另外启动一个终端B，执行下面命令，> ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginninghello world...
2020-09-09 10:52:26
117
转载 impala Daemon分配coordinator和executor角色
1.文档编写目的默认情况下，CDH集群中的Impala Daemon又可以充当查询的coordinator，也可以作为executor来执行查询本身，coordinator类似一个查询作业的管理角色一样负责协调各个Impala Daemon上的executor。在大规模集群中，Impala作业比较多的情况下，一个Impala Daemon既作为coordinator又作为executor是比较常见的，这就不可避免的会带来一些问题：1.coordinator与executor会互相干扰带来性能问题。对
2020-08-28 11:17:51
1277
原创 cloudera cm 版本升级
由于安装cm时版本不对，导致安装cdh出现报错end(0) cloudera-manager-agent must have Version=5.15.0 and Build=62, exiting closing logging file descriptor参考下面文章解决https://docs.cloudera.com/documentation/manager/5-0-x/Cloudera-Manager-Administration-Guide/cm5ag_upgrade_cm5.h..
2020-06-15 09:08:28
407
原创 CDH集群间数据同步 distcp
首先要确定两个集群的namenode（活动），可以登录cm-集群-hdfs-实例查看，确定namenode后再确定相应端口，可以在cm中hdfs主机-资源界面查看（一般为8020），确定完两个集群的参数后再确定下面的配置1、两个集群的所有节点都互通/etc/hosts文件（可选，没有配置hosts可以使用ip）2、数据源集群主节点到老集群各个节点的ssh免密登陆3、两个集群版本是否一致4、运行命令的用户有目标集群仓库目录的权限cdh版本相同使用命令hadoop distcp hdfs://i.
2020-05-27 16:56:22
1046
原创 hadoop任务无法提交
cm 中 yarn 资源配置中创建了新的放置计划后删除，发现hadoop任务提交后一直pending状态，必须重新创建一个放置计划
2020-05-13 16:34:01
269
原创 hive 连接报错 return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
hive库对应权限不足，hdfs dfs -chmod 修改权限后可以使用
2020-05-06 17:17:02
794
转载 AMD ryzen fedora26 安装Nvidia驱动
下载Nvidia驱动关闭Nouveau：1)把驱动加入黑名单中: /etc/modprobe.d/blacklist.conf 在后面加入：blacklist nouveau2) 使用 dracut重新建立 initramfs image file :* 备份 the initramfs file$ sudo mv /boot/initramfs-$(uname
2017-10-18 13:39:50
494
1
原创 利用phpMyadmin 将数据导入MySQL
手头上的数据都是excel， 尝试了一下将数据导入服务器的MySQL。首先是数据的处理，将excel数据导出为csv格式， 并用notepad或其他工具将其编码格式改为utf8.之后利用phpMyAdmin 导入 字符集选择 uft-8格式选择 csv格式特定选项勾选 替换表中数据；字段分隔符为","执行即可
2017-03-22 10:07:16
687
原创 MySQL 输入中文数据
MySQL 输入中文数据首先查看数据表的信息： SHOW CREATE TABLE ‘tablename’; 查看所需输入中文的列的编码方式以及表的编码方式 利用ALTER TABLE ‘tablename’ CHANGE ‘colunmname’ ‘columname’ SET utf-8(或者gbk) NOT NULL; ALTER TABLE ‘tablename’ SET utf-8
2017-03-21 11:52:50
445
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人