- 博客(6)
- 收藏
- 关注
RSS订阅原创 大数据量excel导入的问题记载
导入excel使用了阿里的一个开源轮子，poi容易有内存溢出问题。程序中使用了JAVA8的并行流进行数据处理，结果出现了处理后的数据中有空对象，导致在后续插入和合并的时候出现问题。数据库是ORACLE，使用Mybatis的批量插入写法，在空对象遍历到时，会报ORA-01790：表达式必须具有与对应表达式相同的数据类型的错误，解决方法为:替换为普通stream流，或者对空对象加验证。合并的时候使用merge，这里遇到一个ORA-30926无法再源表中获取一组稳定的行，这个是由于组装的数据会有重复的对象值
2021-08-25 13:36:57
255
原创 Greenplum开发基础
Greenplum开发基础Greenplum介绍Greenplum数据库是一种基于PostgreSQL开源技术的大规模并行处理（MPP）数据库服务器，其架构特别针对管理大规模分析型数据仓库以及商业智能工作负载而设计。Greenplum数据库本质上是多个PostgreSQL面向磁盘的数据库实例一起工作形成的一个紧密结合的数据库管理系统（DBMS）。它基于PostgreSQL开发，其SQL支持、特性、配置选项和最终用户功能在大部分情况下和PostgreSQL非常相似。与Greenplum数据库交互的数
2021-08-25 09:36:55
679
原创 Green Plum简介
分布式数据库MVCC多版本并发控制，一种大规模并行处理（MPP）数据库服务器。MPP（也称为无共享体系结构）是指具有两个或两个以上处理器的系统，这些处理器协作执行一项操作，每个处理器具有自己的内存，操作系统和磁盘。Greenplum使用这种高性能的系统体系结构来分配多TB数据仓库的负载，并且可以并行使用系统的所有资源来处理查询基于PostgreSQL，基于PostgreSQL9.4，并且在大多数情况下在SQL支持，功能，配置选项和最终用户功能方面与PostgreSQL非常相似。Greenplum是一个
2021-08-20 10:31:46
1189
1
原创 动态数据源使用PageHelper问题GreenPlum+Oracle
背景：项目因数据拆分到GP库，部分查询的数据源要从Oracle换成GP。在修改使用PageHelper分页的查询方法时，发现PageHelper拦截Sql后包装的一直不对。阅读PageHelper源码发现问题在PageHelper的初始化上。PageHelper的初始化是默认获取首次连接的数据库配置，不会开启运行时自动获取配置。项目中先从Oracle查询，然后再在GP中查询，不开启自动获取配置autoRuntimeDialect就会一直是按照Oracle方言解析包装SQL，导致查询在GP中无法执行
2021-05-28 15:34:38
647
1
原创 记录程序oracle到pgsql的转换
记录oracle转pgsql的语法转换oracle转pgsql：todate 会省略时分秒 需要时分秒使用to timestamp取json中的数据 使用 ->> 或者 ->->>取回来的是text类型，->取回来的是json类型coalesce 代替nvl2json中取出的数据不能直接和其他字段比较，需要显示的转换类型 ::varchar代码块需要在开头增加 do $$, 末尾增加 $$pgsql中没有varchar2、clob、number
2020-11-09 15:35:02
949
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人