GreenPlum copy命令实现数据导入并添加事务管理

最新推荐文章于 2023-09-08 11:40:20 发布
最新推荐文章于 2023-09-08 11:40:20 发布
阅读量595 收藏
点赞数
分类专栏： Greenplum copy命令 SpringBoot 文章标签： postgresql 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xufan601391682/article/details/109519827
版权

1.生成csv文件

@Component
public class MainFileService {
    private static final Logger logger = LoggerFactory.getLogger(LoadMesHisOpePanelDao.class);
    @Value("${csv.sep}")
    private char valueCsvSep;
    @Value("${csv.quote}")
    private char valueCsvQuote;
    @Value("${csv.null-string}")
    private char valueNullString;
    @Value("${csv.TemplatefileNamePrefix}")
    private String valueTemplatefileNamePrefix;
    @Value("${csv.TemplatefileNamesSuffix}")
    private String valueTemplatefileNamesSuffix;
    @Value("${csv.filePath}")
    private String valueCsvFilePath;

    private static char csvSep;
    private static char csvQuote;
    private static char nullString;
    private static String templatefileNamePrefix;
    private static String templatefileNameSuffix;
    private static String csvFilePath;

    @Autowired
    private QueryRunner mesGpQueryRunner;

    private static QueryRunner qr_gp;

    /**
     * 缓存表结构信息
     * 表结构更新需要重启进程
     * javadoc中关于hashmap的一段描述如下：此实现不是同步的。如果多个线程同时访问一个哈希映射，**而其中至少一个线程从结构上修改了该映射**，则它必须保持外部同步。
     * Hashtable 中的方法大多是Synchronize的，而HashMap中的方法在一般情况下是非Synchronize的。在多线程并发的环境下，可以直接使用Hashtable，不需要自己为它的方法实现同步，但使用HashMap时就必须要自己增加同步处理。
     * HashTable实现线程安全的代价就是效率变低，因为会锁住整个HashTable,而ConcurrentHashMap做了相关优化,因为ConcurrentHashMap使用了分段锁，并不对整个数据进行锁定,效率比HashTable高很多。
     * ConcurrentHashMap 是乐观锁
     */
    public static Map<String, TableEntity> tableMetaInfoMap = new ConcurrentHashMap();


  


    @PostConstruct
    public void init() {
//        System.out.println("Init MainFileService()");
        csvSep = valueCsvSep;
        csvQuote = valueCsvQuote;
        nullString = valueNullString;
        templatefileNamePrefix = valueTemplatefileNamePrefix;
        templatefileNameSuffix = valueTemplatefileNamesSuffix;
        csvFilePath = valueCsvFilePath;
        qr_gp = mesGpQueryRunner;
    }

    ;


    /*
     * 加载表结构信息到 Map
     */
    public static void loadTableMetaEntity(String schema, String tableName) throws ETLException {
        long startTime = System.currentTimeMillis();
        String sql = "select " +
                " nt.nspname as tableSchema," +
                " c.relname as tableName," +
                " a.attname as columnName," +
                " a.attnum as ordinalPosition," +
                " format_type(a.atttypid, a.atttypmod) as dataType," +
                " c.relkind = 'r' AS isUpdatatable," +
                " a.atttypid in (23, 20) and a.atthasdef and(" +
                " select " +
                " position ( 'nextval(' in pg_catalog.pg_get_expr(adbin,adrelid) ) > 0 and" +
                " position ( '::regclass)' in pg_catalog.pg_get_expr(adbin,adrelid) ) > 0" +
//                 get attrelid for query primary key
                " attrelid" +
                " FROM pg_catalog.pg_attrdef d" +
                " WHERE d.adrelid = a.attrelid AND d.adnum = a.attnum AND a.atthasdef" +
                " )as hasSequence," +
                " attrelid" +
                " from pg_catalog.pg_class c join pg_catalog.pg_namespace nt on (c.relnamespace = nt.oid)" +
                " join pg_attribute a on (a.attrelid = c.oid)" +
                " where c.relname = '" + tableName + "' and nt.nspname = '" + schema + "'" +
                " and a.attnum > 0 and a.attisdropped = 'f'" +
                " order by a.attnum asc";//按照序号排列
        try {
            List<ColumnEntity> tableColumnList = qr_gp.query(sql, new BeanListHandler<ColumnEntity>(ColumnEntity.class));
            if (null == tableColumnList || tableColumnList.isEmpty())
                throw new ETLException(ErrorCode.ERRORGP_MES_TABLE_NO_EXIST);
            TableEntity tableEntity = new TableEntity();
            tableEntity.setSchemaName(tableColumnList.get(0).getTableSchema());
            tableEntity.setTableName(tableColumnList.get(0).getTableName());
            tableEntity.setColumnEntityList(tableColumnList);
            tableEntity.setCsvFilePath(csvFilePath);
            tableMetaInfoMap.put(schema + "." + tableName, tableEntity);
            logger.info("加载表结构 {} 完成! Cost {} ms;", schema+"."+tableName,System.currentTimeMillis() - startTime);
        } catch (Exception e) {
            throw new ETLException(ErrorCode.ERRORGP_MES_TABLEMETA_LOAD, e);
        }
    }


    
    /*
     * 根据配置信息在服务器创建csv文件模板
     */
    public static String createCsvFile(String schema, String tableName, List<Map<String, Object>> tableDataList) throws Exception {
        String fullTableName = schema + "." + tableName;
        TableEntity tableEntity = tableMetaInfoMap.get(fullTableName);
        if (null == tableEntity) throw new ETLException(ErrorCode.ERRORGP_MES_TABLEMETA_LOAD);

        //文件名：表前缀 + tableName + 20200101080000999 + .csv
        DateTimeFormatter fmt24 = DateTimeFormatter.ofPattern("yyyyMMddHHmmssSSS");
        String fileNameSuffix = LocalDateTime.now().format(fmt24);
        String fileName = templatefileNamePrefix + tableName + fileNameSuffix + templatefileNameSuffix;


        File csvFile = null;
        BufferedWriter csvFileOutputStream = null;
        try {
            //创建目录
            File file = new File(tableEntity.getCsvFilePath());
            if (!file.exists()) file.mkdir();

            //创建csv,会覆盖同名csv
            csvFile = new File(tableEntity.getCsvFilePath(), fileName);

            // UTF-8使正确读取分隔符","
            csvFileOutputStream = new BufferedWriter(
                    new OutputStreamWriter(
                            new FileOutputStream(csvFile), "UTF-8"), 1024);

            csvFileOutputStream.write(new String(new byte[]{(byte) 0xEF, (byte) 0xBB, (byte) 0xBF}));
            //将 表结构 写入文件头部
            for (ColumnEntity column : tableEntity.getColumnEntityList()) {
                if (!column.getOrdinalPosition().equals(1)) csvFileOutputStream.write(csvSep);
                csvFileOutputStream.write(csvQuote);
                if (null == column.getColumnName()) throw new ETLException(ErrorCode.ERRORGP_MES_TABLEMETA_LOAD);//字段名不能为空
                else csvFileOutputStream.write(column.getColumnName());
                csvFileOutputStream.write(csvQuote);
            }
//            csvFileOutputStream.write("" + "DB_TIMESTAMP" + "");

            //将结果集 写入 csv
            for (Map<String, Object> rowData : tableDataList) {
                csvFileOutputStream.newLine();
                for (ColumnEntity column : tableEntity.getColumnEntityList()) {
                    if (!column.getOrdinalPosition().equals(1)) csvFileOutputStream.write(csvSep);
                    if ("db_timestamp".equals(column.getColumnName())) {
                        csvFileOutputStream.write(csvQuote+"now()"+csvQuote);
                    }
                    else if (null == rowData.get(column.getColumnName())) csvFileOutputStream.write(nullString);
                    else csvFileOutputStream.write(csvQuote+rowData.get(column.getColumnName()).toString().replace("\\","\\\\").toString()+csvQuote);
                }
            }
        } catch (IOException e) {
            throw new ETLException(ErrorCode.ERRORCSV_TEMPLATE_CREATE, e);
        } finally {
            csvFileOutputStream.close();
        }
        return tableEntity.getCsvFilePath() + "/" + fileName;
    }

}

2.导入方法

@Service
@Transactional(transactionManager = "mesGpPlatformTransactionManager",rollbackFor = Exception.class)
public class SaveMesDataDao {

    @Value("${csv.sep}")
    private char csvSep;
    @Value("${csv.quote}")
    private char csvQuote;
    @Value("${csv.null-string}")
    private char nullString;


    @Autowired
    private QueryRunner mesGpQueryRunner;

    private static String tarSchema="ods";



    public void saveMesData(EtlConfD etlConfD,String tableName, List<Map<String, Object>> tableDataList) throws Exception {
        //生成CSV 文件
        String filePath=MainFileService.createCsvFile(tarSchema,tableName,tableDataList);
        //通过COPY FILE 导入
        excuteCopyfile(etlConfD,tarSchema,tableName,filePath);
    }



    public void excuteCopyfile(EtlConfD etlConfD,String schema, String tableName,String fileName) {
        String fullTableName=schema + "." + tableName;

        //delete
        StringBuffer deleteSql = new StringBuffer();
        switch (etlConfD.getQueryMinute()) {
            case 0:deleteSql.append("delete from ").append( fullTableName);break;// Truncate 也可以回滚，但是会锁表（锁表时无法查询）
            default:deleteSql.append("delete from ").append(fullTableName)
                    .append(" where ").append("src_db_timestamp").append(" >='").append(etlConfD.getRunStartTimestamp().toString().substring(0, 19)).append("'::date")
                    .append(" and ").append("src_db_timestamp").append(" <'").append(etlConfD.getRunEndTimestamp().toString().substring(0, 19)).append("'::date");

        }


        try {
            mesGpQueryRunner.update(deleteSql.toString());
        }catch (Exception e){
            throw new ETLException(ErrorCode.ERROR_MES_TRUNCATE,e);
        }

//        事务测试
//        if(1==1) throw new ETLException(ErrorCode.ERROR_MES_TRUNCATE);

        //insert
        List<ColumnEntity> columnEntity=MainFileService.tableMetaInfoMap.get(fullTableName).getColumnEntityList();
        StringBuffer tableInfo=new StringBuffer().append(columnEntity.get(0).getTableSchema()).append(".").append(columnEntity.get(0).getTableName()).append("(");
        for(ColumnEntity e:columnEntity){
            tableInfo.append(e.getColumnName()).append(",");
        }
        tableInfo.deleteCharAt(tableInfo.length()-1).append(")");

        String sql="copy " + tableInfo.toString() +
                " from stdin" +
//                " from '"+fileName+"'" +
                " WITH" +
                " DELIMITER AS '"+csvSep+"'"+//分隔符号
                " NULL AS '"+nullString+"'"+//空值符号
                " CSV HEADER" +
                " QUOTE AS'" +csvQuote+"'"+ //引用符号
                " ESCAPE '\\' ;";
        try (Reader reader = Files.newBufferedReader(Paths.get(fileName))) {
            CopyManager mgr = new CopyManager((BaseConnection) mesGpQueryRunner.getDataSource().getConnection().unwrap(PGConnection.class));
//            CopyManager mgr = new CopyManager((BaseConnection) JdbcUtil.getCopyManager());
            long rowCnt = mgr.copyIn(sql, reader);
//            System.out.println(rowCnt);
        }catch (Exception e){
            throw new ETLException(ErrorCode.ERRORCSV_COPYFILE_EXECUTE,e);
        }
    }
}

3.配置文件

csv:
# 分隔符
  sep: "\u001F"
  quote: "\u001E"
  null-string: "\u001D"
  TemplatefileNamePrefix: MES
  TemplatefileNamesSuffix: .csv
  filePath: '/opt/etl/filetest'

 

4.使用QueryRunner管理事务，详细看我的另一篇博客

依御
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Greenplum或DeepGreen中使用外部表访问Hive数据(分隔符是Hive表默认列分隔符)
DataFlow范式
06-20 4987
在Greenplum或DeepGreen中，使用外部表访问Hive表的数据，并且文件数据的列分隔符是Hive默认的方式'\001'。 1. 查看数据 [gpadmin@JSZ ~]$ cat ok.txt  1^ASpark 2^AHadoop 2. 在Hive中创建表，包括并加载数据 hive> create table ok(id int,name string) ro
MPP 二、Greenplum数据加载
weixin_30598225的博客
06-04 535
Loading external data into greenplum database table using different ways... Greenplum 有常规的COPY加载方法，有基于分布式的并行的gpfdist加载方法；COPY方式适合用于加载小数据；gpfdist适合大数据量加载；下文中将讨论这两种数据加载方式。 gp_sydb=# select curre...
GreenPlum数据库数据加载之copy命令的使用
mrhuang1992的博客
03-18 3192
对于数据加载,GreenPlum数据库提供copy工具，copy工具源于PostgreSql数据库，copy命令不仅支持表于表之间的数据加载，也支持文件与表之间的数据加载和表对文件的数据卸载。使用copy命令进行数据加载，数据需要经过Master节点分发到Segment节点，同样使用copy命令进行数据卸载，数据也需要由Segment发送到Master节点，由Master节点汇总后再写入外部文件...
使用copy命令的二进制形式向PostgreSQL/Greenplum数据库批量导入数据
IT- 研究者
05-29 4377
Greenplum是面向数据仓库应用的关系型数据库，基于PostgreSQL开发，跟PostgreSQL的兼容性非常好。通常向PostgreSQL/Greenplum数据库中大批量写入数据，可以使用insert语句或者copy命令语句。 但经实际测试经验发现，对于PostgreSQL数据库来说，insert于copy的写入速度基本差不多（参考：PG copy&insert性能对比）；但对...
Greenplum——copy insert的Java工具类
Carson073的博客
08-12 599
【代码】Greenplum copy in的Java工具类。
Greenplum（postgresql）常用操作记录，命令行连接数据库，增删查改。
qq_40906612的博客
04-01 6620
1、连接数据库 psql -h IP地址 -p 端口 -U 用户名 -d 数据库名 例：psql -h 127.0.0.1 -p 5432 -U gpadmin -d testDB; 2、查看数据库操作 2.1、列举数据库：\l 2.2、选择数据库：\c 数据库名 2.3、查看该某个库中的所有表：\dt 2.4、切换数据库：\c 数据库名 2.5、查看某个库中的某个表结构：\d 表名 注：此处如果需要切换shcema可以使用：set search_path = 需要切换的shcema；
Greenplum导入导出-COPY命令
最新发布
数据源的港湾
09-08 834
注：本文翻译自Greenplum中的COPY命令用于在表和文件之间进行数据复制，可以将文件的数据写入到表中，也可以将表中的数据写出到文件。
greenplum常用命令
10-12
字符串函数 1）字符串拼接：|| 2）字符串长度：length ... 9）手动数据：select * from (values ('a1',3),('a2',4)) t(col,num) 10）指定字符串在字符串中的起始位置：position('as' in 'dadassa')
Greenplum初探-数据哈希分布与集群扩容
02-24
Greenplum（GP）是分布式数据库，因此，数据的分布是基础。GP提供了多种分布策略：哈希分布、随机分布和复制表。其中，最常用的就是哈希分布。本篇文章我将向大家介绍GP的哈希分布。首先，我们先回顾一下上篇文章...
Greenplum两阶段事务流程分析
12-22
Greenplum两阶段事务源码分析，本ppt主要讲述了整个greenplum的两阶段事务的状态切换、调用流程和日志类型。
oracle数据同步到Greenplum的python脚本
08-31
10、采用python 中的copy_from方法实现导入greenplum 11、各目录用途： conf ：存放配置文件 etl_dat： 存放导出数据 log ：存放输出日志 py_tool 存放编写工具脚本: DBconn: 数据库连接池配置及查询返回...
GreenPlum通过copy 和 gploader载入数据
MyySophia的博客
11-15 1334
GreenPlum数据加载 目录 GreenPlum数据加载 1. copy命令 1.1 创建测试表 1.2 准备测试数据 1.3copy命令语法 1.4数据加载 1.5数据卸载 1.6其他参数解释 2.使用gpfdist的外部表 2.1 创建实验环境 2.2gpfdist加载数据 2.3卸载数据 3.GreenPlum数据加载工具gpload 3.1...
java实现greenplum数据库导入实践
刀锋
11-12 350
greenplum版本 greenplum: 4.3.17.1 依赖引入 <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-dbcp2 --> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-dbcp2</artifactId>
GreenPlum及PostgreSQL使用CopyManager装载数据
IHai技术之家
10-22 1万+
我们在使用数据库时经常会遇到需要进行数据导入导出的操作，近期使用刚好用到了GreenPlum，因为GreenPlum实际就是对PostgreSQL的封装，所以此经验适用于PostgreSQL及GreenPlum。
Greenplum-数据导入导出
数据源的港湾
09-16 2105
通过 URI 来。
GreenPlum数据加载方式总结
hmxz2nn的博客
09-20 2858
在GreenPlum中有以下几种方式来进行数据的加载，包括 通过insert命令来实现少量数据的导入； 通过copy命令来实现数据的导入导出； 通过建立外部表及gpfdist实现数据的导入； 通过gpload实现数据的导入导出； 下面将分别介绍这几种数据加载方式。 insert命令 通过简单的insert语句来实现，常用于少量数据的导入，当数据量较大时，会很耗时，从而不适合使用。 insert...
使用GreenPlum/postgres的copy命令导出/导入数据
热门推荐
不见其长，日有所长
02-27 1万+
1. postgres的copy命令 postgres的COPY命令可以快速的导出/导入数据到postgresql数据库中，支持常用的文件格式，如：txt、sql、csv、压缩文件、二进制格式等。特别适合批量导出和导入数据，速度比较快。 COPY TO把一个表的所有内容都拷贝到一个文件； COPY FROM从一个文件里拷贝数据到一个表里(把数据附加到表中已经存在的内容里)。 注意COPY只能用于...
java使用copy in 的方式把数据导入postgres或greenplum
偶是一只小小鸟~
02-18 1万+
copy inpostgres导入数据的时候可以使用cpoy 命令进行数据导入,如果使用java操作copy命令则需要使用postgres提供的jdbc驱动中的CopyManager来实现 封装一下 public class PGCopyInUtils { /** * 将表中的数据导出到本地文件 * * @param connection 连接 *
Greenplum top命令
09-06
2. 打开终端窗口，并使用以下命令登录到Greenplum主节点： ```shell gpssh -f hostfile gpadmin top ``` 其中，hostfile是一个包含所有Greenplum主机名称/IP地址的文件。这将同时在所有主机上运行top命令，并...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值