某金融大数据平台数据同步方案

Greenplum数据导入方案

Case2：tsale_staticshares表导数

• 导数说明：

  • 存储格式：parquet
  • 压缩：snappy
  • 并行度：3

• Impala查询

  • 单表统计时间：4.28s
    

  • 空间开销：约1G
    

  • 时间开销：约7分钟
    

Case2：tsale_dividenddetail表导数

• 导数说明：

  • 存储格式：parquet
  • 压缩：snappy
  • 并行度：5

• Impala查询

  • 单表统计时间：3.35s
    

  • 空间开销：约2.2G
    

  • 时间开销：约23分钟
    

Case2：rtta_bal_fund表导数

• 导数说明：

  • 存储格式：parquet

  • 压缩：snappy

  • 并行度：3

  • 空间开销：约600M
    

  • 时间开销：约5分钟
    

业务功能实现

• 需求：

  • 从rtta_bal_fund 表按照份额最后变化日期抽取当天的修改记录，按主键
    • FUNDACCO
    • TRADEACCO
    • AGENCYNO
    • NETNO
    • SRCSYS
    • PORT_CODE
    • SHARETYPE
  • 修改tsale_staticshares表中的
    • 分红方式
    • 基金份额
    • 冻结份额
    • 未付收益
    • 冻结未付收益
    • 交易所标志
    • 份额最后变化日期到表

  Case3：GP增量数据更新

• 实现：通过Impala进行增量update，耗时约5.48s
  

  Oracle准实时增量同步方案

Case4：Oracle增量数据更新

• Step1：Hive当前数据查询
  

• Step2：启动Spark Streaming程序

  • 注：目前设置为10s一次更新，可根据时效要求调整为不同时间粒度（ms~hour）
    

• Step3：Oracle源端增量新增数据

Case4：Oracle增量数据更新（续）

• Step4：SparkStreaming运行日志中可以观察到新增数据（Json格式）
  

• Step5：Hive中查询可观察到新增的数据
  
  结论：通过OGG+Kafka+SparkStreaming的方案，可以根据任意时间粒度（ms、s、min、hour）的需要，准实时同步Oracle的数据到Hive。