DolphinDB使用案例3：大数据压缩

• DolphinDB使用LZ4算法进行数据压缩，把大数据表压缩保存。

  db=database("D:/DolphinDB/Data/db1")
  n=10000000
  t=table(take(1..10000, n).sort() as id, take(2000.12.31+1..1000, n) as date, rand(10, n) as x, rand(10.0, n) as y)
  saveTable(db, t, `t1)
  saveTable(db, t, `t3, 0, 1) // appending mode is off; compression mode is on.
  

  压缩后，t1表的190M称为t3表的90M。

• LZ4算法

  参见《量化新手初识LZ4压缩算法》

• saveTable()保存表到数据库的函数

  saveTable(dbHandle, table, [tableName], [append=false], [compression=false])
  

  参数	意义	备注
  dbHandle	一个数据库句柄
  table	将要被保存的内存中的表
  tablename	要保存的表的名称。	如果未指定，则于内存中的表名称相同。 需要用反引号`或双引号""引用
  appending	追加模式	true：新的表会被追加到旧的表之后； false：默认
  compression	压缩模式	true：表以压缩模式保存到磁盘中； false：默认

• 举例

  # Save table t to disk:
  saveTable(db, t);
  # Save table t to disk with name t1:
  saveTable(db, t, `t1);
  # Save table t to disk with name t2 and with appending mode:
  saveTable(db, t, `t2, 1);
  # Save table t to disk with name t3 and with compression mode:
  saveTable(db, t, `t3, 0, 1);