SequoiaDB的事务开启和导出、导入数据

事务

1. 首先在sdbadmin用户下，bin/sdbstop -p 11830; bin/sdbstop -p 11840把每个服务器的两个数据分区组关闭
2. 分别进入conf/local/11830/sdb.conf和conf/local/11840/sdb.conf将transactionon=false改为true
3. 若不知道怎么配置conf文件，可以去conf/samples查看各个参数参考文件
4. 重启两个数据分区组端口bin/sdbstart -p 11830; bin/sdbstart -p 11840

如果未开启事务功能，在命令行中执行开启事务正常，但是CRUD操作时失败，返回码-253

命令行

尝试使用事务插入记录
db = new Sdb()
db.transBegin()

db.foo.bar.insert({name:'test', id:1})
成功，提交事务
db.transCommit()

db.transBegin()
db.foo.bar.insert({name:'test1', id:2})
db.transRollback()
事务回滚成功，插入无效
而且，如果事务没有最终提交，退出Shell的时候，也会插入无效

跨表事务

node-1:
db = new Sdb()
db.transBegin()

db.foo.bar.update({name:'test111', id:1})

node-2:
db = new Sdb()
db.transBegin()
db.foo.bar.update({name:'test222', id:1})
此时命令行会定住，因为此时有其他事务还没提交

node-1:
db.transCommit()

node-2:
此时update语句可以正常执行了，因为node-1的事务提交成功了
此时id=1的name=test222
db.transRollback()
此时id=1的name=test111

导出数据sdbexprt

命令行
bin/sdbexprt
参数

• -c foo 选择一个CS（集合空间）

• -l bar 选择一个CL（集合）

• --type json 选择输出的文件类型（csv, json）

• --file test.json 输出的文件名

• --fields "name, id" 选择需要输出的字段

• --filter "{id: {\$lt:4} }" 过滤输出的数据，因为$符号在Shell中有特殊含义，所以使用\转义符

• --sort "{id:-1}" 以id字段降序输出到文件中

• -e "|" 将默认分隔符",“改为”|"

• --genconf export1.conf 生成配置文件

• --cscl "foo.bar, foo.bar2, test.bar, test.bar2" 指定各个集合空间内的集合

• --dir tmp 指定生成文件的目录

• -j 1 默认为1，只用于导入数据时使用，给导入动作分配1个线程，做并发导入时，建议-j设置为协调节点的2~3倍

• --coord true 是否自动连接每个协调节点

• -n 1024 每1024条记录作为一个批次，写入到sdb中，当每条记录的数据量比较小的时候，可以把-n调大

• -e \127\27 设置文件中的\127\27的ASCII值为记录分隔符

• -r \27\10 设置文件中的\27\10的ASCII值为字段分隔符

命令行演示
bin/sdbexprt --genconf export.conf --cscl "foo.bar, test.bar2" --type csv --dir tmp 生成配置文件，使用配置文件而生成的文件存放到tmp目录
bin/sdbexprt --conf export.conf 根据配置文件，输出集合记录到tmp目录

导入数据sdbimprt

1. 准备好结构文件 tmp/test.csv
2. bin/sdbimprt -c foo -l bar --file tmp/test.csv --fields "name string, id int" --headerline true 将tmp/test.csv导入到foo.bar中，字段分别为name,string类型，id,int类型。且文件中的第一行属于表的结构，应该忽略。
3. 导入成功后，可以看当前目录下的sdbimport.log看看有没有异常、error
4. 若导入过程中，有某些行导入失败的话，会在当前目录下产生一个文件，名为：[集合空间名]_[集合名]_parse_[进程端口号].rec，其中存放着导入失败的行的数据
5. 批量导入数据：比如tmp/data/目录下有多个csv文件，此时可以bin/sdbimprt -c foo -l bar --file tmp/data/ --fields "name string, id int" --headerline true

名场景：当文件中的分隔符，为不可见符号（乱码），怎么办

1. tail -3 test.csv | od -An -t dC 输出文件最后三行数据的10进制ASCII码
2. 根据字段值对应的ASCII码，可以找出剩下的就是字段分隔符和记录分隔符
3. bin/sdbimprt -c foo -l bar --file tmp/test.csv --fields "name string, id int" --headerline false -e "\127\27" -r "\27\10"

文件中，有些记录会多出来几个字段，有些则没有，怎么办，想忽略某个字段导入呢？

test1,1
test2,2
test,3,12312312312

1. 开启–extra true设置字段名，默认值，若一行记录没有这个字段，就会使用默认值
2. 在不需要的字段后面添加 skip，即可忽略该字段
3. 例：
   bin/sdbimprt -c foo -l bar --file tmp/test.csv --fields "name string, id skip, phone string defaut 12345567" --headerline false -e "," -r"\n" --extra true