Kamani_msd-CSDN博客

原创【巨杉数据库Sequoiadb】【Lob】lob属性modifycationTime

【问题描述】lob属性modifycationTime是指开始写入的时间还是结束写入的时间？【解决办法】1.若以读方式（getLob()）打开一个已存在的lob，modificationTime是这个lob最后一次修改的时间2.若以写方式新创建一个lob，开始时ModificationTime等于创建这个lob的时间CreateTime，当关闭这个lob时，ModificationTime...

2019-08-02 13:27:34 345

原创【巨杉数据库Sequoiadb】【咨询】数据节点什么时候回打印大量的连接日志

【描述】从数据节点的日志中，发现大量的 create session 和 start thread for EDU 的日志。数据节点什么时间会触发这种操作？根据日志，创建的会话类型是 Shard ，绑定的线程类型是 ShardAgent ，因此是 shard 平面的连接触发的会话与线程创建， Shard 平面的连接来自于协调节...

2019-08-02 13:26:14 191

原创【巨杉数据库Sequoiadb】协调节点频繁打日志

【咨询】协调节点一直在打印附件信息，什么时候会打印这类信息的？【问题回复】服务端出现该日志，说明连接在另一端主动断开了。如：a) 客户端和 coord 之前的连接，当客户端主动断连， coord 节点就会报该错误。b) coord 和 data 之间的连接，当 coord 节点主动断开连接， data 节点就会报该错误。...

2019-08-01 10:26:33 631

原创【巨杉数据库Sequoiadb】sdb数据节点日志

【咨询】数据节点为啥会打印一些 “ExtendSegment-SCM” 的日志？请问什么时候会出现此类日志后台拓展 CS 文件的一个任务，当 CS 文件内的剩余空间不足时，会触发这个任务扩展 CS 文件SCM 是对应的集合空间的名字。...

2019-08-01 10:24:28 430

原创【巨杉数据库Sequoiadb】sdb backupOffline 相关问题

【问题1】目前sdb 的backupOffline 方法，支持增量备份时，不阻塞数据库的读写请求。如果有如下场景1 昨天的备份lsn 为 10002 今天执行增量备份时，lsn 为 12003 执行增量备份过程中，lsn 变为 1300则本次增量备份，是备份了 lsn 从 1000 - 1200，还是 1000 - 1300？【问题2】目前backupOffline 方法，支持执行...

2019-07-31 10:12:05 390

原创【巨杉数据库Sequoiadb】节点自动停止

【描述】使用loadrunner 对 sdb 集群做 lob 写入压力测试，lob 的pagesize = 256KB，文件大小为200KB。【错误信息】集群中的某些节点，在持续压力写入下，会自动退出。从退出的节点日志中发现以下错误信息。2019-02-19-16.26.44.197188 Level:SEVEREPID:421798 TID:422062Function:creat...

2019-07-31 10:09:40 589

原创【巨杉数据库Sequoiadb】如何通过oid值定位该记录存储在哪个数据节点

【客户场景】现在客户直接通过驱动进行在线交易，交易时会把oid或者唯一键值打印到业务系统日志中，在实际交易的时候交易成功了，但是有时候发生交易缓慢，如果可以直接定位到哪个数据节点就可以直接到相应的日志目录去检查日志，然后分析缓慢的原因【问题】如何通过oid值定位该记录存储在哪个数据节点上？【解决办法】oid是一个12字节的 BSON 对象，构成：4 字节精确到秒的时间戳3 字节系...

2019-07-30 10:35:44 323

原创【巨杉数据库Sequoiadb】rg.getDetail()中的Group.Service.Type的数字值是什么意思

【问题详细描述】把服务器A数据全部转移到新主机B，再销毁服务器A，需要迁移几千万数据量，且迁移过程仍有业务操作，请问有哪些迁移方案？【解决办法】可使用导入导出工具进行数据迁移，但迁移过程如涉及业务操作，导出工具将不会导出新写入的数据如需保证迁移数据的完整性，建议客户在迁移之前停掉业务，然后使用导出工具导出服务器A数据，使用导入工具把数据导入到服务器B上，并开启服务器A的日志归档，把A的归...

2019-07-29 13:01:45 399

原创【巨杉数据库Sequoiadb】如何互相转换DateTime和TimeStamp类型

记录中分别包含DateTime和TimeStamp两种数据类型，这两种类型如何互相转换？【解决办法】【方法1】批量转换建议使用导入导出工具，操作方法如下：1.使用 sdbexprt 导出工具指定匹配条件，导出指定字段类型的记录如导出 a 字段类型为 date 的完整记录：./sdbexprt -c foo -l bar --type csv --fields a,b,c,d --filt...

2019-07-29 13:00:41 451

原创【巨杉数据库Sequoiadb】数据节点处于全量同步状态，能否监控全量同步过程的进度

【问题描述】当某一个复制组内的某个数据节点处于全量同步时，能否对全量同步的过程进程监控，监控项包括：数据同步的进度，预计何时能完成全量同步时，不能通过快照中的 LSN 计算进度，原因：在做全量同步时，会直接拷贝数据文件，而不是用日志重放的同步机制，此时快照中的 LSN 有关字段均显示为无效值，无法通过该值计算进度。建议通过数据文件大小比对估计进度，如同时观察主备节点数据目录下的文件大小及...

2019-07-26 10:38:15 227

原创【巨杉数据库Sequoiadb】sdbimprt工具数据导入性能如何

【问题描述】sdbimprt工具数据导入性能如何，能否提供性能测试报告？广东省农信运维人员比较关心以下情况：如：3年的数据有1000w条记录，每条记录约100kb，导入的集合是多维分区表，范围切分以时间作为切分字段，一年一个集合，hash切分则以"_id"切分，将1000W的数据导入到该集合中需要多长的时间？【问题回复】导入工具在多个局点都有使用，目前（v3.0.1）还没有人反映过性能...

2019-07-26 10:36:56 148

原创【巨杉数据库Sequoiadb】sdbexprt工具导出数据性能如何

【问题描述】sdbexprt工具导出数据性能如何，能否提供性能测试报告？广东省农信运维人员比较关心以下情况：如：导出的集合是多维分区表，范围切分以时间作为切分字段，一年一个子表，hash切分则以"_id"切分，该集合中有3年1000w条记录，每条记录约100kb，现需要将1000W的数据从集合中导出，需要多长的时间？【问题回复】导出工具只能从一个coord节点上导出数据。理论上，当这个...

2019-07-25 10:08:55 277

原创【巨杉数据库Sequoiadb】数据库快照的字段含义说明

【问题描述】SDB2.8.4版本的协调节点的数据库快照中以下字段如何理解：TotalNumConnects：文档说明是数据库连接数非协调节点的数据库快照中以下字段如何理解：TotalNumConnects：文档说明是数据库连接数，是指哪些连接freeLogSpace：文档说明是空闲日志空间，是指什么日志？TransInfo.BeginLSN：文档说明是事务起始LSN的偏移Curren...

2019-07-25 10:07:11 212

原创【巨杉数据库Sequoiadb】数据节点处于全量同步状态，能否监控全量同步过程的进度

【问题描述】当某一个复制组内的某个数据节点处于全量同步时，能否对全量同步的过程进程监控，监控项包括：数据同步的进度，预计何时能完成全量同步时，不能通过快照中的 LSN 计算进度，原因：在做全量同步时，会直接拷贝数据文件，而不是用日志重放的同步机制，此时快照中的 LSN 有关字段均显示为无效值，无法通过该值计算进度。2. 建议通过数据文件大小比对估计进度，如同时观察主备节点数据目录下的...

2019-07-24 09:58:33 250

原创【巨杉数据库Sequoiadb】sdbimprt工具数据导入性能如何

【问题描述】sdbimprt工具数据导入性能如何，能否提供性能测试报告？广东省农信运维人员比较关心以下情况：如：3年的数据有1000w条记录，每条记录约100kb，导入的集合是多维分区表，范围切分以时间作为切分字段，一年一个集合，hash切分则以"_id"切分，将1000W的数据导入到该集合中需要多长的时间？【问题回复】导入工具在多个局点都有使用，目前（v3.0.1）还没有人反映过性能...

2019-07-24 09:57:12 111

原创【巨杉数据库Sequoiadb】sdbexprt工具导出数据性能如何

【问题描述】sdbexprt工具导出数据性能如何，能否提供性能测试报告？广东省农信运维人员比较关心以下情况：如：导出的集合是多维分区表，范围切分以时间作为切分字段，一年一个子表，hash切分则以"_id"切分，该集合中有3年1000w条记录，每条记录约100kb，现需要将1000W的数据从集合中导出，需要多长的时间？【问题回复】导出工具只能从一个coord节点上导出数据。理论上，当这个...

2019-07-23 10:34:33 373

原创【巨杉数据库Sequoiadb】数据库快照的字段含义说明

【问题描述】SDB2.8.4版本的协调节点的数据库快照中以下字段如何理解：TotalNumConnects：文档说明是数据库连接数非协调节点的数据库快照中以下字段如何理解：TotalNumConnects：文档说明是数据库连接数，是指哪些连接freeLogSpace：文档说明是空闲日志空间，是指什么日志？TransInfo.BeginLSN：文档说明是事务起始LSN的偏移Curren...

2019-07-23 10:32:52 549

原创【巨杉数据库Sequoiadb】数据库锁机制介绍文档

【问题描述】广农信运维培训，运维人员提出想了解我们数据库的锁机制，即数据库支持哪些锁，何时会使用什么锁等，便于他们后面运维发现出现慢操作时，可以分析是否是由于锁等待导致。【问题回复】由于该问题涉及的范围和深度太大，该问题无法再此处回复。理由如下：1）锁机制在不同的版本上实现会有所差异。2）目前（v3.0.1），要分析锁机制对日常操作可能照常的影响需要对SequoiaDB内部运行的机制原理...

2019-07-22 10:45:16 346

原创【巨杉数据库Sequoiadb】sdbimprt导入工具是否支持导入"DD-MON-YY"格式的日期

【问题详细描述】使用sdbimprt可以导入例如“03-JAN-16”这种“DD-MON-YY”格式的日期吗？【解决办法】目前（v3.0.1），SequoiaDB的导入工具暂不支持 --timestampfmt=“DD-MON-YY” 这种日期格式。在 linux 下可以使用 sed 工具将导入文件 file（如：’/opt/impfile.csv’）中"DD-MON-YY" 格式的数...

2019-07-18 14:09:17 189

原创【巨杉数据库Sequoiadb】指定OID为Date类型，高并发插入是否会导致OID重复

【问题详细描述】使用sdbimprt可以导入例如“03-JAN-16”这种“DD-MON-YY”格式的日期吗？【解决办法】目前（v3.0.1），SequoiaDB的导入工具暂不支持 --timestampfmt=“DD-MON-YY” 这种日期格式。在 linux 下可以使用 sed 工具将导入文件 file（如：’/opt/impfile.csv’）中"DD-MON-YY" 格式的数...

2019-07-17 10:27:25 155

原创【巨杉数据库Sequoiadb】指定OID为Date类型，高并发插入是否会导致OID重复

【问题描述】指定OID类型为Date，在高并发插入的场景下是否会导致oid值重复？如：创建线程，每个线程里面插入类型为Date的OID:BSONObject obj = new BasicBSONObject();Date now = new Date();obj.put(“date”, now);同时启动多个线程，多并发插入的情况下oid是否重复？【解决办法】OID 为一个...

2019-07-17 10:25:49 116

原创【巨杉数据库Sequoiadb】LOB数据和结构化数据存储细节

【问题描述】晋商消费金融测试，客户想了解以下的内容：LOB数据读取和写入的过程以及LOB数据是如何分片进行存储的，希望有份文档能详细介绍我们LOB数据的存储结构(lobd和lobm的结构)，并用例子说明非结构化数据是如何进行进行读取，写入的。如：集合空间的LobPageSize为4096，写入一个10kb的文件，通过展示lobm以及lobd的内容，说明10kb的文件是如何被分片存储的。结构...

2019-07-16 09:47:23 226

原创【巨杉数据库Sequoiadb】 sdbimprt 工具在指定多 jobs 和多coord 节点场景下，coord 节点是如何分配的

【问题回复】导入工具可以通过–hosts 参数来同时指定一个或者多个coord。当参数–coord被设置为false时（默认为true），每个job只会从用户提供的coord地址中，随机选择一个coord地址使用。当参数–coord被设置为true时，sdbImprt工具会从catalog上同步所有的coord地址，然后每个job只会从这些同步下来的coord地址中随机选择coord地址使用。...

2019-07-16 09:45:45 202

原创【巨杉数据库Sequoiadb】如何使用sql查询嵌套的数据类型

【问题详细描述】见图select.png中的数据，图中的PageSize属于数组内部的数据，现在只需要将PageSize查询出来。也就是使用sql进行查询嵌套数据的查询。【检视意见】1、已经解决的问题单，“解决结果”标记为“已解决”2、“问题描述”中不要只是简单如图所示，尽量将图片的中问题描述出来3、“解决方法”中不要简单的如图所示，用文字进行描述，图片中的语句可以当作示例进行介绍；涉...

2019-07-15 13:42:26 191

原创【巨杉数据库Sequoiadb】sdb shell命令删除主机下所有cata、coord、data节点后，在SAC界面卸载主机报-6

【问题详细描述】1、SAC 界面已存在集群；2、在 sdb shell 执行命令删除该集群下主机所有的 cata、coord、data 节点，命令如下：CataRG.getNode(“host1”,“11810”).stop()CateRG.remove(“host1”,11810)…3、在 SAC 界面上卸载主机，卸载报错：执行命令：remove host，错误码：-6，faile...

2019-07-15 13:40:32 213

原创【巨杉数据库Sequoiadb】在sdb shell中如何对文件追加写

【问题描述】在sdb shell中能否对已有文件进行追加写？【解决方法】1、可以使用seek方式对已有的文件偏移到某个位置，使用write从偏移的位置开始写，比如：var file = new File("/opt/text.txt") //打开文件file.seek(0,‘e’) //表示当前file指针到文件末尾file.write(“test”) //表示从文件末尾开始写入“te...

2019-07-12 10:54:45 233

原创【巨杉数据库Sequoiadb】Mac os 上安装 SequoiaDB 失败，报 cannot execute binary file

【问题详细描述】如何人工选择复制组的主节点？【解决方法】复制组中，每个节点都可以设置选举权重。在 LSN 相同时，权重最大的节点会成为主节点。因此可以通过数据库配置 weight，然后调用 SdbReplicaGroup.reelect() 接口，实现对主节点的人工选择。SdbReplicaGroup.reelect() 接口会阻塞写操作，并等待节点 LSN 一致再进行选举，如果超时，则...

2019-07-11 11:01:05 294

原创【巨杉数据库Sequoiadb】v2.6 能不能滚动升级到 v2.8

【问题详细描述】v2.6 能不能一台一台地滚动升级到 v2.8?升级的速度跟数据量有关系吗？升级有什么注意事项？【解决方法】能。版本间能否滚动（在线）升级可以参考版本兼容性列表：http://doc.sequoiadb.com/cn/index-cat_id-1498628396-edition_id-302升级速度与数据量关系较小。与机器性能成正比，与集群节点数成反比。注意事...

2019-07-10 10:10:35 285

原创【巨杉数据库Sequoiadb】如何查看集合空间所在的域

【问题详细描述】如何查看集合空间所在的域？【解决办法】1.连接编目节点（如SvcName=11800）var db = new Sdb(“localhost”,11800);2.SYSCAT.SYSCOLLECTIONSPACES集合中包含了集群中所有的用户集合空间信息，通过在此集合中指定想要查新的集合空间名即可看到其所属域名。如集合空间名为"foo"，可通过以下命令查询：db.SY...

2019-07-10 10:08:52 555

原创【巨杉数据库Sequoiadb】为什么查看会话快照不显示协调节点中的会话

【问题详细描述】为什么snapshot(SDB_SNAP_SESSIONS,{Type:“Agent”})无记录返回，但snapshot(SDB_SNAP_SESSIONS,{NodeName:“sdb2:11810”,“Type”:“Agent”})却能返回正常的结果？【解决办法】1.快照默认不显示协调节点，会话快照中只显示编目节点和数据节点中的会话，如需查看协调节点的会话需要通过指定命令...

2019-07-09 10:35:08 278

原创【巨杉数据库Sequoiadb】如何查看表字段的数据类型

【问题详细描述】如何查看表字段的数据类型?【解决方法】1、可以使用“操作符 -> 函数操作 -> KaTeX parse error: Expected '}', got 'EOF' at end of input: … {}, { "a": { "type": 2 } } )type参考：http://doc.sequoiadb.com/cn/SequoiaDB−catid−...

2019-07-08 10:06:39 453

原创【巨杉数据库Sequoiadb】使用更新符$inc给指定字段增加小于1的值，字段的值未更新

【问题详细描述】字段类型为double,使用更新符inc给指定字段增加小于1的值，字段的值未更新，比如：1、原始记录，如下：db.foo.bar.find()"price":25；2、使用更新符inc给指定字段增加小于1的值，字段的值未更新，比如： 1、原始记录，如下： db.foo.bar.find( ) { "price&amp...

2019-07-08 10:04:50 354

原创【巨杉数据库Sequoiadb】官方有提供现成的性能测试工具吗

【问题详细描述】官方有提供现成的性能测试工具吗？【解决方法】1、目前v3.2没有提供性能测试工具；2、可以借用第三方性能测试框架，比如：YCSB，利用YCSB测试巨杉数据库性能的步骤可以参考：https://my.oschina.net/jishuxiaobai/blog/787419。...

2019-07-05 10:04:50 342

原创【巨杉数据库Sequoiadb】是不是只要升级了sac所在机器，就能升级整个sdb集群

【问题详细描述】多节点升级需要每台上执行升级，还是只升级安装SAC的那台机器？【解决方法】1、不是，集群中的每台机器都需要升级；2、v3.2升级命令,如：./sequoiadb-3.2-linux_x86_64-enterprise-installer.run --installmode upgrade --mode text；升级步骤，详细可见：http://doc.sequoia...

2019-07-05 10:01:25 269

原创【巨杉数据库Sequoiadb】lzw和snappy压缩分别应用在什么场景

【问题描述】lzw和snappy压缩分别应用在什么场景比较合适？【解决办法】snappy 压缩算法是以单条记录为单位进行压缩，记录内部的数据重复读直接影响到压缩率。因此，当记录内部数据重复度较高，如每条记录的字段名、字段值相似，使用 snappy 算法可获得良好的压缩性能。如果记录内部数据重复度很低，但记录间具有更好的相似性，如不同记录之间有相同的字段名、相近的字段值等，则使用 lzw 算法...

2019-07-04 16:50:02 358

原创【巨杉数据库Sequoiadb】一个集群里可以安装多个SAC吗

【问题详细描述】一个集群可以同时安装两个SAC吗？【解决方法】1、可以，但是一般是一个 SAC；2、一个集群安装多个SAC需要做特殊处理，假设有机器A和B，可以先在 A 上用 SAC 部署集群，包括 B 机器上的节点。然后再在 B 机器的 SAC 上发现集群。这样就能在两个 SAC上访问同一个集群了。发现业务操作，详细介绍可见：http://doc.sequoiadb.com/cn/i...

2019-07-04 16:49:29 282

原创【巨杉数据库Sequoiadb】【咨询】【SAC】无法访问SAC数据库管理页面

【问题描述】数据库是搭建在阿里云服务器上的，但是通过阿里云的外网ip访问不了SAC的页面？【解决办法】可能是由于阿里云服务器的防火墙和SELinux没有关闭，导致本地的浏览器访问不了SAC端口阿里云默认只打开了22和80端口，需要用户在阿里云服务器的管理控制台打开SAC的8000端口才能访问...

2019-07-03 10:02:24 514

原创【巨杉数据库Sequoiadb】【咨询】【导入导出】导入2300M的csv文件到数据库后用了4880M空间

【问题描述】1、csv文件2300M导入数据库之后用了4880M空间，是什么原因导致的？2、4880M的空间大概分为数据文件空间和索引文件空间各一半，为什么索引文件也会占用这么大的空间？【解决办法】1、由于Sequoiadb是以bson结构存储数据，与csv的结构比较多了key和数据类型的信息，因此以bson结构存储需要更大的存储空间。2、当csv文件导入到Sequoiadb时，还会产生...

2019-07-03 10:01:56 471

原创【巨杉数据库Sequoiadb】【咨询】【其他】jdbc 连接 sdb 做 update 操作报-10: Failed to start edu

【问题详细描述】jdbc连接sdb做update操作，协调节点报-10，不能创建edu。这个edu是什么？-10是什么原因导致的？【日志】Function:StartEDUFile:SequoiaDB/engine/pmd/pmdEDUMgr.cppLine:1283Message:Create edu[Type:23] failed, rc: -10详细报错信息见附件：1.png...

2019-07-02 10:15:42 439

原创【巨杉数据库Sequoiadb】【咨询】【SequoiaFS】如何挂载目录并指定手工创建的元数据集合，且集合为分区集合

【问题详细描述】如何挂载目录并指定手工创建的元数据集合，且集合为分区集合？【解决方法】1.在手工创建了目录和文件的元数据的分区集合后（假设目录元数据集合为：“sequoiafs.metadir_cl”，文件元数据集合为：“sequoiafs.metafile_cl”，分区键为"_id"），需要创建如下三个索引：1）在目录元数据表中创建复合索引 “NameIndex”：db.sequoia...

2019-07-02 10:15:12 840

空空如也

空空如也