c stsdb 读取 mysql_最简单强大的插件框架 - iOpenWorks.com - 应用中心 - 数据访问 - 基于C#的STSdb4高性能NoSQL数据库 - 开发指南...

开发指南

1 STSdb存储引擎

STSdb存储引擎是一个基于瀑布树结构实现的NoSQL数据库和虚拟文件系统。该存储引擎提供两种数据结构——XIndex和XFile，一个存储引擎可以包含多个XIndex表和XFile文件。下面我们看一个简单示例。

2 简单示例

(1)打开数据库，创建表

using (StorageEngine engine = new StorageEngine("stsdb4.sys", "stsdb4.dat"))

{

XIndex table = engine.OpenXIndex("table");

for (int i = 0; i < 1000000; i++)

{

table[i] = i.ToString();

}

table.Flush();

engine.Commit();

}

(2)打开数据库，从表中读取数据

using (StorageEngine engine = new StorageEngine("stsdb4.sys", "stsdb4.dat"))

{

XIndex table = engine.OpenXIndex("table");

foreach (var row in table) //table.Forward(), table.Backward()

{

Console.WriteLine("{0} {1}", row.Key, row.Value);

}

}

3 XIndex

XIndex是一个按序的键/值对存储(表)。我们可以在同一个引擎使用不同的键/记录类型来读取多个普通的表。每一个表并没有列数量的特殊限制。

需要注意的是：在当前版本提交操作是在存储引擎这一级别的——engine.Commit()，它将提交对所有表的更新。在官方的Release版本，每一个表的Commit()方法也将可用。

3.1 XIndex泛型类支持的泛型类型

我们可以使用XIndex table来定义一个表。这里TKey和TRecord支持的类型有：

● 基本类型——Boolean、Char、SByte、Byte、Int16、UInt16、Int32、UInt32、Int64、UInt64、Single、Double、Decimal、DateTime、String、byte[]；

●包含默认构造器的类型和结构体，他们使用基本类型定义了公开的读/写属性。

●包含默认构造器的类型和结构体，他们使用基本类型和上述使用基本类型定义的类/结构体定义了公开的读/写属性。

●可以转换成IData接口的类型。

下面我们来看一个示例，我们定义了两个类型，对应于TKey和TRecord。

public class Key

{

public string Symbol { get; set; }

public DateTime Timestamp { get; set; }

}

public class Tick

{

public double Bid { get; set; }

public double Ask { get; set; }

public long Volume { get; set; }

public string Provider { get; set; }

}

我们可以以以下方式来打开表。

XIndex table1 = engine.OpenXIndex("table1");

XIndex table2 = engine.OpenXIndex("table2");

XIndex table3 = engine.OpenXIndex("table3");

或者，甚至可以用以下方式。

XIndex table4 = engine.OpenXIndex("table4");

在使用组合键的情况下，存储引擎将会使用子键进行比较。

3.2 XIndex 类型定义的方法

XIndex实现了IIndex接口，它定义了如下的方法：

public interface IIndex : IIndex, IEnumerable>

{

TRecord this[TKey key] { get; set; }

void Replace(TKey key, TRecord record);

void InsertOrIgnore(TKey key, TRecord record);

void Delete(TKey key);

void Delete(TKey fromKey, TKey toKey);

void Clear();

bool Exists(TKey key);

bool TryGet(TKey key, out TRecord record);

TRecord Find(TKey key);

TRecord TryGetOrDefault(TKey key, TRecord defaultRecord);

KeyValuePair? FindNext(TKey key);

KeyValuePair? FindAfter(TKey key);

KeyValuePair? FindPrev(TKey key);

KeyValuePair? FindBefore(TKey key);

IEnumerable> Forward();

IEnumerable> Forward(TKey from, bool hasFrom, TKey to, bool hasTo);

IEnumerable> Backward();

IEnumerable> Backward(TKey to, bool hasTo, TKey from, bool hasFrom);

KeyValuePair FirstRow { get; }

KeyValuePair LastRow { get; }

long Count();

}

默认的XIndex迭代器使用升序方式遍历了表中的每一行。

Forward()方法以升序遍历表的每一行。

Backward()方法以降序遍历表的每一行。

FindNext()返回大于等于指定Key的第一行。

FindAfter()返回大于指定Key的第一行。

FindPrev()返回小于等于指定Key的第一行。

FindBefore()返回小于指定Key的第一行。

FirstRow返回最小Key的行。

LastRow返回最大Key的行。

以下方法用于异步更改XIndex的内容，他们在瀑布树中执行相应的操作。

this[TKey key] set;

Replace(TKey key, TRecord record);

InsertOrIgnore(TKey key, TRecord record);

Delete(TKey key);

Clear().

3.3 XIndex基础知识

前面已经提过，每一个存储引擎可以使用不同的类型处理多个XIndex表。每一个TKey和TRecord可以是基本类型或者复杂结构体或者类型。然而，在所有情况，每一个泛型的XIndex都使用一个非泛型的XIndex表来存储它的数据，如下所示。

public class XIndex : IIndex

当一个XIndex被创建，它使用.NET表达式自动生成和编译能够将每一个TKey和TRecord实例转换成一个合适的IData实例的转换代码。因此，从一个数据库的角度来看，XIndex好像是在XIndex中实现了应用层数据和内部数据的转换。这确保了内部存储的独立，而依赖于应用定义的类型，同时为以更自然的方式向开发者提供了使用自定义类型的存储。

3.4 XIndex和IData实现

XInde使用如下由STSdb实现的IData类型。

public interface IData

{

}

public class Data : IData

{

public TSlot0 Slot0;

}

public class Data : IData

{

public TSlot0 Slot0;

public TSlot1 Slot1;

}

public class Data : IData

{

public TSlot0 Slot0;

public TSlot1 Slot1;

public TSlot2 Slot2;

}

...

当前版本支持最多64个Slot的Key和Record的Data类型。每一个Slot可以是任何基本类型。

以下代码演示了如何直接使用非泛型XIndex。

//writing

using (StorageEngine engine = new StorageEngine("stsdb4.sys", "stsdb4.dat"))

{

XIndex table = engine.OpenXIndex(typeof(Data), typeof(Data), "table");

for (int i = 0; i < 1000000; i++)

{

table[new Data(i)] = new Data(i.ToString());

}

table.Flush();

engine.Commit();

}

//reading

using (StorageEngine engine = new StorageEngine("stsdb4.sys", "stsdb4.dat"))

{

XIndex table = engine.OpenXIndex(typeof(Data), typeof(Data), "table");

foreach (var row in table) //table.Forward(), table.Backward()

{

Data key = (Data)row.Key;

Data record = (Data)row.Value;

Console.WriteLine("{0} {1}", key.Slot0, record.Slot0);

}

}

3.5 数据转换

数据转换用于实现将应用定义的类型与IData类型的转换。他们构建了XIndex和XIndex表的转换层。所有的转换都实现了如下接口。

public interface IDataTransformer

{

IData ToIData(T item);

T FromIData(IData data);

DataDescriptor DataDescriptor { get; }

}

每一个XIndex示例自动生成两个数据转换——一个用于实现Key的转换，另一个实现Record的转换。也就是说，每一个输入的TKey/TRecord实例将转换成合适的IData实例。同样的，来自于XIndex的每一个IData实例也将转换到TKey/TRecord实例(在一些很复杂的情况，可以由自己来定义转换)。

假设我们定义了以下类型。

public class Tick

{

public string Symbol { get; set; }

public DateTime Timestamp { get; set; }

public double Bid { get; set; }

public double Ask { get; set; }

public long Volume { get; set; }

public string Provider { get; set; }

}

并且我们定义了XIndex。

XIndex table = engine.OpenXIndex("table");

那么，在后端的XIndex表将使用以下两个对应于键和记录的类型。

Data

Data

我们可以用以下代码来模拟打开后端的XIndex表。

XIndex table2 = engine.OpenXIndex(typeof(Data), typeof(Data), "table");

在上述的例子，table和table2将指向相同的数据。

如果我们希望使用非基本类型来扩展Tick类，比如。

public class Provider

{

public string Name { get; set; }

public string Website { get; set; }

}

public class Tick

{

public string Symbol { get; set; }

public DateTime Timestamp { get; set; }

public double Bid { get; set; }

public double Ask { get; set; }

public long Volume { get; set; }

public Provider Provider { get; set; }

}

那么，此时后端的XIndex可以使用以下类型来打开。

Data

Data

我们还可以使用Symbol和Timestamp并使用它作为组合键。

public class Key

{

public string Symbol { get; set; }

public DateTime Timestamp { get; set; }

}

public class Provider

{

public string Name { get; set; }

public string Website { get; set; }

}

public class Tick

{

//public string Symbol { get; set; }

//public DateTime Timestamp { get; set; }

public double Bid { get; set; }

public double Ask { get; set; }

public long Volume { get; set; }

public Provider Provider { get; set; }

}

XIndex table = engine.OpenXIndex("table");

此时后端的XIndex可以使用以下类型来打开。

Data

Data

需要注意的是，因为每一个数据Slot只能由基本类型来定义，因此，需要使用一个额外的Boolean Slot来指定引用类型的对象的属性是否为null。这样，我们可以拆分自定义类型。

如果一个XIndex使用了组合Key，这些Key使用了不止一个Slot，那么数据引擎将使用BigEndian按照从小到大的Slot的顺序来比较子键。

转换成IData后，用户的数据非常适合于压缩。该引擎能够为每一个XIndex类型自动生成压缩类。这些压缩类依赖于Slot的基本类型为每一个Slot使用并行垂直方法的进行压缩。因此，压缩会很快并保持很高的压缩比。默认的，XIndex和XIndex以压缩的方式来保存数据。

4 XFile

STSdb 4.0支持稀疏文件存储，称为XFile。我们可以基于标准的.NET流来使用XFile。

using (StorageEngine engine = new StorageEngine("stsdb4.sys", "stsdb4.dat"))

{

XFile file = engine.OpenXFile("file");

Random random = new Random();

byte[] buffer = new byte[] { 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 };

for (int i = 0; i < 100; i++)

{

long position = random.Next();

//writes some data on random positions

file.Seek(position, SeekOrigin.Begin);

file.Write(buffer, 0, buffer.Length);

}

file.Flush();

engine.Commit();

}

XFile使用特殊的XIndex实现且提供了更为高效的稀疏文件功能。这样，在一个存储引擎里，开发人员可以组合使用XIndex表和XFile文件。

5 线程安全

存储引擎是线程安全的，在一个存储引擎中使用不同线程创建XIndex和XFile实例是线程安全的。不过，XIndex和XFile本身不是线程安全的。在同一个存储引擎，不同的线程来处理由其创建的XIndex和XFile是线程安全的。