在 C# 中处理结构内的数组

原创 2004年08月22日 23:29:00

原文:http://www.blogcn.com/User8/flier_lu/index.html?id=3318394


    在 C/C++ 代码中,大量掺杂着包括普通类型和数组的结构,如定义 PE 文件头结构的 IMAGE_OPTIONAL_HEADER 结构定义如下:

以下内容为程序代码:

typedef struct _IMAGE_DATA_DIRECTORY {
    DWORD   VirtualAddress;
    DWORD   Size;
} IMAGE_DATA_DIRECTORY, *PIMAGE_DATA_DIRECTORY;

#define IMAGE_NUMBEROF_DIRECTORY_ENTRIES    16

typedef struct _IMAGE_OPTIONAL_HEADER {

    WORD    Magic;

    //...

    DWORD   NumberOfRvaAndSizes;
    IMAGE_DATA_DIRECTORY DataDirectory[IMAGE_NUMBEROF_DIRECTORY_ENTRIES];

} IMAGE_OPTIONAL_HEADER32, *PIMAGE_OPTIONAL_HEADER32;

    在 C/C++ 中这样在结构中使用数组是完全正确的,因为这些数组将作为整个结构的一部分,在对结构操作时直接访问结构所在内存块。但在 C# 这类语言中,则无法直接如此使用,因为数组是作为一种特殊的引用类型存在的,如定义:
以下内容为程序代码:

public struct IMAGE_DATA_DIRECTORY
{
  public uint VirtualAddress;
  public uint Size;
}

public struct IMAGE_OPTIONAL_HEADER
{
  public const int IMAGE_NUMBEROF_DIRECTORY_ENTRIES = 16;

  public ushort Magic;

  //...

  public uint NumberOfRvaAndSizes;

  public IMAGE_DATA_DIRECTORY DataDirectory[IMAGE_NUMBEROF_DIRECTORY_ENTRIES];
}

    在 C# 中这样定义结构中的数组是错误的,会在编译时获得一个 CS0650 错误:
以下为引用:

error CS0650: 语法错误,错误的数组声明符。若要声明托管数组,秩说明符应位于变量标识符之前


    如果改用 C# 中引用类型的类似定义语法,如
以下内容为程序代码:

public struct IMAGE_OPTIONAL_HEADER
{
  public const int IMAGE_NUMBEROF_DIRECTORY_ENTRIES = 16;

  public ushort Magic;

  //...

  public uint NumberOfRvaAndSizes;

  public IMAGE_DATA_DIRECTORY[] DataDirectory = new IMAGE_DATA_DIRECTORY[IMAGE_NUMBEROF_DIRECTORY_ENTRIES];
}

    则得到一个 CS0573 错误:
以下为引用:

error CS0573: “IMAGE_OPTIONAL_HEADER.DataDirectory” : 结构中不能有实例字段初始值设定项


    因为结构内是不能够有引用类型的初始化的,这与 class 的初始化工作不同。如此一来只能将数组的初始化放到构造函数中,而且结构还不能有无参数的缺省构造函数,真是麻烦,呵呵
以下内容为程序代码:

public struct IMAGE_OPTIONAL_HEADER
{
  public const int IMAGE_NUMBEROF_DIRECTORY_ENTRIES = 16;

  public ushort Magic;

  public uint NumberOfRvaAndSizes;

  public IMAGE_DATA_DIRECTORY[] DataDirectory;

  public IMAGE_OPTIONAL_HEADER(IntPtr ptr)
  {
    Magic = 0;
    NumberOfRvaAndSizes = 0;

    DataDirectory = new IMAGE_DATA_DIRECTORY[IMAGE_NUMBEROF_DIRECTORY_ENTRIES];
  }
}

    这样一来看起来似乎能使了,但如果使用 Marshal.SizeOf(typeof(IMAGE_OPTIONAL_HEADER)) 看看就会发现,其长度根本就跟 C/C++ 中定义的长度不同。问题还是在于结构中数组,虽然看起来此数组是定义在结构内,但实际上在此结构中只有一个指向 IMAGE_DATA_DIRECTORY[] 数组类型的指针而已,本应保存在 DataDirectory 未知的数组内容,是在托管堆中。
    于是问题就变成如何将引用类型的数组,放在一个值类型的结构中。

    解决的方法有很多,如通过 StructLayout 显式指定结构的长度来限定内容:
以下内容为程序代码:

[StructLayout(LayoutKind.Sequential, Size=XXX)]
public struct IMAGE_OPTIONAL_HEADER
{
  public const int IMAGE_NUMBEROF_DIRECTORY_ENTRIES = 16;

  public ushort Magic;

  public uint NumberOfRvaAndSizes;

  public IMAGE_DATA_DIRECTORY DataDirectory;
}

    注意这儿 StructLayout 中 Size 指定的是整个结构的长度,因为 DataDirectory 已经是最后一个字段,故而数组的后 15 个元素被保存在未命名的堆栈空间内。使用的时候稍微麻烦一点,需要一次性读取整个结构,然后通过 unsafe 代码的指针操作来访问 DataDirectory 字段后面的其他数组元素。
    这种方法的优点是定义简单,但使用时需要依赖 unsafe 的指针操作代码,且受到数组字段必须是在最后的限制。当然也可以通过 LayoutKind.Explicit 显式指定每个字段的未知来模拟多个结构内嵌数组,但这需要手工计算每个字段偏移,比较麻烦。

    另外一种解决方法是通过 Marshal 的支持,显式定义数组元素所占位置,如
以下内容为程序代码:

[StructLayout(LayoutKind.Sequential, Pack=1)]
public struct IMAGE_OPTIONAL_HEADER
{
  public const int IMAGE_NUMBEROF_DIRECTORY_ENTRIES = 16;

  public ushort Magic;

  public uint NumberOfRvaAndSizes;

  [MarshalAs(UnmanagedType.ByValArray, SizeConst=IMAGE_NUMBEROF_DIRECTORY_ENTRIES)]
  public IMAGE_DATA_DIRECTORY[] DataDirectory;
}

    这种方法相对来说要优雅一些,通过 Marshal 机制支持的属性来定义值数组语义,使用起来与普通的数组区别不算太大。上述数组定义被编译成 IL 定义:
以下内容为程序代码:

.field public  marshal( fixed array [16]) valuetype IMAGE_DATA_DIRECTORY[] DataDirectory

    虽然类型还是 valuetype IMAGE_DATA_DIRECTORY[],但因为 marshal( fixed array [16]) 的修饰,此数组已经从引用语义改为值语义。不过这样做还是会受到一些限制,如不能多层嵌套、使用时性能受到影响等等。

    除了上述两种在结构定义本身做文章的解决方法,还可以从结构的操作上做文章。

    此类结构除了对结构内数组的访问外,主要的操作类型就是从内存块或输入流中读取整个结构,因此完全可以使用 CLR 提高的二进制序列化支持,通过实现自定义序列化函数来完成数据的载入和保存,如:
以下内容为程序代码:


[Serializable]
public struct IMAGE_OPTIONAL_HEADER : ISerializable
{
  public const int IMAGE_NUMBEROF_DIRECTORY_ENTRIES = 16;

  public ushort Magic;

  public uint NumberOfRvaAndSizes;

  public IMAGE_DATA_DIRECTORY[] DataDirectory;

  public IMAGE_OPTIONAL_HEADER(IntPtr ptr)
  {
    Magic = 0;
    NumberOfRvaAndSizes = 0;

    DataDirectory = new IMAGE_DATA_DIRECTORY[IMAGE_NUMBEROF_DIRECTORY_ENTRIES];
  }

  [SecurityPermissionAttribute(SecurityAction.Demand,SerializationFormatter=true)]
  public virtual void GetObjectData(SerializationInfo info, StreamingContext context)
  {
    // 完成序列化操作
  }
}

    这种解决方法可以将结构的载入和存储,与结构的内部表现完全分离开来。虽然结构内部保存的只是数组引用,但用户并不需关心。但缺点是必须为每个结构都编写相应的序列化支持代码,编写和维护都比较麻烦。

    与此思路类似的是我比较喜欢的一种解决方法,通过一个公共工具基类以 Reflection 的方式统一处理,如:
以下内容为程序代码:

public class IMAGE_OPTIONAL_HEADER : BinaryBlock
{
  public const int IMAGE_NUMBEROF_DIRECTORY_ENTRIES = 16;

  public ushort Magic;

  public uint NumberOfRvaAndSizes;

  public IMAGE_DATA_DIRECTORY[] DataDirectory = new IMAGE_DATA_DIRECTORY[IMAGE_NUMBEROF_DIRECTORY_ENTRIES];
}

    注意原本的 struct 在这儿已经改为 class,因为通过这种方式已经没有必要非得固守值类型的内存模型。BinaryBlock 是一个公共的工具基类,负责通过 Reflection 提供类型的载入和存储功能,如
以下内容为程序代码:

public class BinaryBlock
{
  private static readonly ILog _log = LogManager.GetLogger(typeof(BinaryBlock));

public BinaryBlock()
{
}

  static public object LoadFromStream(BinaryReader reader, Type objType)
  {
    if(objType.Equals(typeof(char)))
    {
      return reader.ReadChar();
    }
    else if(objType.Equals(typeof(byte)))
    {
      return reader.ReadByte();
    }
    //...
    else if(objType.Equals(typeof(double)))
    {
      return reader.ReadDouble();
    }
    else if(objType.IsArray)
    {
      // 处理数组的情况
    }
    else
    {
      foreach(FieldInfo field in ClassType.GetFields())
      {
        field.SetValue(obj, LoadFromStream(...));
      }
    }

    return true;
  }

  public bool LoadFromStream(Stream stream)
  {
    return LoadFromStream(new BinaryReader(stream), this);
  }
}

    LoadFromStream 是一个嵌套方法,负责根据指定字段类型从流中载入相应的值。使用时只需要对整个类型调用此方法,则会自动以 Reflection 机制,遍历类的所有字段进行处理,如果有嵌套定义的情况也可以直接处理。使用此方法,类型本身的定义基本上就无需担心载入和存储机制,只要从 BinaryBlock 类型继承即可。有兴趣的朋友还可以对此类进一步扩展,支持二进制序列化机制。

    此外 C# 2.0 中为了解决此类问题提供了一个新的 fixed array 机制,支持在结构中直接定义内嵌值语义的数组,如
以下内容为程序代码:

struct data
{
    int header;
    fixed int values[10];
}

    此结构在编译时由编译器将数组字段翻译成一个外部值类型结构,以实现合适的空间布局,如
以下内容为程序代码:

.class private sequential ansi sealed beforefieldinit data
       extends [mscorlib]System.ValueType
{
  .class sequential ansi sealed nested public beforefieldinit '<values>e__FixedBuffer0'
         extends [mscorlib]System.ValueType
  {
    .pack 0
    .size 40
    .custom instance void [mscorlib]System.Runtime.CompilerServices.CompilerGeneratedAttribute::.ctor() = ( 01 00 00 00 [img]/images/wink.gif[/img]
    .field public int32 FixedElementField
  } // end of class '<values>e__FixedBuffer0'

  .field public int32 header
  .field public valuetype data/'<values>e__FixedBuffer0' values
  .custom instance void [mscorlib]System.Runtime.CompilerServices.FixedBufferAttribute::.ctor(class [mscorlib]System.Type, int32) = ( ...)
} // end of class data

    可以看到 values 字段被编译成一个值类型,而值类型本身使用的是类似于上述第一种解决方法的思路,强行限制结构长度。而在使用时,也完全是类似于第一种解决方法的 unsafe 操作,如对此数组的访问被编译成 unsafe 的指针操作:
以下内容为程序代码:

// 编译前
for(int i=0; i<10; i++)
  d.values[i] = i;

// 编译后
for(int i=0; i<10; i++)
  &data1.values.FixedElementField[(((IntPtr) i) * 4)] = i;

    不幸的是这种方式必须通过 unsafe 方式编译,因为其内部都是通过 unsafe 方式实现的。而且也只能处理一级的嵌套定义,如果将 IMAGE_OPTIONAL_HEADER 的定义转换过来会得到一个 CS1663 错误:
以下内容为程序代码:

error CS1663: Fixed sized buffer type must be one of the following: bool, byte, short, int, long, char, sbyte, ushort, uint, ulong, float or double


    Eric Gunnerson 有篇文章, Arrays inside of structures,简要介绍了 C# 2.0 中的这种有限度的增强语法。

C#结构体中数组的分配

 http://blog.163.com/adslxk@126/blog/static/10061067120098445849265/ 在写C#TCP通信程序时,发送数据时,只能发送byte...
  • liuxf196921
  • liuxf196921
  • 2014年03月19日 20:54
  • 826

C#学习之byte数组与结构体之间的转换

原文: http://www.cnblogs.com/sunrack/articles/1244043.html //**注意在我的实际项目中直接调用字节转换,并没有定义结构体 在写C#T...
  • ycigwy
  • ycigwy
  • 2017年04月21日 09:59
  • 468

C#接收C/C++DLL的结构体嵌套数组及多维数组的解决方案

在调用C/C++DLL、或者与底层交互、或者进行网络交互时,接收到的数据难免有结构体嵌套和多维数组的数据,尤其是与底层的硬件打交道时,更有可能碰到。可以先参看该文章C#调用C++DLL传递结构体数组的...
  • xxdddail
  • xxdddail
  • 2015年11月07日 17:48
  • 2878

一种初始化结构体数组的方法

typedef struct { int requestNumber; void (*dispatchFunction) (Parcel &p, struct RequestInfo ...
  • u013485792
  • u013485792
  • 2016年10月13日 09:46
  • 2311

C#结构体和字节数组的转换函数

在通信过程中,一般我们都会操作到字节数组.特别是希望在不同语言编程进行操作的时候. 虽然C#提供了序列化的支持,不用字节数组也行.但操作字节数组肯定会碰到. 一般都会采用结构来...
  • whd0310
  • whd0310
  • 2015年04月16日 09:54
  • 401

C#调用c++Dll结构体数组指针的问题

C#调用c++dll文件是一件很麻烦的事情,首先面临的是数据类型转换的问题,相信经常做c#开发的都和我一样把学校的那点c++底子都忘光了吧(语言特性类)。 网上有一大堆得转换对应表,也有一大堆的...
  • u010143011
  • u010143011
  • 2015年09月02日 16:33
  • 2624

C#学习(五)—数组与结构、枚举、集合的区别

一、什么是数组?数组的作用?怎样用数组? 1、什么是数组?          数组是包含若干相同类型元素的一组变量。这些变量都可以通过索引进行访问。数组中的变量称为数组的元素。数组能够容纳元素的数...
  • gxq741718618gxq
  • gxq741718618gxq
  • 2013年02月23日 11:11
  • 2414

C#调用C++生成的dll,参数有结构体数组

废话少说,只上程序。 C++生成dll程序: /* 实现功能:将一个图片中,所在行的像素值,按照一定的间隔(列数),将对应点的像素值提取出来。 */ #include "opencv2/highgu...
  • peng825223208
  • peng825223208
  • 2014年12月15日 20:10
  • 1157

结构体的字节对齐(跨语言传参时尤为重要)

在项目开发时,结构体作为一个数据结构,非常适合用语存储某一设备或某一类事务的信息,自然的,将其用作参数也是必然的事。然而在将结构体作为参数生成DLL后,用其他语言调用时,则会有一些问题。比如在用C#调...
  • xxdddail
  • xxdddail
  • 2013年09月18日 16:00
  • 2480

C#调用C++ 平台调用P/Invoke 结构体--含有内置数据类型的一维、二维数组、字符串指针【六】

【1】结构体中含有内置数据类型的一维数组 C++代码: typedef struct _testStru3 { int iValArrp[30]; WCHAR szChArr[30]; }t...
  • aoshilang2249
  • aoshilang2249
  • 2014年09月20日 09:21
  • 1497
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:在 C# 中处理结构内的数组
举报原因:
原因补充:

(最多只允许输入30个字)