数据分片和分段

43 篇文章 1 订阅
3 篇文章 0 订阅

在skb_buff数据结果后紧跟了另一个数据结构struct skb_shared_info。在为socket Buffer分配内存时,也会同时为skb_shared_info分配相应大小的内存空间,并顺序地初始化改数据结构,struct skb_shared_info用于支持IP数据分片和TCP数据分段。

1 skb_shared_info结构体

当一个数据包的长度大于网络适配器硬件所能传送的最大传送单元MTU时,需要对数据包进行分割,将其分成更小的数据片,这些数据片存放在由struct skb_shared_info数据结果管理的Socket Buffer组成的单向链表中。

struct skb_shared_info {
	unsigned char	nr_frags;
	__u8		tx_flags;
	unsigned short	gso_size;
	/* Warning: this field is not always filled in (UFO)! */
	unsigned short	gso_segs;
	unsigned short  gso_type;
	struct sk_buff	*frag_list;
	struct skb_shared_hwtstamps hwtstamps;
	u32		tskey;
	__be32          ip6_frag_id;

	/*
	 * Warning : all fields before dataref are cleared in __alloc_skb()
	 */
	atomic_t	dataref;

	/* Intermediate layers must ensure that destructor_arg
	 * remains valid until skb destructor */
	void *		destructor_arg;

	/* must be last field, see pskb_expand_head() */
	skb_frag_t	frags[MAX_SKB_FRAGS];
};

各数据域的含义如下:

dataref:描述对主要数据包缓冲区的引用计数,skb_buff克隆时,该计数加1.

nr_frags:数据包被分割的数据片的计数,描述了一个数据包最终被分成了多少个数据片,这个域是支持IP分片使用的。

frag_list:数据包被成片段,该域是指向存放分片数据链表其实地址的指针。

frags:一个页表入口数组,每一个入口就是一个TCP的段。

gso_size   gso_type:这个两个域用于说明网络设备是否具有在硬件上实现对TCP分段的能力,是网络设备的功能特点。

gso_size:TCP数据包被分段的数量。

有的网卡在硬件上可以完成对TCP层数据的分段(segment),这种功能原来是由CPU来完成的,通过对大的数据包(如64k)的分割任务交给网络适配器硬件来完成,可以减轻CPU的负载。从而提高网络的熟读。这种技术称为TSO(TCP segmentation Offload)或GSO(Generic Segmentation Offload)。gso_size gso_type和gso_segs就是用于这类计数的。GSO可以用于各种协议。

2 设计skb_shared_info数据结构的目的

struct skb_shared_info数据结构紧接在数据包缓冲区之后,由sk_buff的end指针来寻址。使用struct skb_shared_info数据结构有几个目的:

  • 支持IP数据分片
  • 支持TCP数据分段
  • 跟踪数据包的引用计数

当用于IP数据分片是,struct skb_shared_info数据结构中有指针指向包含IP数据片的Socket Buffer的链表。当用于TCP数据分段时,该结构中包含了一个相关的页面数据。其中存放了分段的数据。

frags数据中每个元素都时一个管理存放TCP数据段的skb_frag_t的结果,frags数组的大小总和时64KB。

struct skb_frag_struct {
	struct {
		struct page *p;   //指向存放TCP数据段存放的页面
	} page;
#if (BITS_PER_LONG > 32) || (PAGE_SIZE >= 65536)
	__u32 page_offset;  //TCP数据段在页面中相对页面的偏移量
	__u32 size;         //段的大小
#else
	__u16 page_offset;
	__u16 size;
#endif
};

3 skb_shared_info操作函数

  • skb_is_nonlinear:查看Socket Buffer的数据包是否被分了片段
static inline bool skb_is_nonlinear(const struct sk_buff *skb)
{
	return skb->data_len;
}

该函数实际返回skb->data_len,skb->data_len就是skb的非线性数据长度。如果skb->data_len大于0说明有分片段数据。

  • skb_linearize:将分了片段的小的数据包组装成一个完整的大的数据包。
  • skb_shinfo:在sk_buff结构中,并没有指针指向struct skb_shared_info数据结构,要访问该数据结构,需要用到宏,skb_shinfo宏返回sk_buffer的end指针。
#define skb_shinfo(SKB)	((struct skb_shared_info *)(skb_end_pointer(SKB)))
static inline unsigned char *skb_end_pointer(const struct sk_buff *skb)
{
	return skb->end;
}

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
可以使用 AWS SDK for Go 和 go-ceph 库来实现 Ceph S3 分片上传和分段下载。 以下是一个简单的示例代码,演示如何使用 AWS SDK for Go 和 go-ceph 库进行分片上传和分段下载: ```go package main import ( "bytes" "fmt" "github.com/aws/aws-sdk-go/aws" "github.com/aws/aws-sdk-go/aws/credentials" "github.com/aws/aws-sdk-go/aws/session" "github.com/aws/aws-sdk-go/service/s3" "github.com/beyondstorage/go-service-ceph" "github.com/beyondstorage/go-storage/v4/types" "io/ioutil" ) func main() { // 创建 Ceph 对象存储服务 store, err := ceph.NewStorager( ceph.WithCredential("access_key", "secret_key"), ceph.WithEndpoint("http://ceph-gateway:7480"), ceph.WithLocation("us-east-1"), ) if err != nil { fmt.Printf("fail to create ceph storager: %v\n", err) return } // 创建 S3 服务 s3Client := s3.New(session.Must(session.NewSession(&aws.Config{ Credentials: credentials.NewStaticCredentials("access_key", "secret_key", ""), Endpoint: aws.String("http://ceph-gateway:7480"), Region: aws.String("us-east-1"), S3ForcePathStyle: aws.Bool(true), }))) // 分片上传文件 putObjectInput := &s3.CreateMultipartUploadInput{ Bucket: aws.String("my-bucket"), Key: aws.String("my-file"), } createMultipartUploadOutput, err := s3Client.CreateMultipartUpload(putObjectInput) if err != nil { fmt.Printf("fail to create multipart upload: %v\n", err) return } // 将文件分成多个部分 fileBytes, err := ioutil.ReadFile("my-file") if err != nil { fmt.Printf("fail to read file: %v\n", err) return } partSize := int64(5 * 1024 * 1024) // 5MB var parts []*s3.CompletedPart for i := int64(0); i < int64(len(fileBytes)); i += partSize { partNumber := int64(i/partSize) + 1 partBytes := fileBytes[i:min(i+partSize, int64(len(fileBytes)))] partInput := &s3.UploadPartInput{ Bucket: aws.String("my-bucket"), Key: aws.String("my-file"), UploadId: createMultipartUploadOutput.UploadId, PartNumber: aws.Int64(partNumber), ContentLength: aws.Int64(int64(len(partBytes))), Body: bytes.NewReader(partBytes), } partOutput, err := s3Client.UploadPart(partInput) if err != nil { fmt.Printf("fail to upload part: %v\n", err) return } parts = append(parts, &s3.CompletedPart{ ETag: partOutput.ETag, PartNumber: aws.Int64(partNumber), }) } // 完成上传 completeInput := &s3.CompleteMultipartUploadInput{ Bucket: aws.String("my-bucket"), Key: aws.String("my-file"), UploadId: createMultipartUploadOutput.UploadId, MultipartUpload: &s3.CompletedMultipartUpload{ Parts: parts, }, } _, err = s3Client.CompleteMultipartUpload(completeInput) if err != nil { fmt.Printf("fail to complete multipart upload: %v\n", err) return } // 分段下载文件 getObjectInput := &s3.GetObjectInput{ Bucket: aws.String("my-bucket"), Key: aws.String("my-file"), } getObjectOutput, err := s3Client.GetObject(getObjectInput) if err != nil { fmt.Printf("fail to get object: %v\n", err) return } defer getObjectOutput.Body.Close() objectSize := *getObjectOutput.ContentLength partSize = int64(5 * 1024 * 1024) // 5MB var fileData []byte for i := int64(0); i < objectSize; i += partSize { partInput := &s3.GetObjectInput{ Bucket: aws.String("my-bucket"), Key: aws.String("my-file"), Range: aws.String(fmt.Sprintf("bytes=%d-%d", i, min(i+partSize, objectSize)-1)), } partOutput, err := s3Client.GetObject(partInput) if err != nil { fmt.Printf("fail to get object part: %v\n", err) return } defer partOutput.Body.Close() partData, err := ioutil.ReadAll(partOutput.Body) if err != nil { fmt.Printf("fail to read object part: %v\n", err) return } fileData = append(fileData, partData...) } // 将文件数据写入本地文件 err = ioutil.WriteFile("my-file-downloaded", fileData, 0644) if err != nil { fmt.Printf("fail to write file: %v\n", err) return } fmt.Println("done") } func min(a, b int64) int64 { if a < b { return a } return b } ``` 在这个例子中,我们首先创建了一个 Ceph 对象存储服务和一个 AWS S3 服务。然后,我们使用 S3 服务进行分片上传文件,将文件分成多个部分,并将每个部分上传到 Ceph S3 存储桶。最后,我们使用 S3 服务进行分段下载文件,将文件分成多个部分,并将每个部分从 Ceph S3 存储桶下载到本地文件系统,最后将所有部分组合成一个文件。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值