DPDK rte_hash实例

最新推荐文章于 2024-01-29 16:57:37 发布
最新推荐文章于 2024-01-29 16:57:37 发布
阅读量2.6k 收藏 7
点赞数
分类专栏： dpdk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_15437629/article/details/112989017
版权 
/* SPDX-License-Identifier: BSD-3-Clause
 * Copyright(c) 2010-2014 Intel Corporation
 */

#include <stdio.h>
#include <string.h>
#include <stdint.h>
#include <errno.h>
#include <sys/queue.h>

#include <rte_memory.h>
#include <rte_launch.h>
#include <rte_eal.h>
#include <rte_per_lcore.h>
#include <rte_lcore.h>
#include <rte_debug.h>

#include <rte_hash.h>
#include <rte_hash_crc.h>

typedef struct tuple_space {
  int sport;
  int dport;
}Tuple;

static struct rte_hash*
htable_create(void)
{
  struct rte_hash *hash_table;
  struct rte_hash_parameters hash_params;
  
  (void)memset(&hash_params, sizeof(struct rte_hash_parameters), 0);
  
  hash_params.entries = 10;
  hash_params.key_len = sizeof(struct tuple_space);
  hash_params.hash_func = rte_hash_crc;
  hash_params.hash_func_init_val = 0;
  
  hash_params.name = "htable_0";
  hash_params.socket_id = rte_lcore_to_socket_id(rte_get_master_lcore());
  hash_params.extra_flag = 0;
  //hash_params.key_mode = RTE_HASH_KEY_MODE_DUP;
  
  /* Find if the hash table was created before */
  hash_table = rte_hash_find_existing(hash_params.name);
  if (hash_table != NULL) {
    printf("hash_table[%s] exist!\n", hash_params.name);
    return hash_table;
  } else { 
    hash_table = rte_hash_create(&hash_params);
    if (!hash_table) {
        return NULL;
    }
  }
  
  printf("create hash_table[%s] success!\n", hash_params.name);
  
  return hash_table;

}

int
main(int argc, char **argv)
{
  int ret, i, idx;
  struct rte_hash *htable;
  Tuple key[] = {
  {
      .sport=10000,
      .dport=20000,
    },
    {
      .sport=30000,
      .dport=40000,
    },
  };

  ret = rte_eal_init(argc, argv);
  if (ret < 0)
    rte_panic("Cannot init EAL\n");
  
  htable = htable_create();
  if (!htable) {
    printf("create hashtable failed!\n");
    return -1;
  }

  /* 插入两个key */
  for(i=0;i<2;i++) {
    idx = rte_hash_add_key(htable, (void *)&key[i]);
    if (idx < 0) {
      printf("rte_hash_add_key %d failed!\n", i);
    } else {
      printf("rte_hash_add_key %d success! idx:%d\n", i, idx);
    }
  }
  
  /* 获取key个数 */
  size =rte_hash_count(htable);
  printf("htable size=%d\n", size);

  /* 查找某个key */
  idx = rte_hash_lookup(htable, (void *)&key[1]);
  if (idx < 0) {
    printf("rte_hash_lookup key failed!\n");
  } else {
    printf("rte_hash_lookup key success! idx:%d\n", idx);
  }

  if (htable) {
  	rte_hash_free(htable);
  }
  
  return 0;
}

rte_hash说明

wiki:
http://doc.dpdk.org/api/rte__hash_8h.html#a62ff0b837d39bbff00863feabf15e224

rte_hash_parameters 结构体

struct rte_hash_parameters {
	const char *name;		/**< Name of the hash. */
	uint32_t entries;		/**< Total hash table entries. */
	uint32_t reserved;		/**< Unused field. Should be set to 0 */
	uint32_t key_len;		/**< Length of hash key. */
	rte_hash_function hash_func;	/**< Primary Hash function used to calculate hash. */
	uint32_t hash_func_init_val;	/**< Init value used by hash_func. */
	int socket_id;			/**< NUMA Socket ID for memory. */
	uint8_t extra_flag;		/**< Indicate if additional parameters are present. */
};

填写哈希表的名字，表最大数目，key长度，哈希函数，哈希函数初始值，NUMA套接字， 额外参数标志

重要的是选择 hash 函数

typedef uint32_t (*rte_hash_function)(const void *key, uint32_t key_len,
				      uint32_t init_val);

rte_jhash.h 提供了一些函数如 rte_jhash, rte_jhash_1words, rte_jash_2words

其余相关函数有:

设置比较函数

void rte_hash_set_cmp_func(struct rte_hash *h, rte_hash_cmp_eq_t func);

查看是否已经有同名的表

struct rte_hash *
rte_hash_find_existing(const char *name);

删除表

void
rte_hash_free(struct rte_hash *h);

创建函数

struct rte_hash *
rte_hash_create(const struct rte_hash_parameters *params);

添加key、data

int32_t
rte_hash_add_key(const struct rte_hash *h, const void *key);

int
rte_hash_add_key_data(const struct rte_hash *h, const void *key, void *data);

int32_t
rte_hash_add_key_with_hash_data(const struct rte_hash *h, const void *key,
						hash_sig_t sig, void *data);

int32_t
rte_hash_add_key_with_hash_data(const struct rte_hash *h, const void *key,
						hash_sig_t sig, void *data);
int32_t
rte_hash_del_key(const struct rte_hash *h, const void *key);

删除key、data

int32_t
rte_hash_del_key(const struct rte_hash *h, const void *key);

int32_t
rte_hash_del_key_with_hash(const struct rte_hash *h, const void *key, hash_sig_t sig);

查找

int
rte_hash_get_key_with_position(const struct rte_hash *h, const int32_t position,
			       void **key);

int
rte_hash_lookup_data(const struct rte_hash *h, const void *key, void **data);

int
rte_hash_lookup_with_hash_data(const struct rte_hash *h, const void *key,
					hash_sig_t sig, void **data);
int32_t
rte_hash_lookup(const struct rte_hash *h, const void *key);

int32_t
rte_hash_lookup_with_hash(const struct rte_hash *h,
				const void *key, hash_sig_t sig);

hash_sig_t
rte_hash_hash(const struct rte_hash *h, const void *key);

int
rte_hash_lookup_bulk_data(const struct rte_hash *h, const void **keys,
		      uint32_t num_keys, uint64_t *hit_mask, void *data[]);

int
rte_hash_lookup_bulk(const struct rte_hash *h, const void **keys,
		      uint32_t num_keys, int32_t *positions);    

int32_t
rte_hash_iterate(const struct rte_hash *h, const void **key, void **data, uint32_t *next);

extra_flag

哈希库可以在多进程环境中使用。 唯一的只能在单进程模式下使用的函数是rte_hash_set_cmp_func（），该函数用于设置一个自定义的比较函数，由于该函数被分配给当前进程的函数指针（因此在多进程模式下不支持）

创建hash表时可以看到有hash_params.extra_flag 参数，功能如下：

  1. 多线程支持

哈希库支持多线程，并且用户可以在哈希表创建时通过设置适当的标志来指定所需的操作模式。 在所有操作模式下，查找都是线程安全的，这意味着可以从多个线程同时调用查找。

对于并发写入和并发读写，以下标志值定义了相应的操作模式：

  • 如果设置了“多个写者”的标志（RTE_HASH_EXTRA_FLAGS_MULTI_WRITER_ADD），则允许多个线程写入表。键的添加、删除和表重置受到保护。如果仅设置此标志，无法保护“读者”免受正在进行的写入操作的影响。

  • 如果设置了读/写并发（RTE_HASH_EXTRA_FLAGS_RW_CONCURRENCY），则多线程读/写操作是安全的（即，应用程序不需要“停止读者访问哈希表，一直等待写者完成更新为止”。读者和写者可以同时在表上进行操作 ）。该库使用读写锁提供并发。

  • 除了这两个标志值外，如果还设置了事务性内存标志（RTE_HASH_EXTRA_FLAGS_TRANS_MEM_SUPPORT），那么如果硬件支持，读写锁将使用硬件事务性内存（例如Intel®TSX）来保证线程安全。如果平台支持Intel®TSX，建议设置事务性内存标志，因为这将加快并发表操作。否则，由于软件锁定机制相关的开销，并发操作将变慢。

  • 如果设置了无锁读/写并发（RTE_HASH_EXTRA_FLAGS_RW_CONCURRENCY_LF），则将提供不使用读写锁的读/写并发。对于不支持事务性内存的平台（例如，当前基于ARM的平台），建议设置此标志以实现更高的性能可伸缩性。如果设置了此标志，则默认设置（RTE_HASH_EXTRA_FLAGS_NO_FREE_ON_DEL）标志。

  • 如果设置了“在删除时不释放”（RTE_HASH_EXTRA_FLAGS_NO_FREE_ON_DEL）标志，则在调用delete（）时不会释放哈希表中条目的位置。当设置无锁读/写并发标志时，默认情况下启用此标志。在所有读者都停止引用该位置之后，应用程序应释放该位置。在需要时，应用程序可以利用RCU机制来确定读者何时停止引用该位置。

  1. 可扩展的桶（Bucket ）功能支持
    通过额外的标志来启用此功能（默认情况下未设置）。设置（RTE_HASH_EXTRA_FLAGS_EXT_TABLE）时（在极不可能的情况下，由于哈希冲突过多而导致无法插入键盘），哈希桶将使用链表进行扩展，以插入这些失败的键。 对于插入哈希表的键个数能达到容量的100％且不能容忍任何键插入失败（即使很少）的工作负载（例如，电信工作负载），此功能非常重要。

PS：启用“无锁读写并发”标志（RTE_HASH_EXTRA_FLAGS_NO_FREE_ON_DEL or RTE_HASH_EXTRA_FLAGS_RW_CONCURRENCY_LF）后，用户 在调用rte_hash_del_key_XXX 后还需要调用
“ rte_hash_free_key_with_position” API才能释放空存储桶和已删除的键，以保持100％的容量保证

wiki：http://doc.dpdk.org/guides/prog_guide/hash_lib.html

造夢先森
关注
专栏目录
dpdk从环形队列ring获取解析数据包，并使用hashtable统计
focus on security
04-21 2377
result = rte_ring_dequeue_burst(arg0,arg1,arg2,arg3) 将多个对象从一个环形队列ring取出，直到达到最大数量。 该函数调用多消费者或单消费者批量出队列，取决于在创建ring时指定的默认行为。 arg0为环形队列ring指针 arg1为 指用数据包填充的void*指针数组指针，示例为void* dequeued[]数组 arg2为从环出列到 obj_table 的对象数。 arg3如果如果非NULL，则为返回出队完成后剩余的环条目数。 返回值为出队的对象数
dpdk l3fwd实现ip acl规则下发
focus on security
12-01 2953
整个L3fwd有三千多行代码，但总体思想就是在L2fwd的基础上，增加网络层的根据 IP 地址进行路由查找的内容。 l2fwd例子中，代码中网卡没有配置多队列，所以性能上有些局限性， 而l3fwd的例子中，网卡配置了多队列 这就是在网络转发调试过程中，很多场景下直接使用l2fwd进行转发测试，往往达不到最佳效果的根本原因 2.l2fwd中，报文转发流程相对简单，仅仅改了mac就发包了，无需过多判断 l3fwd中，需查询路由表，相对实现复杂些 dpdk的acl算法。大致用法如下： 配置如
基于 DPDK 的共享哈希表实现
JwLee的专栏
07-19 6934
DPDK 自身有一套哈希表的实现，在 rte_hash.h 和 rte_hash.c 中。但是由于DPDK 基于 C 语言实现，因此不具备 C++ 模板和类的强大特性。在 C 语言实现的 rte_hash 中，rte_hash 结构体中用指针的形式存储了哈希函数，如果将 rte_hash 放在共享内存中，由于指针无法共享，用户需要自行计算哈希值，然后调用其他的接口将元素插入到哈希表中。总之，rte
RTE_HASH dpdk 使用
phone1126的专栏
03-06 582
RTE_HASH dpdk 使用
DPDK rte_hash 简述
weixin_30802171的博客
08-10 1862
rte_hash 创建表 rte_hash_parameters 结构体 struct rte_hash_parameters { const char *name; /**< Name of the hash. */ uint32_t entries; /**< Total hash table entries. */ uint32...
DPDK-Hash(2)
技术鱼的博客
12-06 712
此系列主要是dpdk 提供的Hash libary
rte_hash_iterate函数用于遍历一个哈希表中的所有元素
01-29 468
其中，参数h是要遍历的哈希表，参数key和data分别是指向当前节点的键和值的指针，参数next是一个指向下一个节点的位置的指针。函数返回0表示成功遍历了一个节点，返回负数表示已经遍历完了整个哈希表。在该例子中，我们使用了rte_hash_create函数创建了一个哈希表并添加了两个元素。然后，我们使用rte_hash_iterate函数遍历了整个哈希表，并打印了每个节点的键、值和端口号。rte_hash_iterate函数用于遍历一个哈希表中的所有元素。
DPDK——哈希库使用
hjlogzw的博客
05-08 2131
学习下DPDK的哈希库使用，测试200万数据的存储和查找，使用key长为15字节。
DPDK 网卡设备scan及probe流程
weixin_60043341的博客
08-30 882
本文只是简单介绍了网卡设备及PMD驱动的探测,并且实例化网卡设备；利用igb_uio驱动将网卡设备的IO及中断资源映射到用户态。但是对eth_i40e_pci_probe()函数还需要深入研究.
DPDK实战之l3fwd-vf（虚拟化环境）
lingshengxiyou的博客
09-06 655
在虚拟化环境下的L3层转发应用是用DPDK处理数据包的一个简单例子。这个L3层转发应用充分发挥SR-IOV的特征。这个应用演示如何使用hash和LPM DPDK库去实现数据包转发。这个转发策略是基于输入包的信息。查询方法既有基于hash的也有基于LPM的，你如何选择在编译的时候决定。当所选择的查找方法是基于hash时，使用hash对象来模拟流分类阶段。哈希对象与流表相关使用，以便在运行时将每个输入数据包映射到其流。
常用的hash函数代码
03-12
Hash函数代码，便于结合原理与实践。你可以下载后学习，更希望你能分享出更好的代码
DPDK IPV4 LPM(路由表实现)详解
热门推荐
呆萌-鱼的专栏
11-07 1万+
DPDK中涉及的主要路由数据结构的概念如下: 路由条目表项rte_lpm_rule 用来存储的具体的路由信息 路由条目描述信息rte_lpm_rule_info 不同掩码长度路由条目表的管理结构 通过此数据结构可以访问到各种掩码长度的所有的路由条目表项的信息 路由hash表项rte_lpm_tbl_entry DPDK中的LPM算法是空间换时间的典型, 核心算法是hash. DPD中将32的ip地址分为24位和8位两部分： 一张2^24大小的hash表,称之为tbl24 tbl24 hash key =
DPDK原理分析——Hash库（librte_hash）
dillanzhou的博客
08-03 7216
Hash表和算法是高性能流量处理中常用技术，在DPDK中也提供了相应的高性能实现用于支持流表、转发规则表等设施的开发。DPDK18的Hash库实现方式与其早期版本（1.6）时期的实现有了根本性的差异，本文介绍的实现基于18.05版本代码。 Hash算法原理——Cuckoo Hash DPDK中的Hash库采用的hash算法和数据结构基于CuckooHash（https://www.jiansh...
DPDK中的cuckoo hash算法
lingshengxiyou的博客
08-29 747
在一些场景中比如区块链中交易和区块数据的快速判断，使用数组只存储key不存储数据，根据交易和区块的sha256哈希值快速判断当前需要同步给对等节点的交易数据和区块数据是否已同步过，这样虽然可能存在漏报，即交易a和交易c映射的bit置为1后，同步a,c，后面来了交易b，然后映射后的位置bit都为1误以为已经同步过，故不同步，当然这些不成问题，会由其他的对等节点同步。cuckoo hash：“哈希函数是成对的，每一个元素都有两个，分别映射到两个位置，一个是记录的位置，另一个是备用位置。......
dpdk hash 接口使用
记录工作的点滴收获
09-30 176
记录 18.xx 版本的rte hash接口的使用示例与相关心得；做为后续升级更新版本的参考
DPDK-实战之l3fwd-vf（虚拟化环境）
3-Number
10-19 6711
0x01 缘由      年初，学习了l3fwd的例子，进行三层转发，现在学习下特定转发，这个在虚拟化设备中常见，也是加强对dpdk的熟悉。 0x02 介绍      在虚拟化环境下的L3层转发应用是用DPDK处理数据包的一个简单例子。这个L3层转发应用充分发挥SR-IOV的特征。      这个应用演示如何使用hash和LPM DPDK库去实现数据包转发。这个转发策略是基于输入包的信息。
一致性哈希 哈希槽_哈希图的重要性
weixin_26737625的博客
09-08 179
一致性哈希 哈希槽Hashing is a traditional approach in computer science whereby data structures called hash maps are used to store key-value pairs. Apart from storing key-value pairs, hash maps can be used to ...
数据结构---hash表
zion--6135的博客
08-13 956
/在hash表ht中，通过key得到value的指针。给定表M，存在函数f(key)，对任意给定的关键字值key，代入函数后若能得到包含该关键字的记录在表中的地址，则称表M为。//创建一个hash表。
HashMap和Iterator迭代器的小用法
飞奔的菜猪的博客
03-15 5662
1.先贴出求解任意输入的一字符串中各字符的个数Scanner scan = new Scanner(System.in); String inputStr = scan.nextLine(); char[] inputArr = inputStr.toCharArray(); Map&lt;Character, Integer&gt; map = new HashMap&lt;&gt;(); fo...
rte_hash_del_key_XXX
最新发布
07-23
关于`rte_hash_del_key_XXX`这个函数的具体信息似乎没有直接给出，但通常来说，在软件开发中，`rte_hash_del_key`可能是一个用于删除特定键（key）的函数，特别是在使用诸如RTE Hash（实时寻址表哈希）这样的内存管理工具时。这种操作常用于无服务器架构或者网络设备的数据包处理中。 假设你正在使用的是一些基于实时寻址技术（如DPDK）的库，它可能有一个API来维护一个键值对的哈希表。`rte_hash_del_key_XXX`可能是这样一种函数： ```c /** * rte_hash_del_key - Delete a key from the hash table * @hash: Pointer to the hash structure * @key: The key to be deleted * * Deletes a key from the specified hash table. This function is usually * called internally by other hash operations such as rte_hash_lookup. */ void rte_hash_del_key(struct rte_hash *hash, const void *key); ``` 在这个函数中，`hash`参数指向要操作的哈希结构体，而`key`则是你想从哈希表中移除的键。实际的实现可能会根据所使用的库有所不同。 如果你想知道这个函数在某个具体环境下的用法，比如它的返回值、错误处理或者其他特殊情况，你可能需要查阅相关的文档或者源代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值