dpdk hash 接口使用

已于 2023-12-06 10:13:54 修改
阅读量135 收藏
点赞数
分类专栏： dpdk 文章标签： 哈希算法 算法 c语言 学习
于 2023-09-30 10:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45081353/article/details/132900324
版权

1 某xx示例代码 dpdk 18.02


/* 使用dpdk hash 接口 */
#if 1
#include <arpa/inet.h>
#include <rte_common.h>
#include <rte_memory.h>
#include <rte_rwlock.h>
#include <rte_hash.h>
#include <rte_jhash.h>
#include <rte_mempool.h>

#define ALARM_SUPPRESS_ENTRY_CNT 4096    /* 支持4096个抑制节点 */
#define ALARM_SUPPRESS_INTERVAL  60  /* 60秒只需要同一对象告警1次 */
#define ALARM_SUPPRESS_NODE_OT   60  /* 告警抑制节点的超时时间为60秒 */

/* 告警抑制节点数据 */
typedef struct alarm_suppress_data
{
    uint64_t last_export_ts_sec;    /* 告警最后上报时间 */
    uint64_t last_update_ts_sec;    /* 节点最后更新时间 */
}ALARM_SUPPRESS_DATA_T;

/* 告警抑制节点key */
typedef struct alarm_suppress_key
{
    /* key */
    struct in_addr  address_un_ip4; /* 告警对象的ip */
    uint32_t sid;   /* 告警命中的规则id */
}ALARM_SUPPRESS_KEY_T;

/* 告警抑制表 */
typedef struct alarm_suppress_tbl
{
    rte_rwlock_t rwlock;    /* 表锁 */
    struct rte_hash *suppress_hash; /* 抑制表 */
    struct rte_mempool *mp; /* data的缓存池:SP|SC */
}ALARM_SUPPRESS_TBL_T;

static ALARM_SUPPRESS_TBL_T g_alarm_suppress_tbl = {0};

/*****************************************************
函数名: cleanup_alarm_suppress_tbl
功能    : 删除超时的告警抑制节点
入参    : now_sec - 调用时间:秒
出参    : 无
返回值: 无
作者    : 
时间    : 2023-08-08
说明    : 非线程安全
******************************************************/
static inline int cleanup_alarm_suppress_tbl(uint64_t now_sec)
{
    struct rte_hash *tbl = g_alarm_suppress_tbl.suppress_hash;
    struct rte_mempool *mp = g_alarm_suppress_tbl.mp;
    ALARM_SUPPRESS_KEY_T *key;
    ALARM_SUPPRESS_DATA_T *data;
    uint32_t next = 0;

    /* 遍历告警抑制表 */
    while ( rte_hash_iterate(tbl, (const void**)&key, (void**)&data, &next) >= 0 ) {
        /* 超时删除 */
        if ( data->last_update_ts_sec + ALARM_SUPPRESS_NODE_OT < now_sec ) {
            rte_mempool_put(mp, data);
            rte_hash_del_key(tbl, key);
        }
    }
        
}

/*****************************************************
函数名  : alarm_suppress_now
功能    : 告警是否抑制
入参    : ipv4    - 告警对象的ip地址(ipv4)
        sid     - 告警对应的命中规则id
        now_sec - 告警时间:秒
出参    : 无
返回值: 不抑制返回0，抑制返回1
作者    : 
时间    : 2023-08-08
说明    : 1.暂只支持ipv4
        2.有锁，确保多线程安全
******************************************************/
int alarm_suppress_now(struct in_addr *ipv4, uint32_t sid, uint64_t now_sec)
{
    int ret;
    struct rte_hash *tbl = g_alarm_suppress_tbl.suppress_hash;
    struct rte_mempool *mp = g_alarm_suppress_tbl.mp;
    ALARM_SUPPRESS_KEY_T key;
    ALARM_SUPPRESS_DATA_T *data;
    ALARM_SUPPRESS_DATA_T *add_data;

    if ( unlikely(NULL == ipv4 
      || 0 == now_sec) )
        return 1;

    memcpy(&key.address_un_ip4, ipv4, sizeof(struct in_addr));
    key.sid = sid;
    
    rte_rwlock_write_lock(&g_alarm_suppress_tbl.rwlock);
    ret = rte_hash_lookup_data(tbl, &key, (void**)&data);
    /* 查询失败：不抑制，添加节点 */
    if ( ret < 0 ) {

        /* 获取新节点:失败则不抑制并清理超时节点 */
        ret = rte_mempool_get(mp, (void**)&add_data);
        if ( 0 != ret ) {
            printf("[0]add %u failed and alarm continue yes at ts:%lu\n", 
                key.address_un_ip4.s_addr,
                now_sec);
            cleanup_alarm_suppress_tbl(now_sec);
            rte_rwlock_write_unlock(&g_alarm_suppress_tbl.rwlock);
            return 0;
        }
        /* 填充新节点并加入抑制表 */
        add_data->last_export_ts_sec = now_sec;
        add_data->last_update_ts_sec = now_sec;
        rte_hash_add_key_data(tbl, &key, add_data);
        printf("[1]add %u ok and alarm up at ts:%lu\n", 
            key.address_un_ip4.s_addr,
            now_sec);
        rte_rwlock_write_unlock(&g_alarm_suppress_tbl.rwlock);
        return 0;
    }
    /* 查询成功+非抑制时效：不抑制，更新节点 */
    else if ( data->last_export_ts_sec + ALARM_SUPPRESS_INTERVAL < now_sec ) {
        data->last_update_ts_sec = now_sec;
        data->last_export_ts_sec = now_sec;
        rte_rwlock_write_unlock(&g_alarm_suppress_tbl.rwlock);
        printf("[3]another 60 sec, alarm %u up again at ts:%lu\n", 
            key.address_un_ip4.s_addr,
            now_sec);
        return 0;
    }
    /* 查询成功+抑制时效：抑制，更新节点 */
    else {
        data->last_update_ts_sec = now_sec;
        rte_rwlock_write_unlock(&g_alarm_suppress_tbl.rwlock);
        printf("[2]during 60 sec, alarm %u no at ts:%lu\n", 
            key.address_un_ip4.s_addr,
            now_sec);
        return 1;
    }
    
}

/*****************************************************
函数名: create_alarm_suppress_tbl
功能    : 创建告警抑制哈希表
入参    : 无
出参    : 无
返回值: 成功返回0，否则返回-1
作者    : 
时间    : 2023-08-08
说明    : 1.抑制表与缓存池，大小一样
******************************************************/
int create_alarm_suppress_tbl(void)
{
    struct rte_hash_parameters params = {0};

    /* 设置抑制表参数 */
    params.name               = "alarm_suppress_tbl";
    params.entries            = 8;
    params.reserved           = 0;
    params.key_len            = sizeof(ALARM_SUPPRESS_KEY_T);
    params.hash_func          = rte_jhash;
    params.hash_func_init_val = 0;
    params.socket_id          = SOCKET_ID_ANY;

    /* 初始锁/抑制表/缓存池 */
    rte_rwlock_init(&g_alarm_suppress_tbl.rwlock);
    g_alarm_suppress_tbl.suppress_hash = rte_hash_create(&params);
    if ( NULL == g_alarm_suppress_tbl.suppress_hash ) {
        return -1;
    }
    g_alarm_suppress_tbl.mp = rte_mempool_create("alarm_suppress_mp",
                                8,
                                sizeof(ALARM_SUPPRESS_DATA_T),
                                0, 0,
                                NULL, NULL, NULL, NULL,
                                SOCKET_ID_ANY, MEMPOOL_F_SP_PUT|MEMPOOL_F_SC_GET);
    if ( NULL == g_alarm_suppress_tbl.mp ) {
        return -1;
    }
    
    return 0;
}

#endif

2 说明 dpdk 18.02

  • rte_hash_add_key_data() ：添加
    • 将 key-data 对存入hash表
    • key 拷贝复制：局部变量–>拷贝存入hash
    • data 仅存储指针：申请的空间–>放到hash
      • 最好来自mempool；
      • 在rte_hash_iterate && rte_del_key 时，手动释放data，避免空间满
    • 返回值：小于0，添加失败
  • rte_hash_lookup_data()：查询
    • 返回值：小于0，查找失败
    • 查到的data，就是存储的指针
      • 最好来自mempool
      • 这样保证能访问的之前存储的数据
      • 这里存储指针，提供自定义的可能，具有通用性
  • rte_hash_iterate(): 遍历
    • 返回值：大于等于0，当前节点可用；小于0，遍历结束
    • 能配合while 进行hash表的遍历
    • 可用于超时删除、打印表等

3 参考资料

weixin_45081353
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
基于 DPDK 的共享哈希表实现
JwLee的专栏
07-19 6907
DPDK 自身有一套哈希表的实现，在 rte_hash.h 和 rte_hash.c 中。但是由于DPDK 基于 C 语言实现，因此不具备 C++ 模板和类的强大特性。在 C 语言实现的 rte_hash 中，rte_hash 结构体中用指针的形式存储了哈希函数，如果将 rte_hash 放在共享内存中，由于指针无法共享，用户需要自行计算哈希值，然后调用其他的接口将元素插入到哈希表中。总之，rte
网卡多队列技术与RSS功能介绍
baidu_24553027的专栏
02-08 2万+
多队列网卡是一种技术，最初是用来解决网络IO QoS （quality of service）问题的，后来随着网络IO的带宽的不断提升，单核CPU不能完全处满足网卡的需求，通过多队列网卡驱动的支持，将各个队列通过中断绑定到不同的核上，以满足网卡的需求。 常见的有Intel的82575、82576，Boardcom的57711等，下面以公司的服务器使用较多的Intel 82575网卡为例，分析一下
RTE_HASH dpdk 使用
phone1126的专栏
03-06 557
RTE_HASH dpdk 使用
DPDK_Hash（1）
技术鱼的博客
12-05 736
DPDK提供的Hash 的原理
DPDK rte_hash 简述
weixin_30802171的博客
08-10 1838
rte_hash 创建表 rte_hash_parameters 结构体 struct rte_hash_parameters { const char *name; /**< Name of the hash. */ uint32_t entries; /**< Total hash table entries. */ uint32...
DPDK——哈希库使用
hjlogzw的博客
05-08 1973
学习下DPDK的哈希库使用，测试200万数据的存储和查找，使用key长为15字节。
DPDK-Hash(2)
技术鱼的博客
12-06 567
此系列主要是dpdk 提供的Hash libary
分布式哈希表Distributed Hash Table
huobengle
04-13 137
Consistent Hashing
dpdk关键技术整理，一共160页
最新发布
05-30
- **功能**: 提供DPDK应用程序与内核协议栈通信的方法，类似于TUN/TAP接口，但效率更高。 - **特点**: 每个物理网口可虚拟出多个KNI接口。 #### 四、基础知识 ##### 4.1 CPU - **概念**: 中央处理器是计算机的...
dpdk记录文档
01-29
- EAL为DPDK的其他组件以及应用程序提供了统一的接口，主要功能包括：初始化DPDK、多核/多线程支持、CPU亲和性处理、原子操作和锁操作接口、时钟参考、PCI总线访问接口、跟踪和调试接口等。 2. **堆内存管理组件...
dpdk 2.1 api 参考手册
11-25
doxygen生成的参考手册看不懂，api还是更习惯pdf或chm，可以全文检索
dpdk 内容简介（dpdk_engineer_manual）
02-12
6. **Libraries和API**：DPDK提供了丰富的库和API，如librte_hash用于哈希表操作，librte_timer用于定时器管理，librte_ethdev用于与网络接口交互等。理解这些库的功能和使用方法是开发DPDK应用程序的基础。 7. **...
dpdk学习资料-经典
05-06
这部分内容介绍了如何使用DPDK提供的工具进行mbuf的调试，帮助开发者更快地定位问题。 **7.9 使用案例** 这部分内容通过具体的实例展示了DPDK mbuf库的应用场景，帮助读者更好地理解其在实际项目中的作用。 #### ...
DPDK API 2.1 CHM Help
04-06
DPDK API 2.1 CHM Help 提供了DPDK开发所需的详细文档，帮助开发者理解和使用DPDK接口进行网络编程。CHM（Compiled Help Manual）是一种常见的Windows帮助文件格式，它将HTML页面编译成单个文件，方便离线查阅。 ...
【DPDK】dpdk样例源码解析之四：dpdk-ip_reassembly
LFTF的博客
08-18 1903
dpdk IP重组
大数据开发(19)-hash table详解
weixin_61006262的博客
10-30 103
需要注意的是，由于每个Map任务都有自己的哈希表，因此Map任务的堆内存大小对于整个MapReduce作业的性能和资源消耗有很大的影响。因此，在配置Map任务的堆内存时需要谨慎考虑，确保足够的内存资源来处理数据和维持哈希表的操作。在MapReduce框架中，每个Map任务都是独立的，它们分别处理输入数据集的不同部分。这个哈希表是在内存中维护的，它的最大大小取决于Map任务的堆内存大小。在Map-side聚合中，每个Map任务（mapper）都会维护一个独立的哈希表（hash table）。
哈希表之bkdrhash算法解析及扩展
热门推荐
wanglx2012的专栏
10-24 3万+
BKDRHASH是一种字符哈希算法,像BKDRHash，APHash，DJBHash，JSHash，RSHash，SDBMHash，PJWHash，ELFHash等等,这些都是比较经典的，通过http://blog.csdn.net/wanglx_/article/details/40300363（字符串哈希函数）这篇文章，我们可知道，BKDRHash是比较好的一个获取哈...
rte_hash_iterate函数用于遍历一个哈希表中的所有元素
01-29 419
其中，参数h是要遍历的哈希表，参数key和data分别是指向当前节点的键和值的指针，参数next是一个指向下一个节点的位置的指针。函数返回0表示成功遍历了一个节点，返回负数表示已经遍历完了整个哈希表。在该例子中，我们使用了rte_hash_create函数创建了一个哈希表并添加了两个元素。然后，我们使用rte_hash_iterate函数遍历了整个哈希表，并打印了每个节点的键、值和端口号。rte_hash_iterate函数用于遍历一个哈希表中的所有元素。
DPDK新接口：加速交换机与包处理
本文档深入探讨了如何利用DPDK的新接口来提升交换机的性能和效率，尤其关注在虚拟化环境和VNF部署中的优势，以及Mellanox如何通过其技术栈来支持这一变革。这对于理解和实施高效的网络基础设施设计具有重要的参考...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值