[NewLife.XCode]实体队列（多线程生产的大数据集中保存）

最新推荐文章于 2024-04-21 10:10:04 发布

[虚幻私塾】

最新推荐文章于 2024-04-21 10:10:04 发布

阅读量2.6k

点赞数 5

分类专栏： python 文章标签： xcode big data macos 计算机

本文链接：https://blog.csdn.net/m0_56069948/article/details/122505608

版权

本文介绍了NewLife.XCode的实体队列（EntityDeferredQueue）技术，它是延迟队列（DeferredQueue）的扩展，用于在多线程环境中高效处理大数据。通过批量操作提升吞吐量，减少数据库写入次数，尤其适用于物联网数据采集和日志埋点等场景。文中还探讨了实体队列的使用方法和关键属性，以及如何在内存中进行数据累加和批量保存，以实现大数据实时分析的高性能。

摘要由CSDN通过智能技术生成

Python微信订餐小程序课程视频

https://edu.csdn.net/course/detail/36074

Python实战量化交易理财系统

https://edu.csdn.net/course/detail/35475阅读目录

NewLife.XCode是一个有15年历史的开源数据中间件，支持netcore/net45/net40，由新生命团队(2002~2020)开发完成并维护至今，以下简称XCode。

整个系列教程会大量结合示例代码和运行日志来进行深入分析，蕴含多年开发经验于其中，代表作有百亿级大数据实时计算项目。

开源地址：https://github.com/NewLifeX/X（求star, 1067+）

在大数据分析处理中，需要对海量数据进行添删改操作，常规单行操作难以满足要求，批量操作势在必行！

飞仙（http://feixian.newlifex.com/）有收藏各种数据库批量插入数据的性能排行榜，其中MySql冠军是60万tps，SQLite冠军是56.6万tps！

然而很多时候，数据来自多个渠道（多线程、多网络连接），单个渠道数据量不大，甚至只有一行，就难以使用批量添删改操作了。例如物联网数据采集、埋点日志等，在多线程上有大量数据需要写入。因此，XCode创造性设计了实体队列技术！

！！阅读本文之前，建议阅读：https://www.yuque.com/smartstone/xcode/batch

回到目录# 什么是实体队列

要说实体队列EntityDeferredQueue，就不得不提它的基类延迟队列DeferredQueue。

延迟队列DeferredQueue的核心思想就是“凑批”，把要处理的零散数据放入一个“队列”，然后定时集中处理。

例如物联网采集服务端从多个连接收到数据，需要写入数据库，为了提升吞吐，可以把实体数据放入延迟队列，然后定时的落库，此时，延迟队列得到一批数据，可以使用批量插入技术。

实际上DeferredQueue内部并不是一个队列，而是一个并发字典，因为有些业务场景，需要在“入队列”时去重，例如统计数据，需要拿出某省份的统计数据，多次累加后集中保存。

private static readonly DeferredQueue _statCache = new EntityDeferredQueue { Name = "Gun", Action = EntityActions.Save };
private static void SaveStat(DateTime date, Int32 provinceID, String kind, ScanKinds scanKind, String code)
{
    var key = $"{date:yyMMdd}\_{provinceID}\_{kind}";
    var stat = _statCache.GetOrAdd(key, k => GunProvinceStat.FindByKey(k, true) ?? new GunProvinceStat());

    stat.StatDate = date;
    stat.Kind = kind;
    stat.ProvinceID = provinceID;