[NewLife.XCode]百亿级性能

最新推荐文章于 2024-09-09 15:53:31 发布
最新推荐文章于 2024-09-09 15:53:31 发布
阅读量484 收藏 1
点赞数

NewLife.XCode是一个有10多年历史的开源数据中间件，支持nfx/netcore，由新生命团队(2002~2019)开发完成并维护至今，以下简称XCode。

整个系列教程会大量结合示例代码和运行日志来进行深入分析，蕴含多年开发经验于其中，代表作有百亿级大数据实时计算项目。

开源地址：https://github.com/NewLifeX/X （求star, 795+）

 

回到目录

大数据投名状

先来看看“大数据演示平台”：http://bigdata.newlifex.com

SQLite单表4亿行订单数据，文件大小26.5G，阿里云1C1G的ECS服务器，由 NewLife.XCode + NewLife.Cube 驱动

640?wx_fmt=png

如上，在4亿行中查询第1000页，耗时16毫秒。

对于高手来说，这个算不得什么，只要注意好索引就行。

 

这个“演示平台”建立于两年前，给两家领先物流企业递交了简历，其中一家因SQLite拒绝了，另一家给了数据架构师！

 

现在，每天1亿个快递包裹在路上，产生大量扫描数据。单表数十亿数据很常见（Oracle按月分区），一款数据产品几亿明细数据比比皆是（MySql分表）。

 

回到目录

代码之巅、天外飞仙

再来看一下各种数据库的极致性能，飞仙平台 http://feixian.newlifex.com

640?wx_fmt=png

SQLite插入第一名 56万tps；

MySql插入第一名 60万tps；

SQLite查询（带缓存）1126万qps；

这是上百人用了各种机器（笔记本、台式机、服务器）调整参数进行大量测试后得到的性能排行榜！

所有测试，由 NewLife.XCode 支持！

 

实际应用中，即使能达到上述性能十分之一，亦能立于不败之地。有时候甚至还达不到百分之一。

尽管如此，极致性能的研究也给我们的应用方式以及数据库参数设置指明了方向！

 

回到目录

索引完备

使用关系型数据库来做大数据，第一步必然是索引！

单表超过1000万数据，任何查询都必须走索引！否则数据库一定跟你说ByeBye！

 

前面SQLite单表4亿数据，共有两个索引，自增ID作为主键，另外有订单号索引。 

大表索引不宜过多，务必以数据的主要使用方式来建立一两个即可，尽量不要超过三个，经索引过滤后的数据尽量控制住1万行以内。

 

常见大型表索引用法：

1，日志型

订单操作表、快递扫描表、传感数据表等超大日志型数据表，每日数千万到数亿行，只插入不修改，最重要的字段就是时间戳CreateTime，建立索引，同时可以按时间分区分表。

这种大表最常见用法就是根据时间戳去抽取来做业务处理，那就是鼎鼎大名的ETL。处理性能1000~10000tps

更高大上一点，就是抽取数据写入Kafka/RocketMQ，名正言顺进行大数据分析！处理性能10万tps

因工作需要，我们依据时间戳抽取了30天共100亿数据写入Redis，供100+应用进行实时数据分析。处理性能100万tps

抽取数据时以每批次抽取5000~20000行为宜，依次调整查询时间段，重量级蚂蚁调度系统（https://github.com/NewLifeX/AntJob）具备动态步进抽取能力，可自动调节最优抽取间隔。

总结起来一句话：按时间戳轮数据！

2，状态表

订单运单都是有状态数据，在整个生命周期中，状态会多次改变。许多业务往往要求两个或多个状态相匹配，那就要求有一张庞大的状态表。

状态表最合适的主键就是订单号，并且一般分表分库存储，常见分表公式 Crc16(code)%1024，分表数以单表不超过1000万为宜。

使用1024状态表的数据库一般是分布式玩法，比较合适分8库，每个库128表，很多应用服务器各司其职，大家共同操作一张表的几率大减。

3，统计分析表

统计表主键一般由统计日期和分类构成，为了方便可建立字符串ID主键，由 {date}_{cid} 组成，也可以对 date + cid 两个字段建立唯一联合索引。

之所以建立 {date}_{cid} 的ID主键，主要是为了方便写明细数据，无需等待统计表插入后（假如使用自增）才得到统计ID。

明细表一定必须根据统计ID来查，由统计ID跟其它主要业务字段构成主索引。

 

回到目录

合理查询

既然有了索引，那么大表的任意查询都必须命中索引（或者部分使用索引） 。

为了索引，为了降低数据库负担，有时候宁可多查一点，先把数据查出来，再在内存里面做二次处理！

大数据的瓶颈一定是数据库，应用服务器往往性能过剩！

因此，完全可以把一部分“计算”由数据库转移到应用服务器之中来进行处理。

 

大表少用join关联，宁可多次查询；

 

回到目录

字段精炼

常听到许多人说每天处理数据多少多少TB/PB，听起来数据分析还可以论斤称？挺尴尬的！

虽然数据库很容易遇到IO瓶颈，但很多人达不到那一步。

数据容量上的优化空间还是极大的。

大表字段精简原则：

  1.  能存ID就别存Name。经常见到用户、商家、地区等信息，又存ID又存Name，甚至还存一个Code。此时需要XCode的扩展属性

  2. 适当冗余。为了便于查询，可以适当冗余一些字段，但绝不能滥用。比如商家所在地区，如果查询用不到而只是分析时使用，就不需要保存商家ID以外还保存地区

  3. 只查询需要的字段。这一点跟XCode推崇 select * 并不相悖，绝大部分百万级以内小表可以这么干，但是千万亿万级大表则需按需查询了。

 

回到目录

充分利用缓存

 少用join关联，慎用字段冗余，即可大量发挥XCode的缓存优势。

10万乃至100万维表数据可尽量缓存起来，随时配合亿万级大表进行数据分析。

 

另一方面就是数据库缓存，需要DBA大力支持！

 

回到目录

系列教程

NewLife.XCode教程系列[2019版]

  1. 增删改查入门。快速展现用法，代码配置连接字符串

  2. 数据模型文件。建立表格字段和索引，名字以及数据类型规范，推荐字段（时间，用户，IP）

  3. 实体类详解。数据类业务类，泛型基类，接口

  4. 功能设置。连接字符串，调试开关，SQL日志，慢日志，参数化，执行超时。代码与配置文件设置，连接字符串局部设置

  5. 反向工程。自动建立数据库数据表

  6. 数据初始化。InitData写入初始化数据

  7. 高级增删改。重载拦截，自增字段，Valid验证，实体模型（时间，用户，IP）

  8. 脏数据。如何产生，怎么利用

  9. 增量累加。高并发统计

  10. 事务处理。单表和多表，不同连接，多种写法

  11. 扩展属性。多表关联，Map映射

  12. 高级查询。复杂条件，分页，自定义扩展FieldItem，查总记录数，查汇总统计

  13. 数据层缓存。Sql缓存，更新机制

  14. 实体缓存。全表整理缓存，更新机制

  15. 对象缓存。字典缓存，适用用户等数据较多场景。

  16. 百亿级性能。字段精炼，索引完备，合理查询，充分利用缓存

  17. 实体工厂。元数据，通用处理程序

  18. 角色权限。Membership

  19. 导入导出。Xml，Json，二进制，网络或文件

  20. 分表分库。常见拆分逻辑

  21. 高级统计。聚合统计，分组统计

  22. 批量写入。批量插入，批量Upsert，异步保存

  23. 实体队列。写入级缓存，提升性能。

  24. 备份同步。备份数据，恢复数据，同步数据

  25. 数据服务。提供RPC接口服务，远程执行查询，例如SQLite网络版

  26. 大数据分析。ETL抽取，调度计算处理，结果持久化

 

640?wx_fmt=jpeg


更新至Xcode 12后编译失败的解决办法
QianYiYu的博客
04-25 2797
问题 在更新到Xcode 12之后，使用模拟器编译时我得到了下面这条报错信息： Could not find module ‘XXX’ for target ‘arm64-apple-ios-simulator’; found: x86_64-apple-ios-simulator, x86_6 这条报错只有在使用模拟器时会出现，使用真机是可以正常编译运行的。 分析 根据报错信息可以看出，这是个关于模拟器编译支持架构的问题。这个字段的意思就是需要编译哪些架构，报错的意思是说某个库试图针对arm64架构编译
[NewLife.XCode]实体队列（多线程生产的大数据集中保存）
m0_56069948的博客
01-15 2650
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475阅读目录 什么是实体队列 如何使用实体队列提升吞吐 系列教程 NewLife.XCode是一个有15年历史的开源数据中间件，支持netcore/net45/net40，由新生命团队(2002~2020)开发完成并维护至今，以下简称XCode。 整个系列教程会大量结合示例代码和
[NewLife.XCode]实体类详解
weixin_30374009的博客
03-11 208
NewLife.XCode是一个有10多年历史的开源数据中间件，由新生命团队(2002~2019)开发完成并维护至今，以下简称XCode。 整个系列教程会大量结合示例代码和运行日志来进行深入分析，蕴含多年开发经验于其中。 开源地址：https://github.com/NewLifeX/X（求star, 620+） 生成实体类 上一章《数据模型》讲到模型文件Model.xml和脚...
[NewLife.XCode]分表分库（百亿级大数据存储）
weixin_30617737的博客
09-09 289
NewLife.XCode是一个有15年历史的开源数据中间件，支持netcore/net45/net40，由新生命团队(2002~2019)开发完成并维护至今，以下简称XCode。 整个系列教程会大量结合示例代码和运行日志来进行深入分析，蕴含多年开发经验于其中，代表作有百亿级大数据实时计算项目。 开源地址：https://github.com/NewLifeX/X（求star, 9...
使用VS 2013下载安装nuget市场的NewLife.rocketmq依赖包
hzf978742221的博客
09-09 339
安装完之后重启，打开vs2013，应该就能更改项目框架版本为4.7.2了，然后，卸载掉nuget工具，把NuGet.Tools.vsix文件拷贝到C:\Program Files (x86)\Microsoft Visual Studio 12.0\Common7\IDE这个目录下，然后在该目录下打开cmd，输入命令：VSIXInstaller.exe NuGet.Tools.vsix（这一步是将Nuget版本进行更新）接下来，说一下具体的步骤。
性能&分布式&NewLife.XCode对无限数据的支持
weixin_33754913的博客
03-21 81
    上周发布了《改进版CodeTimer及XCode性能测试》，展示了NewLife.XCode在性能上的表现。实际上NewLife.XCode是一个很平凡的ORM，只是在分页和缓存方面多下点功夫，注意每一个细节，才能保证在数据量大、业务繁忙的环境中得以保持良好的性能。     NewLife.XCode所经历过的比较忙的一个系统是一个网吧行业的核心系统，为五千家网吧，一百万客户端提供服务，...
Xcode 12打包framework 报错：have the same architectures (arm64) and can‘t be in the same fat output file
Rey的技术博客
01-05 2828
解决此问题的时候走了很多弯路，在这就不多说了。 解决方案： 在 Target->BuildSetting->Architectures->Excluded Architectures 中 点击箭头展开 点击右侧加号，添加Any iOS Simulator SDK 在Any iOS Simulator SDK 后面添加arm64 这样编译出来的包中就不会包含arm64了。 针对这个问题，详细说明一下： 正常我们打包framework都会需要支持i386、armv7、x86_64、arm
NewLife.XCode-oracle
最新发布
09-11
MySQLSQLiteSqlServerOraclePostgresqlTDengine oracle oracle oracle oracle oracle
基于NewLife.XCode开发的支持任意数据进行数据之间的迁移和同步工具-源码
10-02
《基于NewLife.XCode开发的数据迁移与同步工具详解》 在信息技术日新月异的今天，数据已经成为企业和个人的重要资产。高效、安全地管理和迁移数据是业务连续性和数据保护的关键。本文将深入探讨一个基于NewLife....
跨库数据迁移-基于NewLife.XCode开发的支持任意数据进行数据之间的迁移和同步工具源码+项目说明.7z
12-13
跨库数据迁移—基于NewLife.XCode开发的支持任意数据进行数据之间的迁移和同步工具源码+项目说明.7z 跨库数据迁移—基于NewLife.XCode开发的支持任意数据进行数据之间的迁移和同步工具源码+项目说明.7z 跨库数据迁移...
基于C#的NewLife.Redis高性能Redis协议封装设计源码
05-26
本项目是基于C#的NewLife.Redis高性能Redis协议封装设计源码，包含119个文件，其中包括95个C#源文件、6个csproj文件、3个YAML文件、2个PNG图片文件、2个pubxml文件、1个Editorconfig文件、1个gitignore文件、1个eddx...
iOS开发M1芯片遇到的问题
BX_Jobs的博客
11-18 6022
iOS开发M1芯片遇到的问题
ios xcode Architectures
12-22 1641
1、如果你此时准备在arm64模拟器上运行，这说明你的编译产物没有arm64指令集支持，检查中Excluded Architecture是否把 arm64 的支持去掉了。2、如果你并没有在arm64模拟器上运行，你只是在运行某些检测工具，这说明工具在帮你使用arm64模拟器环境测试你的代码。鉴于你不想在arm64模拟器上运行代码，你可以取消模拟器的arm64支持。
解决No architectures to compile for...
qq_42244731的博客
03-04 2564
1.No architectures to compile for (ONLY_ACTIVE_ARCH=YES, active arch=x86_64, VALID_ARCHS=arm64, EXCLUDED_ARCHS=( arm64)). Warning: The Copy Bundle Resources build phase contains this target’s Info.plist file ‘dfund-wallet/Target/renrenbit-inhouse/renrenbit
iOS pod install警告 [Debug]` target overrides the `EXCLUDED_ARCHS[sdk=iphonesimulator*]` build setting
u010609022的专栏
04-15 710
[Debug]` target overrides the `EXCLUDED_ARCHS[sdk=iphonesimulator*]` build setting defined in
Xcode项目参数设置—— Architectures
番薯大佬的专栏
07-24 1692
Architectures(指令集)——设置你想支持的指令集，目前ios的指令集有以下几种： （1）armv6,支持的机器iPhone,iPhone2,iPhone3G及对应的iTouch 2， （2）armv7,支持的机器iPhone4,iPhone4S （3）armv7s,支持的机器iPhone5,iPhone5C （4）arm64，支持的机器：iPhone5S 机器对指
MacBook Pro 2015 换代 2023 的坑
piggy514的博客
04-21 1292
那为啥最开始不这样做，因为我抱着一丝希望：感觉用迁移助理或时间机器导数据会很完整，应该类似Windows的克隆效果，希望所有的XCode配置都自动过去了，打开XCode不会报一堆错。迁移助理100多G数据，通过wifi，有时进度根本不动，于是过夜等一晚上，提示迁移成功，实际并没有，还有一段小字：部分文稿未迁移成功，这倒没什么，你倒是列一个清单啊，没有。于是找了块U盘用时间机器备份，备份倒是挺快，结果到了M2上，用迁移助理根本找不到这块盘（但启动迁移助理前，插上数据线，Mac OS还是认识这块U盘的）。
Xcode12 building for iOS Simulator, but linking in dylib built for iOS, file for architecture arm64
热门推荐
郭永明的技术专栏
03-10 1万+
今天将一个老项目由Xcode11升级到Xcode12的时候，在用模拟器编译的时候，报了一个错误，具体如下：“ld: building for iOS Simulator, but linking in dylib built for iOS, file '/Users/xxxx/Work/Git/xxx/Framework/GoogleCast/GoogleCast.framework/GoogleCast' for architecture arm64”
深入探索NewLife.XCode多数据库支持特性
资源摘要信息:"NewLife.XCode-oracle是一个针对Oracle数据库的开发框架，适用于多种数据库系统。它不仅支持Oracle，还包括MySQL、SQLite、SqlServer、Postgresql和TDengine等数据库系统。该框架的目的是为开发者提供...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值