分库分表
文章平均质量分 84
软件开发随心记
这个作者很懒,什么都没留下…
展开
-
ERP重构-SLA子分类账-分布式实现方案
SDK预留本地自定义来源,可以是http、rpc、本地实现各种方式。自定义来源作为一个动态参数,可以使用已有的标准入参,经过自定义逻辑转换得到一个新的自定义参数。原创 2023-07-03 00:06:27 · 718 阅读 · 0 评论 -
互联网行业ERP重构的心路历程
ERP重构,自研ERP,前途光明,道路曲折原创 2022-10-23 23:52:33 · 750 阅读 · 0 评论 -
系统可扩展性思考
系统扩展的错觉没有什么是加机器解决不了的,一台不行加两台。这是我们工作中经常调侃的一句话,当我们系统遇到性能瓶颈时,第一直觉就是加机器,但是在实际实践中,加机器能解决问题吗?我们一般说的加机器得到的性能提升称为横向扩展。横向扩展(scale up),也叫水平扩展,指用更多的节点支撑更大量的请求。如果1台机器能够支撑1万TPS,那么两台机器能否支撑2万TPS?横向扩展通常是为了提升吞吐量,响应时间一般要求不受吞吐量影响即可,无限提高吞吐量不能相应提升响应时间。与横向扩展对应的是垂直扩展,针对一原创 2021-10-10 11:10:02 · 1552 阅读 · 0 评论 -
对SAAS浅谈
一、什么是Saas? 从字面中理解SaaS的全称是Software as a service, 即软件即服务,即由传统的开发卖软件升级到开发软件卖服务。百度百科对SAAS的定义是:SAAS平台是运营saas软件的平台,SaaS提供商为企业搭建信息化所需要的所有网络基础设施及软件、硬件运作平台,并负责所有前期的实施、后期的维护等一系列服务,企业无需购买软硬件、建设机房等,租户开箱即用。SaaS 是一种软件布局模型,其应用专为交付而设计,便于用户通过互联网托管、部署及接入。 ToB Saas系统最近几年原创 2021-08-01 14:54:29 · 1651 阅读 · 0 评论 -
数据库分库分表策略,如何分库,如何分表?
导语:随着线下店业务发展,线下店开店数越来越多,价格系统的数据增长非常快速,部分单表已达到3亿之多,为了适应业务的发展,考虑对价格系统进行分库分表,因此特别了解了一下分库分表的相关知识,根据相关资料,简单做了一些总结。 大家知道,关系型数据库本身比较容易成为系统的瓶颈点,虽然读写分离能分散数据库的读写压力,但并没有分散存储压力,当数据量达到千万甚至上亿时,单台数据库服务器的存储能力会成为系统的瓶颈,主要体现在以下几个方面:数据量太大,读写的性能会下降,即使有索引,索引也会变得很大,性能同样会降下原创 2020-06-13 13:27:30 · 606 阅读 · 0 评论 -
如何快速实现分库分表
小明在外包公司负责一个项目一段时间了,这个项目还算不错,一段时间后就积累了一定的数据量。有一天领导找到小明说:“现在这个项目数据量上来了,单库逐渐有点抗不住了,现在客户砸钱了,要求提升性能,你尽最快的能力对我们这个项目进行分库分表吧。怎么实现我不管,要尽快上线”小明听到后有点蒙圈了,分库分表这事情我还没干过啊,听起来技术含量很高。小明只能回到座位后,使出程序员的杀手锏:百度,搜寻解决方案。这一...原创 2018-10-21 22:07:55 · 6660 阅读 · 0 评论 -
财务系统库存重构现有量方案追忆
背景:小陈在老王和龙哥的要求下,要重构一个旧的财务库存系统。那么第一件事就是了解财务库存系统干啥的。财务库存系统,系统主要职能在于处理上游wms(仓储系统-物理仓储)推送的库存指令,对应处理,生成财务库存数据,作为结算依据。(简单理解,对比物理仓储,增加了财务信息,如公司,税,供应商,po-采购批次,成本计算等)上下游:wms(物理仓储) -> inv(财务库存) -> ap(...原创 2018-12-02 22:48:29 · 352 阅读 · 0 评论 -
仅使用关系型数据库就解决海量查询的解决方案
一。当前所面临的问题随着互联网的发展,数据量越来越大,既使分库分表后,单表数据量上千万都是很正常,很多业务表在未归档前都是要到几十亿以上,多个这样的业务表存在,到TB级非常正常。但业务的变化也是很快,后面的业务可能就会将分库分表的核心字段丢弃,那就会面临着,没有分库分表字段的存在,却要在几十亿的分库分表中查找,这些查找往往不是分库分表字段,甚至索引列都不是。采用大数据或搜索引擎,甚至一些自己优...原创 2018-12-28 21:18:00 · 915 阅读 · 0 评论 -
使用MYSQL做为数据库项目中出现的异常: Communications link failure 二种场景的问题解析
在一次版本线上慢查询事件中,发现大量的Communications link failure 异常我将这种异常分为二类:1.低于120秒,莫名原因导致 mysql server端强杀2.超过120秒(公司设定mysql server端120秒强杀)项目采用的数据层分库分表的技术组件:当当网的ShardingJdbc问题场景复现及解决方案1.低于120秒,莫名原因导致 my...原创 2018-12-28 21:17:17 · 12075 阅读 · 0 评论