存储
软件开发随心记
这个作者很懒,什么都没留下…
展开
-
memcached使用那些事
背景介绍截至编写此文,A系统已经成功上线2年有多,作为国内主流电商公司核心的基础公共服务系统之一,每天承载了数十亿级别流量。自上线以来成功地经受住了双十一,周年店庆等大促的检验,为我司提供了高效稳定的接口服务。作为稳定服务体系的重要一环,缓存自然是重中之重,本文将对A系统中使用到的缓存组件spymemcached+memcached进行参数阐述,结合spymemcached源码,温故而知新,也...原创 2018-03-01 17:05:31 · 1838 阅读 · 0 评论 -
一个在关系型数据库中进行海量数据检索的调优案例
写在最前随着互联网日渐发展,开发人员需要处理的数据量愈来愈大,一些不起眼的小问题可能就会引发燎原之火,而其中一个例子就是海量数据的检索。由于历史原因及业务因素,某些数据我们不能转移到非关系型数据库如MongoDB上,这时我们就需要考虑如何在旧有的关系型数据库上进行快速检索。温故知新要调优关系型数据库上的检索性能,我们首先得了解,关系型数据库上检索的原理。执行计划我们...原创 2018-03-01 17:10:35 · 2820 阅读 · 0 评论 -
使用spark过程中遇到的技术问题及自身问题
最近的一个项目中使用了spark技术过程遇到的一些问题,下面就以问题来分析原因及解决过程。问题 1、创建sparkView没有加限制条件,导致创建几十上百万大数据量的view时,多库的情况下在driver创建了 大量的view,就把driver端的内存撑爆了,之前线上没有暴露出来的这个问题原因主要是每一个小时都会处理一次,每次数据量都不大,后面任务有停了几天,数据量突...原创 2018-03-01 17:13:23 · 2660 阅读 · 0 评论 -
电商财务结算系统重构实践
电商财务结算系统重构实践1.背景 1.1 业务背景 唯品会是全国第三大电商平台,连接全球几万家供应商,7x24为亿万会员提供优质的服务。唯品会的自营电商业务形态决定一方面要为广大的会员提供优质的产品服务,另外一方面又要为供应商提供优质,快捷,准确的仓储物流服务和财务服务。财务结算系统是电商后端业务中的核心功能,由它核算出在每一个结算周期内个供应商应该跟平台结算多少款项, 面对复杂的结算类型...原创 2018-03-30 17:43:59 · 13964 阅读 · 1 评论 -
初步认识Apache Ignite
什么是Apache Ignite? Ignite是一个以内存为中心的分布式数据库、缓存和处理平台,可以在PB级数据中,以内存级的速度进行事务性、分析性以及流式负载的处理。上述引用了Ignite的官方介绍,通俗来讲,Ignite就是一个内存数据库,它包括了很多特性,它既是一个分布式缓存,也是一个分布式数据库,同时也支持一定程度的ACID事务。关键字:固化内存、并置处理固化内存...原创 2018-09-09 23:12:34 · 7050 阅读 · 0 评论 -
日常工作中数据特征引发的慢查询
创建索引的目的是为了提升查询效率,但是创建了索引不等于查询效率提升。原创 2018-11-15 19:47:51 · 293 阅读 · 0 评论 -
Redis 单线程还是多线程?
Redis 单线程还是多线程前段时间无意间看到一篇博客,讲述了Redis6即将在年底发布的事情,好奇心驱动下搜索了官网,想看看新版Redis带来了什么新的功能,果然得到证实Redis在年底将发布新的版本:6.0,并且Redis创始人兼核心开发者 antirez 在博客也介绍了将在6.0所提供的新功能ACL用户权限控制功能RESP3:新的 Redis 通信协议Cluster 管理工具SSL...原创 2019-09-18 11:18:41 · 6028 阅读 · 4 评论