![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据库
文章平均质量分 81
郑泽洲
IT Veteran
展开
-
Morgan Stanley面经
2019年至2021年期间,我在上海eBay工作,周围不少同事都是从摩根斯坦利过来的,总体上看很优秀。加上在极客时间的课程讲师里,就有原来从摩根斯坦利出来的,于是对这个公司产生了浓厚的兴趣,再加上当时我觉得和我金融老本行比较对口,于是找各种渠道内推。原创 2022-11-05 21:15:13 · 1327 阅读 · 0 评论 -
金融应用如何解决金额精度问题(以Quorum、golang为例)
金额精度问题是每一位金融系统开发者要面临的问题,从笔者入行开始,从银行系统,互联网支付公司系统,一直到区块链金融应用,这个问题无处不在。针对此典型问题典型解法如下。原创 2022-06-10 19:03:52 · 3730 阅读 · 1 评论 -
TiDB存储层和计算层的原理
缘起我是10多年的IT老兵了,之前在一家国家银行,接触的都是单机版的数据库,比如Oracle和Mysql。后来出来互联网闯荡后,接触分布式数据库的机会多了起来,比如网易的DDB,在eBay和Shopee也用TiDB。“时代洪流,浩浩荡荡”。分布式数据是这个技术时代的特征,适应了数据规模的增长,灾备的加强,和公司业务版图的全球扩展。典型的单机数据库和分布式数据库的区别,我觉得有个形象的比喻是**“灵魂和肉体的分离”**,传统的单机数据库,数据存储在本地磁盘,计算也在本地进行。但是分布式数据库,比如TiD原创 2022-02-18 23:41:51 · 1125 阅读 · 0 评论 -
花旗银行面经
花旗银行 上海 面经原创 2021-12-24 19:32:49 · 2239 阅读 · 1 评论 -
命令行模式运行JMeter最简单教程
JMeter测试神器JMeter JMXMon插件监控JVM.mdJMeter是性能测试的常用工具,从我在上上上家公司就开始用了,后来在网易测试互联网应用时也用过,它可以模拟大规模的用户访问,并定义具体的用户访问动作。作为性能测试工具(或者说是平台),最重要的是形成生态,整合多种多样的工具,方便地调用,形成测试案例整体。最近在Shopee工作,正好要做性能测试,于是JMeter又用起来了,并且为了更真实地反映测试情况,还需要通过命令行方式进行测试,防止GUI部分占用额外资源影响测试结果。问题如果原创 2021-07-04 14:39:48 · 934 阅读 · 0 评论 -
Ubuntu挂载NFS访问NAS最简明教程
引言家里有台无风扇小台式机,放卧室里很合适没有噪音,性能也还好,唯一美中不足的是只能挂个小固态硬盘,软件和资料一多,装不下!家里同时也有台威联通的NAS机,容量极大,于是就想着能否将NAS的硬盘通过NFS挂到台式机上,从此磁盘容量不是问题了。ubuntu18.04直接开机挂载nfs非常方便,挂载之前,先用如下脚本测试一下最佳的挂载参数EXPORT="192.168.1...原创 2018-05-30 15:23:24 · 10501 阅读 · 0 评论 -
tar用于本机SSD盘的备份【简单包会】
tar用于本机SSD盘的备份 9月19日周二的时候,机器强制重启,资料没有了 为了解决这个问题,需要定期用tar来备份资料家中实验:周二晚上备份了家中全机,40G,空间不够无法解压周三晚上改进,只备份home目录,大小8G,速度可控工作机实验:1.压缩前清理 apt autoremove2.只压缩home目录,备份文件大小控制在8G,时间控制在十分钟3.不需要使用root用户,原创 2017-09-21 11:24:45 · 300 阅读 · 0 评论 -
通过Redash可视化方式监控大数据系统运行
背景Redash是款优秀的大数据可视化开源工具。在我eBay工作的第二年里面,这个Redash是重心的重心。Redash的代码分为两部分:前端和后端。后端的本领之一是“七十二变”,能够将各种数据源整合进来;前端的本领是各种精美的控件,搭配后端数据源,能将枯燥的大数据分析后以图形方式展示。都说数据是21世纪的财富,我觉得光数据本身不能算财富,数据被智慧体分析后产生的洞察insight才是财富。就拿这套系统来说,运营通过可视化,获得更好的洞察,并以洞察来调整资源的运用(在MarkingTech里面主原创 2021-09-11 17:51:50 · 643 阅读 · 0 评论 -
B+树在mysql索引中的应用
知识准备干货:mysql索引的数据结构了解了B树和B+树的区别后,下面给出2张直观的图示来对比。B树B+树uuid之坑(为什么不建议用uuid为主键)了解不同存储引擎的索引实现方式对于正确使用和优化索引都非常有帮助,例如知道了InnoDB的索引实现后,就很容易明白为什么不建议使用过长的字段,比如uuid作为主键理由因为所有辅助索引都引用主索引,过长的主索引会令辅助索引变得过大。再例如,用非单调的字段作为主键在InnoDB中不是个好主意,因为InnoDB数据文件本身是一颗B+Tree原创 2021-05-31 21:12:00 · 247 阅读 · 2 评论 -
用ripple汇款业务的技术研究
ripple前阵子拿到了数以亿计的C轮融资,据说是目前区块链公司中融资成绩最好的。所以当时对其进行了研究,如下是研究的记录和思考:首先,ripple这个领域确实是区块链可能取得突破的领域。一,为啥搞死swift是ripple的一个很好的选择区块链主攻:1/互联网前就存在2/互联网后没有被取代3/服务差价格死贵最好是对时效要求高的,跨地域的,这样才能发货价值网...原创 2017-07-06 08:06:54 · 3669 阅读 · 2 评论 -
MySQL中binlog和redo log的一致性问题详解
背景网易工作期间,因为应用开发和性能测试的原因,对数据库写入比较关注(网易的DDB数据库也是基于Mysql的)。也读了一些技术文章,比如如下。binlog和redo log的一致性问题是理解二阶段提交特性的一个关键。记录在此。https://blog.csdn.net/huangjw_806/article/details/100927097《MySQL技术内幕 InnoDB存储引擎》----姜承尧 Netease Inc.在事务提交时利用两阶段提交(内部XA的两阶段提交)很好地解决了上面提到的b原创 2020-05-11 22:40:27 · 1593 阅读 · 2 评论 -
Mysql主从同步原理和配置
参考 Mysql主从同步操作实践背景组里针对Mysql和MongoDB要搭建主从,提升生产应用的稳定性,同时尽量不影响性能。mysql主从的原理可以搜索下很多介绍,配置策略同 《MongoDB高可用主从配置.md 》采用eBay公司的“两地三中心”热备策略注:在完成主从配置后,若要添加应用库,参考简明指南:https://forums.mysql.com/read.php?26...原创 2019-09-13 13:51:26 · 353 阅读 · 0 评论 -
网易圈圈应用内置交易所方案.md
注:这个是在网易工作期间写的一个项目方案,非最终方案,所以应该不会过多涉及生产实际,仅供探讨分布式架构的实现。前言百万并发的业务需求显然是需要分布式系统才能完成的任务,用单个数据库完成会存在单点和扩展性问题如果用分库分表方案,复杂度也很高,单个节点损坏同样影响整个系统,参考如下文章:单节点10万+,需要分库分表分层情况(总体)任务生成实时交易:实时交易由应用层生成通过负载均衡...原创 2019-08-02 21:54:00 · 229 阅读 · 0 评论 -
Sql的join和where的区别
知乎:sql连接查询中on筛选与where筛选的区别join动作步骤笛卡尔积(是逻辑步骤还是真实步骤?如果是真实步骤实在太占内存)应用on筛选条件,注意 left join 不影响左边的基表,只影响右边的外表添加外部行,left join后行数应该和基表的行数相等,在第二步没有关联起来的,右边加上null应用where筛选条件例子表main表extse...原创 2019-06-19 18:30:52 · 7336 阅读 · 0 评论 -
SSDB(redis+leveldb)提升记录插入性能
缘起问题:XX市场的性能要求XX应用:假设千万日活,那么用户社交贡献奖励:每天转账1000w次,假设tps=10000,那么:需要1000w/10000=1000秒=17分钟自然时间挖矿奖励:每2小时转账600w次(打6折),假设tps=10000,那么:需要600w/10000=600秒=10分钟XX号:假设千万日活,10%的人玩内容投资,每人每天平均投资5次,...原创 2018-09-02 14:20:12 · 3274 阅读 · 2 评论 -
mysql的InnoDB和Myisam引擎
InnoDB有事务,适合频繁修改数据的OLTP;Myisam是无事务,适合读取那么主库InnoDB,备库Myisam呢?可以的,有人在做了 slave机器的可以节省一半以上的空间slave备份更快.读性能更高其他略具体操作如下设置主库默认引擎为innodb,备库默认引擎为Myisam,并且备库不能支持innodb引擎/etc/my.cnf中注释掉和In...原创 2018-08-15 19:32:27 · 213 阅读 · 1 评论 -
mysql配置文件详细分析
不同配置文件的作用mysql官方的docker配置说明 v2ex上关于mysql加载配置文件的一个坑docker ps -a //查看mysql运行的容器实例docker exec -it 4585fd6b4904 bashwhereis mysql ; which mysql ; /usr/bin/mysql --verbose --help |grep -A 1 '...原创 2018-08-15 19:31:11 · 370 阅读 · 2 评论 -
网易转账接口:mysql批量插入性能优化
转账接口(特别是批量转账接口)性能差怎么办?背景:转账接口性能差,但是这是核心接口,TPS上要求高。怎么优化? 经过实战,效果最明显的优化是一条insert语句多个values值,单机TPS从300涨到1000多。参考:mysql批量插入性能优化多表值Sql提升性能,形象地说叫一目十行(假设总共100条测试记录) + 一条数据一个insert语句,一共100条insert语...原创 2018-08-15 19:24:44 · 982 阅读 · 0 评论 -
mysql五种事务级别和脏读、不可重复读、幻读
Springboot 事务级别1.default,就是数据库设置成什么就是什么,mysql我本机的设置成42.read_uncommitted,会出现脏读3.read_committed, 防止脏读用这个肯定不会脏读,写之后都是读新,写失败肯定读旧4.repeatable_read 防止不可重复读,不仅本事务,还要考虑其他事务对这行记录的影响5.serialization_read ...原创 2018-08-15 19:19:48 · 1289 阅读 · 0 评论