- 博客(130)
- 收藏
- 关注
RSS订阅原创 银行核心业务学习随笔
会计相关操作的批量在总账系统，基于核算流水档生产会计分录，将分录数据更新/录入总账系统，生成对应的科目账，检查科目账平衡，生成总账相关报表，向外部系统供数、科目日结单、日计表。核心批量功能：统计分析、交易补记账功能（日终补记账、清算、平仓处理、内部户划转、年终决算）、批量业务处理（代收代付、个人贷款到期还款、信用卡自动还款、定期自动转存、基金定投和结息）、对外系统的数据供应。各种检查、修改转出账户、生产转出核算流水档、修改转入账户、生产转入核算流水档、交易明细。
2024-02-24 10:29:22
123
原创 证券核心系统学习
快速交易柜台主要是为程序化交易客户提供的快速交易通道，通常只提供基本的交易功能，力图实现低低延迟极速性能，因此主流快速交易柜台的股票现货交易和信用交易是分开的，因此需要分别进行接口开发。柜台系统最核心的是集中交易柜台。普通交易从进行委托开始，委托会先从投资者所在地到券商总部，再从券商总部到集中交易柜台，然后从集中交易柜台到交易所检查是否合规，如果判断合规，则从交易所传递信息返回集中交易柜台—券商总部，然后再下单，假设投资者在深圳，抛开审核时间，还要经历从深圳到券商总部，再到交易所的物理时间。
2023-10-29 16:53:39
221
原创 银行核心系统数据库适配改造可复制性浅析
业务改造部分可以沉淀的是方法论，以及对于技术平台的改造。技术平台的改造可以通过升级技术平台实现复用，但其他定开部分的改造代码基本无法复用到其他客户的核心改造，只能参考改造方案。这层是业务不相关的通用技术能力，该层除了可以给核心用，其他的业务系统也通常会基于这个统一的技术平台进行构建。数据库厂商与核心系统做的适配通常是基线版本，主要包括技术平台、和初版的基础功能与业务服务，而后在落地定开过程中再基于对应的国产数据库二次开发定开部分。所以可以看到，一个核心系统的落地过程其实是一个大量定开的过程。
2023-07-23 14:07:16
140
原创 向量数据库学习笔记
2. 为了避免聚类边界处的最相似向量漏掉（搜索条件与搜索结果落入2个相邻的聚类中），引入的Faiss算法，在K-means基础上设置nprobe，即搜索最相近的n个聚类。2） 针对高维向量的维度灾难，将高维向量拆分为多个低维子向量，每个子向量做聚类和码表，每个子向量分别搜索，最后将结果通过笛卡尔积组合还原回原始向量。1） 余弦相似度是指两个向量之间的夹角余弦值，对向量的长度不敏感，只关注向量的方向，因此适用于高维向量的相似性计算。1） 在向量入库的时候先找到它最相临的向量，将他们连接起来，构成图。
2023-07-23 13:48:10
124
原创 MySQL读写分离session_track_gtids解析
mysql读写分离实现可以基于wait_for_executed_gtid_set实现，而事务提交gtid的获取可依赖session_track_gtids实现。本文将简析session_track_gtids的运作机制。
2022-12-20 18:42:23
826
原创 转：用消息队列和消息应用状态表来…
本文转自：http://blog.csdn.net/it_man/article/details/21593187由于数据量的巨大，大部分Web应用都需要部署很多个数据库实例。这样，有些用户操作就可能需要去修改多个数据库实例中的数据。传统的解决方法是使用分布式事务保证数据的全局一致性，经典的方法是使用两阶段提交协议。长期以来，分布式事务提供的优雅的全局ACID保证麻醉了应用开发者的心灵
2015-01-18 20:20:01
580
原创 CentOS 6.5 升级 elrepo-kernel-lt
最近在研究ceph的安装，发现块设备的挂载需要内核支持rbd模块。但centos系列的内核默认是不带这个模块的，所以就需要升级内核，简单的办法就是使用elrepo的内核，该内核中包含了rbd模块。安装方式非常的简单，可以安装elrepo官网给的安装步骤：rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.orgrpm -Uv
2015-01-18 20:19:54
1036
原创 MySQL分布式集群连接池低潮抖动问…
最近在测试mysql集群自增插入性能问题时发现，对于短小事务（一个事务中只包含了一个单行插入），增加集群的分片不会导致集群整体插入TPS的提升。测试工具是sysbench，测试脚本是自行指定的lua脚本。function event(thread_id) db_query("begin;") db_query("INSERT INTO test.tt(TRAN_DATE,TRA
2015-01-18 20:19:51
1013
原创 在centos/redhat6.5上编译Mariadb…
Mariadb支持tokudb的引擎，但官方下载的binarytar包中只有带有glibc_214的才带有tokudb引擎。顾名思义，带有“glibc_214”的安装包只有在带有glibc2.14版本的操作系统上才可以安装使用，而centos/redhat6.5上默认的版本是glibc 2.12 。。。。tokudb官方的提供的mariadb/mysql版本可以直接在centos/r
2015-01-18 20:19:48
1184
原创 转：CentOS 6.4 编译安…
转自：http://www.verydemo.com/demo_c128_i146068.html今天在isocpp上看到“GCC 4.8.1 released, C++11 featurecomplete”这个消息，非常兴奋。终于有一个全面支持C++11语言特性的编译器了！当然了，gcc仅仅是语言特性上全面支持C++11，libstdc++貌似还没有完全跟上，不过我已经挺满足了，至少可以
2015-01-18 20:19:45
476
原创 MySQL 的 XA 模式下的主从复制问题
看mysql手册中关于 XA 模式下的行为描述时得知: master节点执行xa prepare之后如果mysql crash了，当mysql被恢复时可以通过命令xa recover 找到之前未完成提交的xa 事务，并且通过xacommit进行提交。但是这种情况下，mysql是不会对这个xa事务记录binlog日志的。之前看的时候还不是很明白为什么mysql要这么做，前几天测试mysq
2015-01-18 20:19:40
584
原创 mysql sysbench 测试
最近尝试对mariadb 10.0 进行sysbench 的OLTP 的 RW complex 测试，测试的机器配置如下：cpu : 80核内存 ： 64G硬盘 ： SAS RAID1测试工具：sysbench-0.4.12操作系统调优：echo deadline >/sys/block/sda/queue/schedulerulimit -n 10240数
2015-01-18 20:19:36
430
原创 FederatedX 下推语句调研
FederatedX 是mariadb 对原Federated引擎进行改进后的版本，主要区别如下：federated vs federatedxTransactions (beta feature)Supports partitions (alpha feature)New class structure which allows developers to write connec
2015-01-18 20:19:33
477
原创 innodb monitor output&…
最近客户那处理了一个case，case中客户现场的mysql经常长时间hold在那里。如下是客户现场的 INNODB MONITOR OUTPUT，我们来分析下：首先是InnoDB: Warning: a long semaphore wait:--Thread 139979394471680 has waited at log0log.ic line 320 for896.00 s
2015-01-18 20:19:30
1585
原创 如何在mysql中间件层实现客户端连…
很多情况下，mysql中间件程序会集成连接池功能，并且客户端的登录用户和实际操作后端数据库的用户为不同的用户。也就是说，中间件程序在客户端登录之前已经使用某个特定的用户名和密码建立了中间件到后端mysql的连接池；客户登入验证通过后就可以直接使用连接池中的连接。 这样设计的好处是可以多个用户共享一个连接池，即避免了每个客户重新创建连接的开销，也避免了为每个客户准备单独的连接池所带来的浪费。（
2015-01-18 20:19:27
855
原创 postgre-xc 初步调研
初步调研了下postgre-xc安装可以参考http://xmarker.blog.163.com/blog/static/2264840572013923552363/功能上：1. 支持数据表分片(默认使用第一列分片，默认创建的表就是分片表，也可以建成复制表)2. 支持跨节点join3. 支持数据备份与故障处理 (但故障处理时似乎不是自动切换的，但可以通过命令切换)4. 支持
2015-01-18 20:19:24
528
原创 本地复制一张innodb表的数据
需求为： 要对一张数据表进行大的动作，在这之前需要进行数据备份。常用的办法如 mysqldump ， select into outfile的备份效率都太低了。本文介绍一种较为高效的（直接使用文件拷贝）备份方法：假设原始数据表如下：mysql> CREATE TABLE t1 (a INT);mysql> INSERT INTO t1 VALUES (1),(2),(3);用
2015-01-18 20:19:21
486
原创 pgpool初步调研
pgpool是日本人基于postgresql弄的一个分布式数据库集群中间件，如下是一个初步调研结果：主要调研pgpool对分片表的处理。1. 在分片表模式下，pgpool对于数据的分布只有2中选择： 要么作为分片表，被拆分到集群中的每一台机器上； 要么作为复制表，在集群的每一台机器上保存一份完整的数据； 集群中的所有业务表，只能上上面2种模式之一，否则会出错；2. 被
2015-01-18 20:19:18
941
原创 Heat 模板 搭建集群初探
最近公司要求用heat模板在openstack集群上部署公司的分布式数据库GOS产品，简单研究了下，记录之：在这次使用中heat最主要的功能就是在openstack上搭建起GOS集群所需的虚拟机以及存储，然后调用GOS的安装脚本安装GOS。如下是写好的heat脚本，边贴边说明：首先是模板版本，主要注意的是heat模板支持3种书写格式（hot，yaml，json），但不能混用，本文以h
2015-01-18 20:19:15
937
原创 galera集群初探
最近公司要求做galera的调研，研究后做了点总结，记录之：主节点与备主节点间使用Galera进行同步复制。Galera是MySQLinnodb引擎的同步复制技术。它以插件的形式与innodb引擎直接交互。它确保集群中任何一个提交成功的事务都已经应用到了集群中所有的节点。为了确保复制的同步，Galera使用基于“Groupcommunication”的“Certification b
2015-01-18 20:19:12
2069
原创 配置 KVM 的桥接
使用如下命令 创建 桥接需要 的 桥：[root@s14 ~]# brctl addbr br0[root@s14 ~]# brctl addif br0 em2[root@s14 ~]# ifconfig up br0[root@s14 ~]# ifconfig br0 up如果主机环境中没有dhcp使用如下3条命令[root@s14 ~]# ifconfig em2 0.0
2015-01-18 20:19:09
445
原创 Linux glibc 的 ma…
最近使用ACE的Message_Block时发现，程序运行一段时间之后内存越吃越多，即便没有请求，内存也不会下降。在使用 valgrind 排除内存泄漏之后，把怀疑的对象转到了Message_Block上。用ACE的测试用例改了一个测试程序：#include "ace/Log_Msg.h"#include "ace/Message_Block.h"#include#include
2015-01-18 20:19:06
464
原创 网络丢包问题处理
最近测试过程中发现数据库中间件程序会出现网络丢包。具体测试工具为mysqlslap。发现执行过程中当并发数达到一定程度时，有一定概率会出现mysqlslap一直hold住，无法返回。测试语句为：[root@db_slave1 cwinfocenter]# mysqlslap--concurrency=300,300,300,400,500 --number-of-queries=600
2015-01-18 20:19:03
828
原创 glusterfs 快速安装配置
安装的机器为两台 centOS 6.4 X86_64的机器。首先安装gluster：分布在两台机器做如下操作：创建一个glusterfs.repo 文件在 /etc/yum.repo.d/下[glusterfs]name=glusterfsbaseurl=http://download.gluster.org/pub/gluster/glusterfs/3.3/3.3.2/RHE
2015-01-18 20:19:00
480
原创 Infinidb 使用笔记1
最近在研究 Infinidb，记录之。安装安装方式很多，可以选择从源码直接编译安装, 源码的下载路径在：https://github.com/infinidb里面有infinidb 和 mysql 两个目录，可以只下 infinidb.具体的安装说明在https://github.com/infinidb/infinidb的 README.md中有。需要注意的是1. 源码编译
2015-01-18 20:18:57
830
原创 expect 使用笔记
最近使用expect 进行远程命令调用，摸索过程中有所收获，记录之。expect的工作原理：简单来说就是，你执行一个行为，然后你预期会有哪些结果，并为每种结果设定处理逻辑。以远程ssh登录为例，你执行 “ssh host@ip ” 过程中，预期会有3种输出1. 询问密码 对应的处理逻辑为输入密码2. 问你是否确定要建立ssh连接 对应的处理逻辑为输入‘yes’3
2015-01-18 20:18:54
500
原创 RandomQueryGenerator 介绍
最近用 RandomQueryGenerator 来生成一定规律的随机 SQL 进行测试。本文主要记录下对RandomQueryGenerator 的学习。首先，简介：RandomQueryGenerator 是 MySQL 使用的 QA 测试工具，它是一个开源的 PERL程序。它可以按照一定的规则自动生成表以及数据，根据指定的语法文件随机生成 SQL 并以一定的并发压力发给指定的一个
2015-01-18 20:18:51
1560
原创 转载： mysql在linux中的通用…
转自：http://www.mysqlperformanceblog.com/2013/12/07/linux-performance-tuning-tips-mysql/Filesystemext4 (or xfs), mount with noatimeScheduler – use deadline or noopShell# echo deadline >
2015-01-18 20:18:48
457
原创 MySQL最大连接数限制分析
MySQL的最大连接数不只是受制于选项max-connections,同时还受制与本机物理内存和MySQL需要为每个客户端连接分配多少内存。一些连接级别的内存参数，如read_buffer_size 、sort_buffer_size，都是需要为每个连接分配。MySQL（以myisam为例）所需要的内存大致为：key_buffer_size + (read_buffer_size +
2015-01-18 20:18:45
1224
原创 MySQL xa 事务局限性
最近因为要使用MySQL的xa事务来实现分布式事务所以研究了下，发现MySQL的xa事务真心很弱。。。关于XA 事务的介绍可以参考我之前的博客：http://blog.sina.com.cn/s/blog_4673e6030101c7o4.html主要的局限性为以下3点：1. 不支持savepoint，所以当一条语句操作分区表的多个分片并出现部分成功部分失败时，分布式事务无法回滚到
2015-01-18 20:18:42
833
原创 MySQL 5.6 GTID复制 乱序复制
最近一直在弄基于MySQL5.6 GTID 复制功能的DBScale高可靠测试。测试过程中发现GTID功能在某些情况下不能保证所有的事件在slave上按照与master一样的执行顺序执行。GTID复制中的事件有一个UUID和一个递增数字编号进行唯一标识。MySQL5.6可以保证同一个UUID下的事件会按照数字编号的顺序在slave上执行。但似乎不能保证不同UUID下的事件的顺序关系。
2015-01-18 20:18:40
465
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人