数据库
文章平均质量分 66
vhomes
现在主要工作还是java后台服务端相关开发,熟悉的方向:多线程,分布式缓存,redis,数据库等相关领域,微博:http://weibo.com/vhomes
展开
-
数据牵移,存储过程的学习(mysql到oracle)
<br /><br />最近项目中牵涉到把mysql中一个表的数据牵移oracle上来,并只保存三个月的数据,由于此表的数据增加量比较大,现在是每个月三百万,以后会更多,所<br /> <br />以oracle表在实现时考虑到完整的增加与删除的策略!<br />下面将记录再实现过程中所遇到的所有问题:<br />1.对于数据量的不断增加,由于跟据时间特性,所以采用按时间进行分区的方式实现<br />2.对于增加与删除分区,采用存储过程来实现,采用定时执行的存储过程JOB,每月增加与删除一次分区。<br /原创 2011-02-18 17:50:00 · 1735 阅读 · 0 评论 -
mysql的半同步机制介绍
mysql主从备份之间存在同步,半同步与异步的方式,对于同步与异步相对而言比较好理解,但是同步存在延迟比较大,效率不高,异步又不能百分百保证数据的一致性。而半同步方式正好是两者的兼容。 mysql半同步模式是在mysql5.5版本以后增加的,所谓半同步指当master事物提交后,等待slave接收日志后才返回给应用层表示成功,事物足够小,延迟较小的话,通过半同步的模式,牺牲较小的性能就能原创 2012-12-28 21:46:32 · 2271 阅读 · 0 评论 -
mysql主从同步延迟方案解决的学习心得
无意中看到2012华东架构师大会主页(http://atcc.mysqlops.com/#video_show),PS:现在架构师大会好多!在里面看了mysql异步延迟解决方案的PPT,对于提出的解决方案有些共鸣,分享下mysql 主从同步的目的应该有很多,有的是为了备份,有的是为了读写分离,看具体需求。但主从机制是一样的:mysql主从的实现是,mysql master被使用后,原创 2012-11-25 22:12:07 · 9643 阅读 · 0 评论 -
Mysql console整数time以及IP查询相关函数调用
这两天有个QA在询问说,数据库console,查看时间好麻烦,因为数据库存储的时间是BigInt,的确不知道是什么!印象中有相关函数转化,如下:mysql数据库存储时间,一般都会设计BigInt类型,10位,或者13位, 或者更大,其中13位是毫秒,但是在通过Console查询数据库时间时,bigint为整数不方便查看。mysql提供了对应日期转化的函数其中FROM_UNIXTIM原创 2012-11-20 20:04:12 · 1629 阅读 · 0 评论 -
RethinkDB介绍
无意中看到redis作者在博客中推荐了RethinkDB,早上来简单了解了下,记录下:RethinkDB是一个完全支持Memcached协议、数据可持久化的工业级key-value存储系统。RethinkDB官网介绍如下:RethinkDB is built to store JSON documents, and scale to multiple machines with v原创 2012-11-15 10:23:59 · 7922 阅读 · 1 评论 -
Mysql Binlog三种格式介绍及分析
一.Mysql Binlog格式介绍 Mysql binlog日志有三种格式,分别为Statement,MiXED,以及ROW!1.Statement:每一条会修改数据的sql都会记录在binlog中。优点:不需要记录每一行的变化,减少了binlog日志量,节约了IO,提高性能。(相比row能节约多少性能与日志量,这个取决于应用的SQL情况,正常同一条记录修改或者插入row原创 2012-10-17 19:24:07 · 51091 阅读 · 5 评论 -
tungsten API 同步日志清除Binlog失败的BUG解决
在简单修改tungsten API实现日志解析完成后,切换到下一个日志前,会进行此日志清除操作。此操作的目的是防止RelayLog同步mysql master日志过多,引起磁盘空间占用过多的问题。此操作在BinlogPosition reset方法中增加了clearFile相关操作。 实现应用时发现一个问题:第一个解析的Binlog日志删除不了,以及中间偶尔会有一个binlog日原创 2012-10-13 12:48:16 · 1824 阅读 · 0 评论 -
基于tungsten API 同步mysql binlog出现EOF packet received的问题解决
tungsten是一个开源的数据库同步工具,详细可参考官网(http://en.wikipedia.org/wiki/Tungsten) 项目需要,需要实时知道mysql更新的数据,因此需要同步对应mysql结点的binlog日志数据并解析,对于同步与解析tungsten 相关API都能实现。其中日志同步主要是RelayClient类,还解析是MysqlExtractor类,对于原创 2012-10-09 22:34:51 · 2360 阅读 · 0 评论 -
mysql性能优化
在iteye上看到的个关于mysql优化的教程,还可以,有些地方表示赞同,转下,记录下,最近自己也在处理公司内部 关于连接的问题,下周会整理成章,记录一下:转载地址:http://cloudera.iteye.com/blog/1036353转载 2011-07-30 21:52:50 · 1124 阅读 · 0 评论 -
基于tungsten监测mysql数据修改系统介绍
一.项目背景项目中有个全文检索系统,此系统中需要知道应用中数据的实时更新情况,如增加,删除,这些对于索引与数据库数据的同步都很重要。针对于此处理的方式一般有两种,一种是应用层修改,直接发送消息给检索系统,此对系统的消耗是比较大的,一般不可取;另一种是应用系统跟检索系统之间有一种同步机制,可以通过计算ID checksum值的方式来保证数据的同步,此方式在公司相关的系统中都有应用,也是一种可行的原创 2012-10-23 10:30:19 · 3741 阅读 · 3 评论