过段时间旺旺要搞运营活动了，这两天在设计系统的时候有个需求，需要实现半小时内的数据更新500万次左右，数据量不大，最多一千万； 使用数据库肯定是实现不了，需要使用Cache系统来延迟导入到DB中。但普通的memcache由于数据是存在于内存中，那么当程序crash或则机器down的时候，数据将丢失，可靠性不能满足。 自己开发一套pesistented memcache，但需要时间开发，进度不允许，因此想到了mysql 的memory DB机制。Mysql 采用插件机制，支持memory db方式。 通过复制技术，实现数据的双机备份。 再对mysql 的memory db进行性能测试，测试结果表明，使用普通的服务器（2cpu)，可以实现15000~25000/s 的数据插入/更新操作，能够 满足15000/s数据读操作。 从测试结果看，性能上可以满足500万 半小时的要求，另外由于使用复制技术，也满足了数据的可靠性要求。毕竟2台机器同时down的概率我们可以忽略不计。
配置复制的时候,把sync_binlog=0. 提高更新操作.
使用mysqlbinlog来恢复数据. 当mysql的机器down或则mysqld服务器程序down的时候,可以使用mysqlbinlog来恢复数据. 如
mysqlbinlog --disable-log-bin -l /tmp/ --force-read --set-charset=gbk --start-position=981 mysql-bin.000003 |mysql
经过测试,对1000万条记录更新操作的日志,进行恢复,大概需要花20分钟
602
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
