mysql
cleanfield
匍匐前进
展开
-
如何实现select * exclude column
实现mysql中的insert into B select * exclude from,原创 2022-10-14 14:17:58 · 420 阅读 · 0 评论 -
直接从mysql binlog文件提取数据,无需恢复整个数据库
常常恢复整库只是为了很少量的数据,但是这个成本很大,耗时,本文提供一种思路,直接从binlog中抽取数据,粒度更小,耗时从小时到级分钟级原创 2021-11-26 18:40:50 · 3416 阅读 · 0 评论 -
MySQL索引背后的数据结构及算法原理
原文地址:http://www.cnblogs.com/leoo2sk/archive/2011/07/10/mysql-index.html作者:张洋MySQL索引背后的数据结构及算法原理2011-07-10 23:40 by T2噬菌体, 3332转载 2011-08-30 15:29:52 · 1129 阅读 · 0 评论 -
缩小包围圈,mysql效率提升千万倍
业务需求:客服每天都会审核用户上传的学校名称,每天的审核结果需要应用到已有数据上********************************************************************************************原创 2011-09-16 20:04:55 · 999 阅读 · 0 评论 -
你需要知道的关于NoSQL数据库的10件事
源地址:http://www.dbthink.com/?p=630 你需要知道的关于NoSQL数据库的10件事By Guy Harrison , Translated By Jametong关系数据模型已经流行了几十年了,但是一种新型的数据库(即NoSQL)正在吸引各大企业的关注.下面是对其优势与劣势的一个简单总结.在过去的1/4世纪中,关系型数据库(RDBMS)一直是数据转载 2011-06-30 10:38:00 · 885 阅读 · 0 评论 -
MySQL单机多实例方案
源地址:http://www.hellodb.net/2011/06/mysql_multi_instance.html MySQL单机多实例方案,是指在一台物理的PC服务器上运行多个MySQL数据库实例,为什么要这样做?这样做的好处是什么?1.存储技术飞速发展,IO不再是瓶颈普通PC服务器的CPU与IO资源不均衡,因为磁盘的IO能力非常有限,为了满足应用的需要,往往需要配置大转载 2011-06-29 09:37:00 · 2076 阅读 · 0 评论 -
分层隔离思想与protobuffer在基础数据系统中的应用
原创 2011-06-22 11:58:00 · 936 阅读 · 0 评论 -
Facebook背后的软件
源地址:http://www.yankay.com/facebook%E8%83%8C%E5%90%8E%E7%9A%84%E8%BD%AF%E4%BB%B6/?variant=zh-cn Facebook的数据规模使得很多传统的解决方案根本不适用,或者无法分解来处理。保持一个拥有5亿用户的系统一直稳定可靠的运行,并不是一件很容易的事情。这篇文章介绍了一下Facebook使用的软件转载 2011-06-11 23:32:00 · 692 阅读 · 0 评论 -
浅谈Facebook的服务器架构(组图)
源地址:http://sd.csdn.net/a/20110610/299486.html 导读:毫无疑问,作为全球最领先的社交网络,Facebook的高性能集群系统承担了海量数据的处理,它的服务器架构一直为业界众人所关注。CSDN博主yanghehong在他自己最新的一篇博客《 Facebook的服务器架构》中分享了他的看法。大体层次划分Facebook的架构可以从不同角度来转载 2011-06-10 11:10:00 · 984 阅读 · 0 评论 -
sphinx多字段查询
问题提出:在购物或者是视频网站中,经常会看到聚类搜索,什么按照城市、类别、用途、爱好之类,这种可以是多选问题解决:1.mysql的where查询, 缺点:对于分裂的库表无能为力2.sphinxsphinx可以实现多字段查询,而且还可以通过属性进行排序、过滤等操作。(请注意,索引是不可以全文搜索的,因而要做全文搜索的字段一定不能作为索引)具体可见sphinx文原创 2011-12-01 10:29:55 · 9530 阅读 · 0 评论 -
mysql中强大的字符串操作
update episode set screen_shot = REPLACE(screen_shot, screen_shot, concat(screen_shot,'.jpg')) where INSTR(screen_shot,'jpg')将episode表中所有没有包含'.jpg'后缀的screen_shot字段添加jpg后缀, 这样可以省去写脚本来批量实现原创 2012-01-06 02:07:57 · 760 阅读 · 0 评论 -
追踪mysql阻塞的问题
这两天总是会出现fcgi程序挂住,不能继续处理的问题,通过日志发现是在mysql的execute接口出问题,strace进程看到 strace -p 3497Process 3497 attached - interrupt to quitread(5, 而又通过lsof -p pidxxx 6155 xxx 5u IPv4 1631原创 2012-02-16 19:00:13 · 4884 阅读 · 0 评论 -
初次实验mysql游标
delimiter |create procedure test_cursor()beginDECLARE plat char(30);DECLARE e_type, e_id, no_more_departments INT;DECLARE tmp_cur cursor for (select uu.platform_gamesvr_id , uu.event_ty原创 2014-01-14 21:23:25 · 932 阅读 · 0 评论 -
php实现从mysql备份sql文件中提取特定数据
案例场景:玩家数据打包为一个blob存在mysql中,需要g'n原创 2014-06-13 19:18:06 · 1361 阅读 · 0 评论 -
mysql5.1,5.5,5.6做partition时支持的函数
mysql创建partition表时返回“This partition function is not allowed”的错误,要解决这个问题我们需要采用mysql当前版本支持的partition函数原创 2014-11-11 15:09:54 · 9835 阅读 · 0 评论 -
新浪微博,腾讯微博mysql数据库主表猜想-pull
前端时间写了push模式的新浪与腾讯微博 mysql表结构,还有有些基本流程,本文介绍了pull模式的Feed系统实现,不局限于mysql,大部分操作在cache或者ssd中完成原创 2011-05-27 17:26:00 · 6345 阅读 · 4 评论 -
mysql load data local file错误解决
应用场景:通过mysql的load file快读导入数据,当前我们原创 2014-11-21 11:12:59 · 3683 阅读 · 0 评论 -
MYSQL中取当前周/月/季/年的第一天与最后一天
源地址:http://www.2cto.com/database/201308/240281.html转载 2014-11-24 16:57:01 · 33403 阅读 · 3 评论 -
新浪微博,腾讯微博mysql数据库主表猜想
新浪微博,腾讯微博mysql数据库主表猜想字段名称字节数类型描述User_id4uint32用户编号(主键)User_name20Char[20]名称Msg_count4uint32原创 2011-04-21 18:32:00 · 36761 阅读 · 80 评论 -
mysql新旧数据不一致导致的问题
之前一直看到网上说mysql字符集导致的问题,今天我算是遇到了。用mysql做server开发也有3年时间了,居然没有遇到过这个问题,之前我们的场景时只有一个server直连DB,所以没有注意字符集的问题,没有做set names utf8,只设置了mysql存储字符集是utf8,而client存和取的字符编码一致,一直没有出过问题。而最近在忙公司的fcgi基础服务层,之前这部分功能是由php完成的,在之前的应用场景中php在写mysql的时候都是设置了set names utf8,而我在新的fcgi中存数原创 2011-05-27 22:58:00 · 1097 阅读 · 0 评论 -
mysql实现每组取前N条记录的sql,以及后续的组数据量限制
select a.msg_id, a.com_id, a.data, a.ctime from sns_user_03.user_request_86 a where 5 > (select count(*) from sns_user_03.user_request_86 where uid=8880386 andcom_id= a.app_id and msg_id > a.msg_id ) order by a.ctime;上面的sql实现分组查询原创 2011-05-26 17:00:00 · 4396 阅读 · 5 评论 -
视觉中国的NoSQL之路:从MySQL到MongoDB
<br />原文地址:http://www.programmer.com.cn/4199/<br /> <br /><br />起因<br />视觉中国网站(www.chinavisual.com)是国内最大的创意人群的专业网站。2009年以前,同很多公司一样,我们的CMS和社区产品都构建于PHP+Nginx+MySQL之上;MySQL使用了Master+Master的部署方案;前端使用自己的PHP框架进行开发;Memcached作为缓存;Nginx进行Web服务和负载均衡;Gearman进行异步任务处理。转载 2011-05-21 11:04:00 · 1401 阅读 · 0 评论 -
mysql启动时指定ini
"C:/MySQL/bin/mysqld-nt" --defaults-file="C:/MySQL/my.ini"原创 2009-05-09 16:15:00 · 2384 阅读 · 0 评论 -
mysql中计算时间差
TIMEDIFF hour:minute:secondDATEDIFF daysPERIOD_DIFF year原创 2009-05-09 15:47:00 · 2155 阅读 · 0 评论 -
mysqld ended问题解决
问题表现:suse:/home/berniewu # mysqld_safe --user=mysql startStarting mysqld daemon with databases from /usr/local/mysql/varSTOPPING server from pid file /usr/local/mysql/var/suse.pid081216 11原创 2009-05-09 15:40:00 · 7123 阅读 · 4 评论 -
mysql调用存储过程无法返回结果集的问题
mysql error: [1312: PROCEDURE picnews.show_news cant return a result set in the given context]在real_connect的时候设置CLIENT_MULTI_RESULTS原创 2009-05-09 15:59:00 · 2366 阅读 · 0 评论 -
mysql 2013问题解决
Mysql连接丢失问题解决,合并执行的sql语句可能导致结果集太大,分开执行可以避免2013问题 同时如果是并发量访问mysql时, 要把DBServer和DB放在同一台机子上,这样可以减少出现2013的错误原创 2009-05-09 15:25:00 · 840 阅读 · 0 评论 -
mysql configure err
安装mysql时出错:No curses/termcap library found的解决办法1../configure --with-named-curses-libs=/usr/lib/libncursesw.so.5 2.#apt-get install libncurses5-dev安装下就好了原创 2009-05-09 16:18:00 · 1386 阅读 · 0 评论 -
mysql字符集的问题
通过alter命令并不能修改原有记录的字符集,这只会影响新建数据库和记录的字符集,要想修改原有记录的字符集,需要将这些数据库按照指定的字符集导出,然后再导入mysqldump -uroot -R --default-character-set=gbk databasename > createtab.sql原创 2009-05-09 15:58:00 · 332 阅读 · 0 评论 -
怎样正确启动mysqld服务
mysqld_safe --user=root 这样就可以,不需要 加 start原创 2009-05-09 15:34:00 · 2302 阅读 · 0 评论 -
mysql崩溃数据恢复
<br />1.保存好data目录<br />2.重新安装mysql<br />3.如果表引擎是myisam的话,直接将对应数据库目录下的文件拷贝回来,重启mysql就可以看到数据还在<br />4.如果表引擎是innodb的话,将数据库目录下的frm文件拷贝回来,然后将ibdata1文件拷到data目录下,在my.ini文件中添加innodb_force_recovery=1这个设置,重启mysql就会看到数据已经回来原创 2011-03-05 00:33:00 · 2754 阅读 · 0 评论 -
bat实现mysql备份
<br /><br />mysql_backup<br /> <br />@rem ---------------------------创建备份目录-----------------------------------------<br />@echo off <br />set backup_dir=D:/数据备份<br />set backup_dir_run=D:/数据备份/run<br />set backup_dir_land=D:/数据备份/land<br />set log_file=%原创 2011-03-05 01:06:00 · 1535 阅读 · 0 评论 -
MongoDB、HandlerSocket和MySQL性能测试及其结果分析
<br />原文地址:http://www.cnblogs.com/inrie/archive/2011/02/22/1961415.html<br /> <br /><br />一、测试环境<br />1、测试服务器状况<br />共涉及4台测试服务器:<br />压力测试服务器<br />Web服务器<br />MongoDB服务器<br />MySQL服务器。<br /> <br />机器配置为:<br />CPU:Intel(R) Core(TM)2 Duo CPU E7200 @ 2.5转载 2011-05-21 10:38:00 · 3352 阅读 · 0 评论 -
mysql的insert into from select 和update by select
从contact表生成dialog表的uid, contact_uid, last_msg_id,last_msg_time, total_msg_count:insert into sns_user_00.user_dialog_00(uid,contact_uid,last_msg_time, last_msg_id, totle_msg_count) select uid,contact_uid, ctime as last_msg_time, msg_id as last_msg_id,原创 2011-05-20 17:09:00 · 2745 阅读 · 0 评论 -
微博首席架构师杨卫华:新浪微博技术架构分析
原文地址:http://tech.sina.com.cn/i/2010-11-16/14434871585.shtml新浪科技讯 11月16日下午消息,由新浪微博主办的中国首届微博开发者大会在北京举行,这是国内微博行业的首场技术盛宴。作为国内微博市场的绝对领军者,新浪微博将在此次大会上公布一系列针对开发者的扶持政策,以期与第三方开发者联手推动微博行业的整体发展。视频:中国首届微博开发者大会杨卫华演讲媒体来源:新浪科技以下为演讲实录: 大家下午好,在座的大部分都是技术开发者,技术开发者往往对微博这个产品非常转载 2011-05-17 22:51:00 · 1050 阅读 · 0 评论 -
nosql 数据库笔记
<br />源地址:http://blog.csdn.net/lyflower/archive/2010/12/29/6104571.aspx<br /> <br />nosql 数据库笔记 I/O的五分钟法则在 1987 年,Jim Gray 与 Gianfranco Putzolu 发表了这个"五分钟法则"的观点,简而言之,如果一条记录频繁被访问,就应该放到内存里,否则的话就应该待在硬盘上按需要再访问。这个临界点就是五分钟。 看上去像一条经验性的法则,实际上五分钟的评估标准是根据投入成本判断的,根据当时转载 2011-05-17 15:28:00 · 1008 阅读 · 0 评论 -
mysql的insert与update效率提高上万倍的经历
1.任务的队列化,如果任务的执行会涉及到大范围的随机跳转操作,而这种跳转还会引起资源竞争,那么最好的办法就是将任务队列化,按照跳转最少,资源竞争最少的原则进行排序。2.在任务队列化的基础上,map/reduce原创 2011-05-12 19:33:00 · 43111 阅读 · 5 评论 -
spawn-fcgi与fcgi的运行机制分析
<br />这几天看了spawn-fcgi的源代码,以及libfcgi的源代码,终于明白了c程序fcgi的运行机制,这里画了一个时序图。官方的spawn-fcgi是没有守护监控功能的,我在此基础上实现了守护监控功能,ab并发测试,效果不错,有需要的同学可以直接下载<br />http://download.csdn.net/source/3266317, 或者参见http://blog.csdn.net/cleanfield/archive/2011/05/10/6409830.aspx中spawn-fcg原创 2011-05-11 18:23:00 · 11482 阅读 · 0 评论 -
mysql_fetch_lengths的调用规则
<br />mysql_fetch_lengths一定要在mysql_fetch_row调用后才能调用,不然会出现内存非法访问的问题原创 2011-03-05 00:46:00 · 1819 阅读 · 0 评论 -
mysql中 set names utf8 出现的问题
<br />如果某一char字段是unique index,在insert数据的时候如果没有设置“set names utf8”,这样插入“你好1”和“你好2”是不同的两个字段,插入成功,<br />如果在插入之前条用了“set names utf8”, 则会导致插入“你好1”和“你好2”当作相同的内容,出现1062 suplicate key的错误。set names 设置其他编码方式都不会出现这个问题。原创 2011-03-05 00:30:00 · 1992 阅读 · 0 评论