- 博客(17)
- 资源 (54)
- 收藏
- 关注
原创 mysql新旧数据不一致导致的问题
之前一直看到网上说mysql字符集导致的问题,今天我算是遇到了。用mysql做server开发也有3年时间了,居然没有遇到过这个问题,之前我们的场景时只有一个server直连DB,所以没有注意字符集的问题,没有做set names utf8,只设置了mysql存储字符集是utf8,而client存和取的字符编码一致,一直没有出过问题。而最近在忙公司的fcgi基础服务层,之前这部分功能是由php完成的,在之前的应用场景中php在写mysql的时候都是设置了set names utf8,而我在新的fcgi中存数
2011-05-27 22:58:00 1104
原创 新浪微博,腾讯微博mysql数据库主表猜想-pull
前端时间写了push模式的新浪与腾讯微博 mysql表结构,还有有些基本流程,本文介绍了pull模式的Feed系统实现,不局限于mysql,大部分操作在cache或者ssd中完成
2011-05-27 17:26:00 6382 4
原创 fcgi与cgi对post请求的不同处理
<br />如果是cgi,那么可以从stdin中直接去post上来的参数:<br /> <br /><br />len = atoi(getenv("CONTENT_LENGTH"));<br />if(len < 0 || len >= MAX_CONTENT_LENGTH)<br />return;<br /> <br />cin >> m_content;<br /> <br /> <br />如果是fcgi,那么需要从FCGI_stdin中读取,必须用FCGI_fgetc来操作:<br /> <br
2011-05-26 21:36:00 2893
原创 基于批量查询服务的基础数据服务server框架
在SNS设计中,经常会有这样的需求,外部组件需要拉取SNS的各种关系链,这时最好能设计一个基础数据服务模块,主要职责就是从sns个中数据中提取外部需要的信息,作为一个基础服务存在,本文简单的设计了这样一套架构,主要思想就是把批量请求转化为批量处理,并发处理,接口层就是做好数据的切分和合并
2011-05-26 17:07:00 815
原创 mysql实现每组取前N条记录的sql,以及后续的组数据量限制
select a.msg_id, a.com_id, a.data, a.ctime from sns_user_03.user_request_86 a where 5 > (select count(*) from sns_user_03.user_request_86 where uid=8880386 andcom_id= a.app_id and msg_id > a.msg_id ) order by a.ctime;上面的sql实现分组查询
2011-05-26 17:00:00 4406 5
转载 视觉中国的NoSQL之路:从MySQL到MongoDB
<br />原文地址:http://www.programmer.com.cn/4199/<br /> <br /><br />起因<br />视觉中国网站(www.chinavisual.com)是国内最大的创意人群的专业网站。2009年以前,同很多公司一样,我们的CMS和社区产品都构建于PHP+Nginx+MySQL之上;MySQL使用了Master+Master的部署方案;前端使用自己的PHP框架进行开发;Memcached作为缓存;Nginx进行Web服务和负载均衡;Gearman进行异步任务处理。
2011-05-21 11:04:00 1408
转载 NoSQL数据库:MongoDB初探
<br />原文地址:http://www.searchtb.com/2010/12/a-probe-into-the-mongodb.html<br /> <br /><br />跟着时下炒得火热的NOSQL潮流,学习了一下mongodb,记录在此,希望与感兴趣的同学一起研究!MongoDB概述<br />mongodb由C++写就,其名字来自humongous这个单词的中间部分,是由10gen开发并维护的,关于它的一个最简洁描述为:scalable, high-performance, open sou
2011-05-21 10:55:00 11330
转载 MongoDB、HandlerSocket和MySQL性能测试及其结果分析
<br />原文地址:http://www.cnblogs.com/inrie/archive/2011/02/22/1961415.html<br /> <br /><br />一、测试环境<br />1、测试服务器状况<br />共涉及4台测试服务器:<br />压力测试服务器<br />Web服务器<br />MongoDB服务器<br />MySQL服务器。<br /> <br />机器配置为:<br />CPU:Intel(R) Core(TM)2 Duo CPU E7200 @ 2.5
2011-05-21 10:38:00 3360
原创 mysql的insert into from select 和update by select
从contact表生成dialog表的uid, contact_uid, last_msg_id,last_msg_time, total_msg_count:insert into sns_user_00.user_dialog_00(uid,contact_uid,last_msg_time, last_msg_id, totle_msg_count) select uid,contact_uid, ctime as last_msg_time, msg_id as last_msg_id,
2011-05-20 17:09:00 2759
转载 微博首席架构师杨卫华:新浪微博技术架构分析
原文地址:http://tech.sina.com.cn/i/2010-11-16/14434871585.shtml新浪科技讯 11月16日下午消息,由新浪微博主办的中国首届微博开发者大会在北京举行,这是国内微博行业的首场技术盛宴。作为国内微博市场的绝对领军者,新浪微博将在此次大会上公布一系列针对开发者的扶持政策,以期与第三方开发者联手推动微博行业的整体发展。视频:中国首届微博开发者大会杨卫华演讲媒体来源:新浪科技以下为演讲实录: 大家下午好,在座的大部分都是技术开发者,技术开发者往往对微博这个产品非常
2011-05-17 22:51:00 1061
转载 nosql 数据库笔记
<br />源地址:http://blog.csdn.net/lyflower/archive/2010/12/29/6104571.aspx<br /> <br />nosql 数据库笔记 I/O的五分钟法则在 1987 年,Jim Gray 与 Gianfranco Putzolu 发表了这个"五分钟法则"的观点,简而言之,如果一条记录频繁被访问,就应该放到内存里,否则的话就应该待在硬盘上按需要再访问。这个临界点就是五分钟。 看上去像一条经验性的法则,实际上五分钟的评估标准是根据投入成本判断的,根据当时
2011-05-17 15:28:00 1016
原创 fastcgi如何取得url或者cookie
<br />分析fastcgi的工作模式,因为fastcgi可以部署在与webserver不同的机子上,采用的是socket通信,因而类似url和cookie这样的参数必定是通过网络传输的,具体流程如下<br /> <br />fastcgi监听----------->nginx连接上来------------->fastcgi read,取得url和cookie这样参数,写到environ变量------------>fastcgi以getenv方式取得参数,<br /> <br />通过上面的过程,fa
2011-05-17 00:01:00 3237
原创 mysql的insert与update效率提高上万倍的经历
1.任务的队列化,如果任务的执行会涉及到大范围的随机跳转操作,而这种跳转还会引起资源竞争,那么最好的办法就是将任务队列化,按照跳转最少,资源竞争最少的原则进行排序。2.在任务队列化的基础上,map/reduce
2011-05-12 19:33:00 43186 5
原创 core文件生成时代进程号
可通过以下命令修改此文件: echo "1" > /proc/sys/kernel/core_uses_pid , 这样每次程序挂了之后会生成类似 core.8909(8909是当时的进程号), 效果就是后续生成的core文件不会覆盖之前生成的core文件。
2011-05-12 18:06:00 2302
原创 spawn-fcgi与fcgi的运行机制分析
<br />这几天看了spawn-fcgi的源代码,以及libfcgi的源代码,终于明白了c程序fcgi的运行机制,这里画了一个时序图。官方的spawn-fcgi是没有守护监控功能的,我在此基础上实现了守护监控功能,ab并发测试,效果不错,有需要的同学可以直接下载<br />http://download.csdn.net/source/3266317, 或者参见http://blog.csdn.net/cleanfield/archive/2011/05/10/6409830.aspx中spawn-fcg
2011-05-11 18:23:00 11508
原创 fcgi/cgi 参数获取 get与post
void webparam::get_cgi_value(){int len = 0;if(get_request_method() == "POST")//post method{if(len = MAX_CONTENT_LENGTH)return;//errorcin >> m_content;}else//get method{if(NULL != getenv("QUERY_STRING"))m_content.assign(getenv("QUERY_STRING"));}//get cookie
2011-05-11 17:42:00 7827
原创 实现spawn-fcgi的守护监控功能
本spawn-fcgi在标准版本基础上实现了对子进程的守护和监控,当有子进程挂掉的时候会重新拉一个子进程,这样就解决了原有spawn-fcgi的一个弊端:即spawn-fcgi在启动了子进程后就直接退出了,这时候如果子进程都挂掉那么就无法提供服务, 作者berniewu
2011-05-10 18:11:00 13022 5
QCon2010大会ppt下载
2011-05-03
2011年DTCC数据库大会ppt下载
2011-04-21
FastDFS介绍 pdf
2011-04-08
Google C++编程规范(pdf 英文)
2011-03-09
网游服务器日志系统(以小时为单位生成日志)
2011-03-06
High Performance MySQL(2nd)
2011-03-05
GNU make中文手册
2011-03-05
linux网络管理员手册 非扫描
2011-03-05
memcached全面剖析
2011-03-04
Linux Debugging And Performance Tuning
2011-03-04
A Byte of Vim
2011-03-04
gawk_eg.tar.gz
2021-11-08
svn hook脚本,实现commit提交逻辑检查,评论格式,文件格式逻辑设定
2021-05-25
ip智能识别php代码.zip
2021-05-25
socket工具包 c++
2011-08-18
淘宝软件基础设施构建实践 pdf
2011-06-30
Google MapReduce中文版 pdf
2011-06-30
Bigtable:一个分布式的结构化数据存储系统[中文版] pdf
2011-06-30
The Google File System中文版 pdf
2011-06-30
分布式系统工程实践 pdf
2011-06-30
mysql分布式事务实现 MySQL XA pdf
2011-05-15
具备守护监控功能的spawn-fcgi
2011-05-10
QCon2011企业软件开发大会ppt 3
2011-05-03
QCon2011企业软件开发大会ppt 2
2011-05-03
QCon2011企业软件开发大会ppt 1
2011-05-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人