2013年06月_rainyear

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

转载大型网站系统架构分析

大型网站系统架构分析千万级的注册用户，千万级的帖子，nTB级的附件，还有巨大的日访问量，大型网站采用什么系统架构保证性能和稳定性？首先讨论一下大型网站需要注意和考虑的问题。数据库海量数据处理：负载量不大的情况下select、delete和update是响应很迅速的，最多加几个索引就可以搞定，但千万级的注册用户和一个设计不好的多对多关系将带来非常严重的性能问题。另外在高U

2013-06-29 02:48:34 616

转载各大网站架构总结笔记

评论- 427 各大网站架构总结笔记记得在大学里不止一次关注网站架构方面的东西了，但每次都是泛泛了解，也没有着重记录，一段时间后对各种架构的思想也就模糊了。这几天不知怎么的又心血来潮（可能是快毕业了冲动了）想深入了解一下网站架构方面的知识，并想通过这次来总结一下网站架构，记录一点东西供自己以后翻阅，也给那些希望了解这方面知识的朋友提供一点点有用的信息，下面是

2013-06-29 02:35:20 507

转载各大网站架构分析

1. PlentyOfFish 网站架构学习http://www.dbanotes.net/arch/plentyoffish_arch.html采取 Windows 技术路线的 Web 2.0 站点并不多，除了 MySpace ，另外就是这个 PlentyOfFish。这个站点提供 “Online Dating” 服务。一个令人津津乐道的、惊人的数据是这个只有一个人(创建人Marku

2013-06-29 02:08:40 678

转载各大网站架构总结笔记（续）(转)

各大网站架构总结笔记（续）(转)前段时间给大家介绍过各大网站架构总结笔记（MySpace、Flickr、YouTube、PlentyOfFish、WikiPedia），喜欢架构的朋友可以去看看。这两天，我又陆续从互联网上整理了几个优秀网站的架构信息，并将部分文章整理到了自己的另一个博客，今天把它们拿出来分享给大家，希望能给大家带来一点启发，另外，欢迎一起讨论，有比较好的架构信息大家也可

2013-06-29 02:07:38 639

转载 MySQL优化经验

MySQL优化经验Wikipedia，自由的百科全书同时在线访问量继续增大对于1G内存的服务器明显感觉到吃力严重时甚至每天都会死机或者时不时的服务器卡一下这个问题曾经困扰了我半个多月MySQL使用是很具伸缩性的算法，因此你通常能用很少的内存运行或给MySQL更多的被存以得到更好的性能。安装好mysql后，配制文件应该在/usr/local/mysql/share/mys

2013-06-28 21:53:24 567

转载 JAVA实现AES加密

JAVA实现AES加密 1. 引子近些年DES使用越来越少，原因就在于其使用56位密钥，比较容易被破解，近些年来逐渐被AES替代，AES已经变成目前对称加密中最流行算法之一；AES 可以使用128、192、和256位密钥，并且用128位分组加密和解密数据。本文就简单介绍如何通过JAVA实现AES加密。2. JAVA实现闲话少许，掠过AES加密

2013-06-28 21:51:47 592

转载 Memcached damo

Memcached学习笔记 — 第四部分:Memcached Java 客户端-gwhalin(1)-介绍及使用 Memcached java client是官方推荐的最早的memcached java客户端。最新版本：java_memcached-release_2.6.1。官方下载地址：https://github.com/gwhalin/Memcached-J

2013-06-28 21:41:36 628

转载 Spring Memcache整合

https://github.com/gwhalin/Memcached-Java-Client/downloads上面下载 jar包spring 配置文件XML/HTML code?12345678910111213141

2013-06-28 16:20:56 1086

转载 Linux下Memcached操作

1、数据存储（假设key为zhangyan，value为12345） printf "set 1;2 0 0 5\r\n12345\r\n" | nc 10.70.62.111 11211 STORED 2、数据取回（假设key为zhangyan） printf "get 1;2\r\n" | nc 10.70.62.111 11211 VALU

2013-06-28 11:21:12 722

转载 linux下 memcached-1.4.5 安装

linux下 memcached-1.4.5 安装一. 安装：libevent下载地址：http://www.monkey.org/~provos/libevent/./configure --prefix=/usr/local/libeventmake && make install二. 安装：memcached下载地址：http://cod

2013-06-28 11:20:38 1495

转载 memcached 常用命令及使用说明

memcached 查看方法格式: telnet ip port例如 telnet localhost 11211退出命令：quit一.存储命令存储命令格式：[plain] view plaincopy 参数说明：comm

2013-06-28 11:17:46 593

转载斯坦福：facebook创始人扎克伯格演讲

acebook创业产品目录(?)[+]http://edu.sina.com.cn/video/open/zuckerberg.html[第1集]Facebook的产品研发[第2集]团队的能量[第3集]寻找合适的员工[第4集]如何盈利[第5集]创业技能习得

2013-06-27 17:55:30 629

转载 Squid集群做CDN全网加速

Squid集群做CDN全网加速主服务器群,然后在利用Squid逆向缓存web80端口来加速自己的网站.各大门户网站象163,sina,chinaitlab之类基本都是使用的这种技术,好处是大大的有.比如加速了网络和可以防黑客（因为他们见到的都是CDN的主机）这是利用Squid逆向集群模式做的一种应用网络环境：主服务器群：源Web服务器群位于公网ip:220.X

2013-06-27 17:54:36 659

转载真正优秀的程序员有哪些与众不同之处？

“当你50岁时，还愿意编程吗？”这个话题在Hacker News上众说纷纭，不过我们能够看到，那些真正成功的程序员，如John Carmack、Peter Norvig、Jeff Dean，即使他们不再年轻，但依然对编程充满热情，他们身上有哪些与众不同之处，又有哪些值得我们学习？有人进行了总结。1. 选择当前科技领域的一个小子集，亲近它、拥抱它，并且尝试推进这个小领域的发展。2. 理解不同

2013-06-27 17:48:13 597

转载专访蒋宇捷：技术管理者应具备哪些能力？

专访蒋宇捷：技术管理者应具备哪些能力？分类：人和事 (研发/测试/运维)职权2012-11-25 21:04 70人阅读评论(0) 收藏举报蒋宇捷，西安交通大学硕士。现任百度技术经理，曾担任傲游Web后台主管，腾讯研究院浏览器前端负责人，创新工场魔图项目技术负责人。《论道HTML5》合著作者，关注Web前、后端架构、移动互联网应用和团队管理。编程初体验CSDN

2013-06-27 17:48:03 849

转载 Linux下SVN自动更新web

第一步:建立你的web程序目录和版本库目录mkdir /data/webwww/project1svnadmin create /data/svnwww/project1进入/data/webwww/project1目录。svn co testsvn svn://192.168.1.110:8080/project1/branch/v1.0//检出一份版本库文件到当前目录

2013-06-27 17:41:05 702

转载 WINDOWS系统下怎样配置squid做CDN的简明图解

您预安装配置squid的这台计算机必须是联入网络的，系统版本是windows 2000/xp/2003/server 2003。1）先下载Squid for Windows版本(http://www.jb51.net/softs/43599.html)，下载地址如下（ZIP文件名称：squid-2.7.STABLE4-bin.zip），可以把这个文件下载到桌面，这样好找好操作。

2013-06-27 17:39:35 964

转载 MySQL多线程同步-Transfera使用测试

Transfer2.0 背景 Transfer是一个主从多线程同步工具，直接patch在MySQL中。2011年开发完成。于去年的12.12上线，并撑住高峰期主从，保证从库无延迟，使得应用能够直接从从库上读数据。对Transfer1.0背景有兴趣的同学可以看我以前的一篇博客。新功能 Transfer第一

2013-06-27 17:33:50 841

转载架构师看法

架构师是一个项目组的灵魂人物，他决定着整个系统的技术选型、整体架构以及模块划分，同时还可能担当与领导层的沟通角色，从某种意义上来说，架构师在很大程度上决定着项目的成败与否，正所谓火车跑得快，全靠车头带。很多优秀的架构师都是从一个优秀的开发人员转变过来的，但优秀的开发人员未见得都能成为合格的架构师。与架构师相比，开发人员所需担当的任务相对狭隘的多，其最大的目标就是编写出精良的代码、做好充分

2013-06-27 17:26:23 779

转载用Nginx配置https加密站点 nginx学习之一Location，rewrite，防盗链，禁止访问

一、Nginx安装安装的时候需要注意加上 –with-http_ssl_module，因为http_ssl_module不属于Nginx的基本模块。Nginx安装方法：[c-sharp] view plaincopy./configure –user=username –group=groupname –prefix=/usr/local

2013-06-27 17:18:45 799

转载 memcached、redis、mysql、mongodb结合架构数据库系统

1.业务系统的关联关系用mysql组织2.缓存数据用memcached、redis存取3.大文本数据放进mongodb存取中4.数据统计计数增加阀值功能用mysql将memcached、redis、mongodb三者结合起来，根据实际业务需要看一下哪些适合memcached、redis缓存存取，哪些适合mo

2013-06-27 17:05:23 1148

转载 MySQL解决主从延迟

MySQL解决主从延迟简单说下几种方案，优缺点自行比较1、应用代码来实现延迟较大时直接从主库读取或者sleep2、采用mysql proxy 自己编写lua脚本来实现原来就是主从数据库创建一个同步表,主库上利用一个触发器保证任何数据更新时同步表的数据也被更新,任何一条查询之前mysql proxy都需要检测主从数据库的同步表是否同步,同步则查询发送到从库

2013-06-27 16:53:32 1342

转载 Linux下 MySQL Proxy 安装与配置(简单)

Linux下 MySQL Proxy 安装与配置[c-sharp] view plaincopyfetch http://mirror.mysql-partners-jp.biz/Downloads/MySQL-Proxy/mysql-proxy-0.6.0-freebsd6-x86.tar.gz tar zxvf mysql-prox

2013-06-27 16:11:27 1840

转载 Linux Mysql proxy 读写分离

Mysql作为目前世界上使用最广泛的免费数据库，相信所有从事系统运维的工程师都一定接触过。但在实际的生产环境中，由单台Mysql作为独立的数据库是完全不能满足实际需求的，无论是在安全性，高可用性以及高并发等各个方面。因此，一般来说都是通过主从复制（Master-Slave）的方式来同步数据，再通过读写分离（MySQL-Proxy）来提升数据库的并发负载能力这样的方案来进行部署与实施的。

2013-06-27 16:09:21 618

转载 Linux下编译安装mysql-5.0.45

（呵）近一段时间由于工作需要，终于开始玩Linux了，今天搞了一天的MySQL编译安装，记录下来，备忘吧！！（卡）安装环境：VmWare5(桥接模式) + RedHat E AS 4 + 已安装了开发工具以及相关开发包(安装Linux系统时自己要定制的)，并测试成功（！）先给出MySQL For Linux 源码下载地址，是xx.tar.zg格式的htt

2013-06-26 14:35:47 627

转载 Redhat5 安装oracle10G

一、安装环境我是在vmware里虚拟的RHEL5，分配的内存1G，SWAP分区1G，建议你最好把SWAP分区改成2G。否则安装时，到了测试的步骤会提示监测失败。（当然，如果你强行安装一样没问题）二、安装Oracle 10g Release2 前的配置1. 安装Oracle 10g R2所需的软件包# cd /mnt/cdrom/Server/# rp

2013-06-25 14:21:14 690

原创 nginx+keepalived主辅切换

nginx+keepalived主辅切换环境Server 1 : ubuntu-server 8.04.4 192.168.6.162Server 2 : userver-server 8.04.4 192.168.6.188keepalived-1.1.17.tar.gz 这个版本在REDHAT5.1中可以运行，其

2013-06-21 16:14:24 830

转载 jstat使用方法进程java分析工具

jstat使用方法TomcatJVMJDKApacheJava代码用以判断JVM是否存在内存问题呢？如何判断JVM垃圾回收是否正常？一般的top指令基本上满足不了这样的需求，因为它主要监控的是总体的系统资源，很难定位到java应用程序。 Jstat是JDK自带的一个轻量级小工具。全称“Java Virtual Machine statist

2013-06-19 18:53:14 810

转载 sed 用法

sed编辑器逐行处理输入，然后把结果发送到屏幕。 sed 's/://g' 把：替换成空格-i选项：直接作用源文件，源文件将被修改。 sed命令和选项： a\在当前行后添加一行或多行c\用新文本替换当前行中的文本d删除行i\在当前行之前插入文本h把模式空间的内容复制到暂存缓冲

2013-06-19 11:12:50 396

转载 shell中的break和exit的区别

shell中的break和exit的区别分类：先单独看break的例子：#!/bin/bashcount=0while [ $count -lt 5 ]doif [ ! -s /root/test.sh ];thenecho "test.sh doesn't exist!"elseecho "test.sh exist!"

2013-06-18 14:42:04 989

转载 AWK 用法

一. AWK 说明 awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。 awk的处理文本和数据的方式：它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模

2013-06-17 13:43:59 403

转载 Mecached使用方法和规范

Mecached使用方法和规范一．Memcached使用背景走秀网大部分数据保存到Oracle数据库中，应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大、访问的集中，就会出现RDBMS的负担加重、数据库响应恶化、网站显示延迟等重大影响。Memcached是对非常成熟的数据缓存方案。memcached是高性能的分布式内存缓存服务器。一般的使用目的是，通过缓存数据库查

2013-06-10 22:01:12 920

转载 SHELL IF语句

shell程序中的条件分支是通过if条件语句来实现的，其一般格式为： if 条件命令串　then　　条件为真时的命令串　else　　条件为假时的命令串　fi大多数情况下，可以使用测试命令来对条件进行测试，比如可以比较字符串、判断文件是否存在及是否可读等等……通常用" [ ] "来表示条件测试，注意这里的空格很重要，要确保方括号前后的空格。[ -f "s

2013-06-09 10:20:05 496

转载 Mysql 慢查询和慢查询日志分析

众所周知，大访问量的情况下，可添加节点或改变架构可有效的缓解数据库压力，不过一切的原点，都是从单台mysql开始的。下面总结一些使用过或者研究过的经验，从配置以及调节索引的方面入手，对mysql进行一些优化。第一步应该做的就是排查问题，找出瓶颈，所以，先从日志入手开启慢查询日志#打开服务log_slow_queries = ONmysql>show variable

2013-06-09 09:39:14 496

转载 java中cookie的操作（通过cookie实现简单的单点登录）

java中cookie的操作（通过cookie实现简单的单点登录）转载▼（一）取得cookie中的相关信息Cookie[] cookies = request.getCookies(); String username = ""; String password = ""; if

2013-06-08 22:29:58 1523 1

原创 orcale 下创建表空间和用户

在向导下建立数据库 sqlplus下-- 用system用户登录sqlplus system/oracle@orcl-- 创建表空间create tablespace longs datafile 'E:\orcaleInstall\product\11.2.0\dbhome_1\JackieZhang_orcl\long.dbf' size 100M autoexte

2013-06-05 18:26:26 791

转载 Shell 基本语法

开机自启动的方法：1：/etc/rc.d/rc.local 加入项目2：chkconfig item on$# 脚本的参数个数$* 以一个单字符串显示所有向脚本传递的参数。与位置变量不同，此选项参数可超过9个$0 脚本名称$1..$9 第N个参数 1、算术运算比较运算符(bash自身不能比较浮点数)

2013-06-04 15:38:24 495

转载 Svn从windows迁移到 linux

Svn从windows迁移到 linux1.先导出svn库导出到d:\svnbak\svnbak20100303.dump在cmd命令行里输入svnadmin dump d:/svndata > d:\svnbak\svnbak20100303.dump此时你会看到窗口里显示从第一个版本开始备份，一直到最后一个版本2.把svnbak20100303.dump想办法传到lin

2013-06-03 13:19:16 1068

转载一步步构建大型网站架构

之前我简单向大家介绍了各个知名大型网站的架构，亿万用户网站MySpace的成功秘密、Flickr架构、YouTube网站架构、PlentyOfFish 网站架构学习、WikiPedia技术架构学习笔记。这几个都很典型，我们可以从中获取很多有关网站架构方面的知识，看了之后你会发现你原来的想法很可能是狭隘的。　　今天我们来谈谈一个网站一般是如何一步步来构建起系统架构的，虽然我们希望网站

2013-06-01 00:40:27 465

转载 Java Web 高性能开发，第 2 部分: 前端的高性能

引言在前端优化的第一部分中，主要讲解了对静态资源的一些优化措施，包括图片压缩、CSS Sprites 技术、GZIP 压缩等。这一部分，本文将讲解前端优化里重要的 Flush 机制、动静分离、HTTP 持久连接、HTTP 协议灵活应用、CDN 等。结合这些技术或思想，相信会使 Java Web 应用程序的性能更上一层楼。回页首Flush 机制的使用实际上在 We

2013-06-01 00:19:39 1123