- 博客(235)
- 收藏
- 关注
RSS订阅转载 亿级Web系统搭建：单机到分布式集群
当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这些性能压力带来问题，我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段，我们会遇到不同的问题，通过搭建不同的服务和架构来解决。
2015-10-08 22:39:48
760
转载 Twitter的分布式自增ID算法Snowflake实现分析及其Java、Php和Python版
在分布式系统中，需要生成全局UID的场合还是比较多的，twitter的snowflake解决了这种需求，实现也还是很简单的，除去配置信息，核心代码就是毫秒级时间41位+机器ID 10位+毫秒内序列12位。该项目地址为：https://github.com/twitter/snowflake是用Scala实现的。python版详见开源项目https://github.com/eran
2014-09-05 21:48:03
2561
转载 mybatis select语句缓存使用注意事项
工作中遇到一个select语句缓存问题（可提交读隔离级别下select语句没有读取到其它事物更新后的结果），场景如下：数据库：mysqlUser表结构： 隔离级别：read committed（可提交读）Mapper文件： 代码如下： 执行结果： 问题：虽然我们把mysql隔离级别设置为read com
2014-09-05 10:57:03
2183
转载 Java 8：HashMap的性能提升
HashMap是一个高效通用的数据结构，它在每一个Java程序中都随处可见。先来介绍些基础知识。你可能也知道，HashMap使用key的hashCode()和equals()方法来将值划分到不同的桶里。桶的数量通常要比map中的记录的数量要稍大，这样每个桶包括的值会比较少（最好是一个）。当通过key进行查找时，我们可以在常数时间内迅速定位到某个桶（使用hashCode()对桶的数量进行取模）以及要
2014-04-25 11:14:00
586
转载 浅谈shutdown()和close()的区别
shutdown()函数可以选择关闭全双工连接的读通道或者写通道，如果两个通道同时关闭，则这个连接不能再继续通信。close()函数会同时关闭全双工连接的读写通道，除了关闭连接外，还会释放套接字占用的文件描述符。而shutdown()只会关闭连接，但是不会释放占用的文件描述符。所以即使使用了SHUT_RDWR类型调用shutdown()关闭连接，也仍然要调用close()来释放连接占用的文件描述符
2014-04-24 11:37:23
1530
转载 JAVA JNI的基本总结一箩筐
JNI的基本原理** 在Java中调用C库函数开发流程------在Java代码中通过JNI调用C函数的步骤如下：第一步： 编写Java代码第二步： 编译Java代码第三步: 生成C语言头文件第四步： 编写C代码第五步： 生成C共享库第六步： 运行Java程序*** 第一步 编写Java代码JNI方法是在Java代码中声明的。在Java类中，使用
2014-04-24 11:31:02
937
转载 TIME_WAIT的意义
TIME_WAIT是什么？ 在TCP断开的过程中会有四个状态变化过程,如下图所示:在连接撤销过程中，有如下过程: 1.HOST1上的应用程序关闭己方的连接导致TCP发送一个FIN消息给HOST2。2.HOST2发送一个确认消息给HOST1,并且HOST2把FIN作为EOF递交给HOST2上的应用
2013-07-31 22:50:02
1152
转载 fckeditor <= 2.6.4 任意文件上传漏洞
<?error_reporting(0);set_time_limit(0);ini_set("default_socket_timeout", 5);define(STDIN, fopen("php://stdin", "r"));$match = array();function http_send($host, $packet){ $sock = fsockopen($hos
2013-07-18 22:26:21
2913
转载 RTB竞价中的cookie mapping技术
首先通过一些关键词解释普及或者回顾一下背景，ADX：Ad exchange的简称。一般特指Ad exchange平台模块DMP：Data Management Platform的简称。DMP存储了流量、受众的各种特征信息。DSP：Demand Side Platform的简称。可以看做流量的购买方，为广告主服务。广告主可以通过DSP购买流量，达到营销的目的。DSP可以接入a
2013-07-18 10:59:03
1182
转载 Cookie Mapping
什么是 Cookie Mapping？简单地说，Cookie Mapping 就是将用户隶属于 SSP 的 Cookie 与隶属于 DSP 的 Cookie 进行映射。Cookie Mapping 工作需要两个数据，分别是用户隶属于 SSP 方的 Cookie 及用户隶属于 DSP 方的 Cookie，同时需要 SSP 方或者 DSP 方进行数据的映射工作。
2013-07-18 10:55:04
811
转载 爬行与索引的区别
转载地址:http://www.zjomo.com/article_detail.php?id=65&cid=4爬行和索引是seo的两个专业术语，很多人刚接触seo的时候会将这两个词混淆，认为爬行就是索引。今天就说一下爬行和索引之间的区别。 1、爬行当搜索引擎蜘蛛在站点中发生爬行时，站点中有一个并且只有唯一一个url被抓取，搜索引擎可以从其他网页的链接跟踪爬行到这个站点中，所以
2012-07-20 12:23:10
465
转载 Spring中@Autowired注解、@Resource注解的区别
转载地址:http://www.chinasb.org/archives/2011/06/2443.shtmlSpring不但支持自己定义的@Autowired注解，还支持几个由JSR-250规范定义的注解，它们分别是@Resource、@PostConstruct以及@PreDestroy。 @Resource的作用相当于@Autowired，只不过@Autowired按byTyp
2012-07-20 12:19:30
617
转载 大型互联网站解决高并发的常见策略
转载地址:http://www.javabloger.com/article/high-concurrent-common-coping-strategies.html一个运营的系统在正式上线后将会遇到各种层级的高并发请求，因此我们必须对此做出相应的策略和技术解决方案，首先我们需要认清系统的高并发由3个层面导致：1. 传输层大量用户对系统请求后，将会造成网络带宽和Web服务器的I/
2012-07-20 12:07:33
3470
原创 Singleton模式与双检测锁定(DCL)
转载地址:http://www.blogjava.net/zellux/archive/2008/04/07/191365.html该篇文章讲叙传说中认为能够解决高并发带来的单例锁的double check lock由来以及问题.我现今实现的方法见一个单例模式看OOP教材时，提到了一个双检测锁定(Double-Checked Lock, DCL)的问题，但是书上没有多介绍，只是
2012-07-20 11:59:49
579
转载 缓存系统MemCached的Java客户端优化历程
转载地址:http://www.infoq.com/cn/articles/memcached-javaMemcached 是什么？Memcached是一种集中式Cache，支持分布式横向扩展。这里需要解释说明一下，很多开发者觉得Memcached是一种分布式缓存系统，但是其实Memcached服务端本身是单实例的，只是在客户端实现过程中可以根据存储的主键做分区存储，而这个区就是Memca
2012-07-12 18:13:17
472
转载 GC的类型以及对应日志的解释
转载地址:http://wangscu.iteye.com/blog/603347 在大型的java运用中，要进行程序调优，指定一个合适的垃圾回收机制是必不可少的，那如何可确定某gc是否使得程序最优化呢？我们可以查看jvm打印出 的gc日志来分析，并做出进一步优化，而目前并没有一篇文章明确的指明java中各种gc算法打印出日志的格式，以及如何阅读。所以接下来本文将试着边介 绍各种
2012-07-12 18:01:24
943
转载 介绍Java GC种类，并更换 调优GC
转载地址:http://blog.csdn.net/roland101/article/details/2203461 调整JVM GC(Garbage Collection)，可以极大的减少由于GC工作，而导致的程序运行中断方面的问题，进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程，由于各个程序具备不同的特点，如：web和GUI程序就有很大区别（Web可以适当
2012-07-12 17:54:11
468
转载 JDK NEW TOOLS——jps、jinfo、jstat、jmap、jconsole
转载地址:http://blog.csdn.net/roland101/article/details/2188585最近压力测试和调优Liferay portal，所以需要找到一种工具，可以比较好的监测VM工具。本来想使用商用工具，但偶然间发现SUN 的JDK中新添了几个工具，并且非常好用。秉承着有免费，不用商用的原则。开始使用新的JDK工具，以下简单介绍一下这几种工具。(注：本文章下的所有
2012-07-12 17:53:36
423
转载 调优ＪＶＭ内存，并解决OutOfMemoryError，StackOverflowError等异常问题
转载地址：http://blog.csdn.net/roland101/article/details/2197444 JVM 调优，首先应从内存开始，尤其是在真正的的web服务部署的时候。因为真正的web服务会比开发的时候花费更多的内存，用来处理多用户并发的情况。本人多次吃过这方面的亏，所以整理一下，希望能给别人以帮助。 这个年头变啦，内存变得如大白菜，每个新
2012-07-12 17:50:25
1377
转载 简单理解Java GC与幽灵引用
转载地址:http://developer.51cto.com/art/200906/128189.htmJava中一共有4种类型的引用:StrongReference、SoftReference、WeakReference以及PhantomReference (幽灵引用), 这 4 种类型的引用与Java GC有着密切的关系, 让我们逐一来看它们的定义和使用场景。1. Stron
2012-07-12 17:49:24
510
转载 java中垃圾回收机制(GC)
转载地址:http://idreamland.iteye.com/blog/244277在java语言中GC 即垃圾收集机制是指jvm用于释放那些不再使用的对象所占用的内存。java语言并不要求jvm有gc，也没有规定gc如何工作。不过常用的jvm都有gc，而且大多数gc都使用类似的算法管理内存和执行收集操作。 垃圾收集的目的在于清除不再使用的对象。gc通过确定对象
2012-07-12 17:40:57
896
转载 缓存穿透、缓存并发、缓存失效
转载地址:http://zeroq.me/p/279一、缓存穿透我们在项目中使用缓存通常都是APP先检查缓存中是否存在，如果存在直接返回缓存内容，如果不存在就直接查询数据库然后再缓存查询结果返回。这个时候如果我们查询的某一个数据在缓存中一直不存在，就会造成每一次请求都查询DB，这样缓存就失去了意义，在流量大时，可能DB就挂掉了。这个问题其实经常遇到，只是没有引起足够的重视，在我想来
2012-07-12 17:20:55
454
原创 Linux下的Memcached安装与JAVA客户端连接Memcached
Linux下Memcache服务器端的安装memcached现在版本为1.4.13,可以去http://memcached.org/下载最新版本.因为memcached底层通信是有libevent实现的,所以还需要去下载它.下载地址为http://libevent.org/.也可以通过wget直接下载1.分别把memcached和libevent下载回来，放到 /tmp 目
2012-07-12 17:06:54
709
转载 性能调优攻略
转载地址:http://coolshell.cn/articles/7490.html关于性能优化这是一个比较大的话题，在《由12306.cn谈谈网站性能技术》中我从业务和设计上说过一些可用的技术以及那些技术的优缺点，今天，想从一些技术细节上谈谈性能优化，主要是一些代码级别的技术和方法。本文的东西是我的一些经验和知识，并不一定全对，希望大家指正和补充。在开始这篇文章之前，大家可以移步去
2012-07-09 14:02:18
496
转载 sql笔试题
转载地址:http://hi.baidu.com/lhbmqq/blog/category/Sqlcreate table dept(deptno varchar(10) primary key,dname varchar(10));create table emp(empno varchar(10) primary key,ename varchar(10
2012-07-09 02:42:34
1284
转载 Tomcat 常用优化和配置
转载地址:http://hi.baidu.com/lhbmqq/blog/item/9d8f49afd6741cf8faed506f.html1、JDK内存优化：Tomcat默认可以使用的内存为128MB,Windows下,在文件{tomcat_home}/bin/catalina.bat，Unix下，在文件{tomcat_home}/bin/catalina.sh的前面，增加如下设置
2012-07-09 02:39:40
398
转载 MongoDB 索引数据类型优化，节省60％内存
转载地址:http://blog.nosqlfan.com/html/2064.html最近trunk.ly的工程师通过mongostat发现了大量的page fault，然后通过检查发现，他们的索引已经超出内存限制了（没有keep all index in RAM）。于是他们决定开始减小索引大小，通过测试得出了如下的数据，不同的数据类型的索引大小有2到3倍的差距。虽然能够想像
2012-07-09 02:38:01
671
转载 如何安全的存储密码 - hash、salt 以及更多
转载地址:http://www.oschina.net/question/28_57478最近爆出的网站安全问题越来越多，甚至有部分网站的密码泄露，这是一篇简单的教程，教你如何更加安全的保存密码。我这里说的“安全”是指当密码泄露以后，对方需要相当一段时间来破解以获得明文密码。下面我列出了常用的密码存储手段，从不安全到安全： 明文存储 hash 存储，例如 MD5，SHA
2012-07-09 02:19:26
885
转载 memcached参数中文解释
转载地址:http://my.oschina.net/liuxd/blog/62212最近在研究memcached的优化，顺便把man memcached文档翻译了，只翻译参数部分，其他部分没啥使用价值，也拿来分享下吧，希望能对谁有点用。在线地址：https://github.com/liuxd/MyTranslation/blob/master/translation/memca
2012-06-20 10:36:58
428
转载 每个程序员都应该知道的一些时间数据
原文：Every Programmer Should Know These Latency NumbersL1 cache ：………………………………………………..0.5nsbranch mispredict(转移、分支预测) : ……………..5nsL2 cache :………………………………………………… 7ns互斥锁\解锁 :……………………………………………..
2012-06-19 14:36:20
1314
转载 CAP理论十二年回顾："规则"变了
转载地址:http://www.infoq.com/cn/articles/cap-twelve-years-later-how-the-rules-have-changed本文首发于 Computer 杂志，由InfoQ和IEEE呈现给您。CAP理论断言任何基于网络的数据共享系统，最多只能满足数据一致性、可用性、分区容忍性三要素中的两个要素。但是通过显式处理分区情形，系统设计师可
2012-06-19 14:14:05
1062
转载 基于 HTTP 长连接的“服务器推”技术
转载地址:http://hi.baidu.com/widebright/item/0fad577cb16189376e29f6a8在这里看到了所谓的“服务器推“技术CSDN和《程序员》杂志主办的连续第四届SD2.0（软件开发2.0）大会---盛大资深研究员钱宏武：转换思维可实现更多 http://news.csdn.net/a/20101210/283436.html 文章里
2012-06-19 13:57:22
1685
原创 CSDN一个bug
上传图片时发现一个bug1,2,3都是同一张图.但是上传时1,2出现了问题.后检查了下图片格式原因是上传图片后缀为.jpg.而查看文件头却是png所以导致文件上传报错.将文件后缀改为png后,错误消失.总结:根据经验,实际问题出在图片上传时没有正确的判断图片格式(如读取文件头),而是武断判断文件后缀做处理.而根据Java的api,实际上并不需要判断这
2012-06-19 13:50:25
389
转载 （2011）构架师之路-闭眼设计系列-第一篇：IM后台构架
转载地址:http://hi.baidu.com/algorithms/blog/item/a17909d1bfc3712f9a5027c0.htmlIM（即时通讯）系统（如QQ、MSN、飞信等），至少分为2个部分：客户端和服务器端。它属于典型的1对多服务。IM的特点有： ① PV很高，这里PV表示client和server的一次通信； ② 有效在线UV很高，典型的为100w-
2012-06-19 13:37:06
5419
转载 IM服务器架构实现
轉載地址:http://www.cnblogs.com/stable/archive/2010/07/17/1779467.html我把第一个问题选为：QQ的架构。呵呵，题目是不是有点大？QQ现在的最高在线用户数是1900万，我们来讨论一下要作一个这样的架构如何来作更好，大家积极发言，这也是我这个周末为自己选择的思考题，呵呵。大家积极畅所欲言。 我们讨论的问题可以包括但不限于这些内容：
2012-06-19 13:23:47
534
转载 QQ 架构的演变
轉載地址:http://www.cnblogs.com/samuelchoi/archive/2012/03/31/2427424.html后台技术演化启示 在QQIM后台技术演化过程中，每一个级别要求的技术不一样，如十万级和百万级在线要求高性能、7*24小时连续服务；千万级要求高可用性和高可运维性。而到了亿级在线，就要求高性能、高可用性、高可运维性和高灵活性“四高”准则，每提升一个
2012-06-19 13:22:38
1279
转载 浅析Hadoop文件格式
轉載地址:http://www.infoq.com/cn/articles/hadoop-file-formatHadoop 作为MR 的开源实现，一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度为优势。不过，MPP数据库社区也一直批评Hadoop由于文件格式并非为特定目的而建，因此序列化和反序列化的成本过高[7]。本文介绍Hadoop目前已有的几种文件格式，分析其特点、开
2012-06-19 13:05:04
947
转载 如何反制互联网精准广告定向
转载地址:http://www.williamlong.info/archives/3127.html 介绍用户一方可以对精准广告定向进行的审查。这样有一个平衡：广告商是自由的，用户也是自由的，双方都能，且应该对它们手上的信息进行审查。那么，用户如何反制互联网精准广告定向？ 这篇投稿是补充牛国柱的《互联网精准广告定向技术》，在作者前一篇文章《是谁在偷窥我们的网络隐私》已
2012-06-19 11:43:08
937
转载 互联网精准广告定向技术
转载地址:http://www.williamlong.info/archives/3125.html 互联网精准广告定向技术，指的是依托于搜索引擎庞大的网民行为数据库，对网民几乎所有上网行为进行个性化的深度分析，按广告主需求锁定目标受众，进行一对一传播，提供多通道投放，按照效果付费。 本文的写作初衷是总结自己的知识，将知识从片段的、隐形的转化为可以向别人讲述、能够给人帮助的。在总
2012-06-19 11:42:39
3150
转载 是谁在偷窥我们的网络隐私
转载地址:http://www.williamlong.info/archives/3001.html 1993年7月5日，彼得·施泰纳在《纽约客》上发表了一幅著名的漫画《在网上，没人知道你是一条狗》。用以描述互联网的匿名特性。 可是，即便在十年前说这句话，也已经是不负责任的了。 当然，这篇文章不是讨论如何防御病毒的，更不可能教授特工技能。但是，不要拿“国情”、“大家都没有隐私
2012-06-19 11:34:58
1374
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人