- 博客(94)
- 资源 (107)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Web项目性能问题常见定位方法梳理
第一类：请求无响应，浏览器始终处于等待状态。定位方法：kill -3或者jstack先分析线程堆栈，找到当前block的线程。常见于：外部接口调用无返回或者网络IO阻塞无响应；死锁；死循环；……。 第二类：宕机，进程挂掉。定位方法（这一类问题普遍比较难定位）： （1）寻找hs_err_pidxxx.log这样的JVM日志 （2）使用JVM参数在JVM cr...
2015-05-29 23:38:34
342
原创 设计一套缓存框架需要关注的要素
最近关注了一些缓存框架的特性和实现，包括OSCache、JCS、Ehcache、Memcached等等，公司的两个缓存框架，以及一个标准JSR 107（JCache），发现一些诸多类同的方面。如果你不够熟悉以上，不妨先看看这两篇文章：《OSCache框架源码解析》和《Ehcache详细解读》，再看下面的内容也许会有更多想法。之后再思考，如果要自己去实现一套缓存框架，需要考虑哪些东西？1、为哪些数...
2015-05-29 23:37:19
669
原创 性能驱动下的架构实例
大型WEB互联网应用都是在市场的锤炼中成长的，以前提到过性能需求的驱动对于架构的影响，一个1M PV和一个100M PV的网站肯定是不一样的。这里仅仅给出几个典型的例子，兴许你对此能有收获。 初期，只有简单的应用服务器和DB服务器分家，使用简单的Jetty容器，系统的瓶颈在DB侧。简单就是美，网站刚刚运营，不考虑太多，能访问就是王道，给用户提供丰富的内容：============...
2015-05-29 23:35:27
99
原创 从100PV到1亿级PV网站架构演变
一个网站就像一个人，存在一个从小到大的过程。养一个网站和养一个人一样，不同时期需要不同的方法，不同的方法下有共同的原则。本文结合我自已14年网站人的经历记录一些架构演变中的体会。1：积累是必不可少的架构师不是一天练成的。1999年，我作了一个个人主页，在学校内的虚拟空间，参加了一次主页大赛，几个DREAMWEAVER的页面，几个TABLE作布局，一个DB连接，几行PHP的代码嵌入在H...
2015-05-29 23:29:55
256
原创 Eclipse设置、调优、使用
eclipse调优 一般在不对eclipse进行相关设置的时候，使用eclipse总是会觉得启动好慢，用起来好卡，其实只要对eclipse的相关参数进行一些配置，就会有很大的改善。 加快启动速度 1.在eclipse启动的时候，它总是会搜索让其运行的jre，往往就是这个搜索过程让eclipse启动变慢了。（没设置时，等2-3s出现进度条，设置后直接出现进度条） 只要在eclipse.ini中加入...
2015-05-28 13:52:02
438
原创 Java GC 日志详解
YoungGC日志解释如下（图片源地址：这里） ： FullGC（图片源地址：这里）：一目了然，一图胜千言 转载：http://blog.csdn.net/alivetime/article/details/6895537...
2015-05-28 13:39:08
142
原创 jstl choose标签实现if else
jstl没有if,else可用下面的标签实现此功能：<c:choose><c:when test=""> 如果</c:when><c:otherwise> 否则</c:otherwise></c:choose> 如下面的代码： <c:choose>
2015-05-27 17:20:26
316
原创 jquery ajax 提交到后台 乱码解决方案：
jquery ajax 提交到后台 乱码解决方案： 设置：contentType: "application/x-www-form-urlencoded; charset=utf-8", function modifyAddress(){ var params_save = $('#addressForm').serialize(); var addressId = $...
2015-05-27 17:15:34
213
原创 (转载)耗内存应用优化实际案例
这里分享的是一个分布式分析系统的Master内存消耗状况的优化，有些比较特定的优化未必适用于其他系统，但是从这一系列优化过程中，应该能带给其他系统在做设计时提前考虑一点优化点。 下面先描述一下背景，看了背景可以对后续的优化点可以比较清楚一些，注意，部分设计仅适用于大量计算中，会牺牲可维护性来换取性能提升。最后一点优化应该是比较有通用性意义的。背景： 开...
2015-05-26 23:55:36
141
原创 Java程序员常用工具集
发现很多人没办法高效地解决问题的关键原因是不熟悉工具，不熟悉工具也还罢了，甚至还不知道怎么去找工具，这个问题就大条了。我想列下我能想到的一个Java程序员会用到的常用工具。一、编码工具1.IDE：Eclipse或者IDEA，熟悉尽可能多的快捷键，《Eclipse常见快捷键列表》2.插件： (1) Findbugs，在release之前进行一次静态代码检查是必须的(2) Clover，关心你的单元...
2015-05-23 14:15:11
137
原创 [转载] 锁的粒度与死锁概率
首先，我们要定义下什么是“锁的粒度”：所谓粒度就是作用范围，锁的粒度就是锁的作用范围。数据库中锁的粒度从高到低依次划分为：数据库、表、页、行。什么是死锁，顺带说一下吧，当多个操作竞争资源，每个操作都无法获得全部所需资源时，系统进入死锁，如无外力作用，系统将无限等待下去，死锁的四个必要条件：（1） 互斥条件：一个资源每次只能被一个进程使用。（2） 请求与保持条件：一个进程因请求资源而阻塞时，对已获...
2015-05-23 10:16:56
590
原创 常用统计分析 SQL 在 AWK 中的实现
本文主要讲述如何在 awk 中实现 SQL 的常用操作，当做个简单的 awk 入门分享。虽然文中部分 awk 会有其它更简洁高效的 shell 命令去完成，亦或是其它语言去完成，但这都不在本文的讨论范畴。注：本文所用到的两个测试文件 user、consumer，分别模拟两张 SQL 表：user 表，字段： id name addr 1 zhangsan hubei 3 lisi ti...
2015-05-23 10:05:02
139
原创 一个load过高的故障排查案例
现象： 6台4核机器load 全部在30以上，cpu使用us在90%, mem使用在90%，swap使用了100K，机器缓慢，前台浏览器页面打开缓慢，超时后白屏。措施： top, shift+h ,shift + p, 找出消耗cpu时间最多的线程ID，dump 堆栈信息，找到该线程，看在做什么，发现有多个线程在执行同一个方法。该方法内有一个循环，从一个node节点向上找其父节点，并不断将该节点...
2015-05-23 10:00:09
344
原创 深入理解HashMap
Hashmap是一种非常常用的、应用广泛的数据类型，最近研究到相关的内容，就正好复习一下。网上关于hashmap的文章很多，但到底是自己学习的总结，就发出来跟大家一起分享，一起讨论。 1、hashmap的数据结构 要知道hashmap是什么，首先要搞清楚它的数据结构，在java编程语言中，最基本的结构就是两种，一个是数组，另外一个是模拟指针（引用），所有的数据结构都可以用这两个基本结构来构造的，...
2015-05-22 23:33:58
95
原创 串行执行批量任务脚本
前阵放假时候，帮人跑实验，需要在一台服务器上跑一堆java实验程序。为了实验结果的公正性，要保证每次只跑一个实验，也就是需要串行的跑完所有java程序。刚开始的时候，我每跑一个程序，隔一段时间去服务器上检查一下是否跑完，需要时时留意，实在有点不爽，人也不能走开。于是写了个shell脚本：串行的去执行一批java程序任务列表。过程如下：1.新建任务列表以实验为例的taskl...
2015-05-22 23:30:10
468
原创 JAVA线程池代码浅析
1. ExecutorService Java从1.5开始正式提供了并发包,而这个并发包里面除了原子变量,synchronizer,并发容器,另外一个非常重要的特性就是线程池.对于线程池的意义,我们这边不再多说.上图是线程池的主体类图,ThreadPoolExecutor是应用最为广泛的一个线程池实现(我也将在接下来的文字中详细描述我对这个类的理解和执行机制),Schedule...
2015-05-22 23:05:26
75
原创 JAVA LOCK代码浅析
JAVA LOCK总体来说关键要素主要包括3点: 1.unsafe.compareAndSwapXXX(Object o,long offset,int expected,int x)2.unsafe.park() 和 unsafe.unpark()3.单向链表结构或者说存储线程的数据结构第1点主要为了保证锁的原子性，相当于一个锁是否正在被使用的标记，并且比较和设置这个标记的操作是原子的(硬件...
2015-05-22 23:04:19
123
原创 非常实用的linux系统监控命令
找到最耗CPU的java线程ps命令命令：ps -mp pid -o THREAD,tid,time 或者 ps -Lfp pid结果展示： 这个命令的作用，主要是可以获取到对应一个进程下的线程的一些信息。 比如你想分析一下一个java进程的一些运行瓶颈点，可以通过该命令找到所有当前Thread的占用CPU的时间，也就是这里的最后一列。 比如这里找到了一个T...
2015-05-21 14:39:44
109
原创 使用jstack诊断Java应用程序故障
最近一段时间,我们的生产系统升级频繁出现故障,具体故障现象是启动后10来分钟就出现交易缓慢,处理线程耗尽等现象,并且故障发生的频率蛮高的。经过详细的诊断和排查,终于发现了问题,是groovy在osgi中运行会出现classloader死锁,最后我们也解决了这个问题。 如果单靠通过查看代码是很难去发现这个问题,在这一次故障排查中,我也学到了怎样更好的使用jvm监控工具来进行诊断,主...
2015-05-21 14:34:58
171
原创 (转载)Java并发整理笔记
J.U.C 整体认识原子操作 part 1 从AtomicInteger开始原子操作 part 2 数组、引用的原子操作原子操作 part 3 指令重排序与happens-before法则原子操作 part 4 CAS操作锁机制 part 1 Lock与ReentrantLock锁机制 part 2 AQS锁机制 part 3 加锁的原理 (Lock.lock)锁...
2015-05-21 14:04:29
83
原创 (转载)一次简单却致命的错误
线上服务器负载过高发生了报警，同事找我求救。我看到机器的负载都超过20了，查看java进程线程栈，找到了出问题的代码。下面是其代码片段，实际情况错误处理比这更坏。 1 package demo; 2 3 import java.io.BufferedReader; 4 import java.io.InputStream; 5 import java.io.InputStreamRead...
2015-05-21 14:02:38
105
原创 (转载)Ubuntu NFS配置实例指南V1.0
故事:我有两台服务器 122,123,搭建了tomcat 集群,由于开发环境和正式环境不一样的配置,我需要在正式环境服务器上留下正式环境的配置文件,发布的时候,使用这些预留的配置文件覆盖即可由于两台服务器使用的项目配置文件是一样的,我不想两台服务器上都去维护这些预留的配置文件在 122的服务器上我建个webapps/backupConfig文件夹,让 123共享到 操作系统:...
2015-05-18 09:08:42
98
原创 nginx日志分析
nginx日志uv统计，cat access.log | awk '{print $1}' | uniq -c| sort -n | wc -l
2015-05-18 09:08:22
91
原创 shell一些技巧和知识点
; 表示的是一个命令执行完, 忽略其返回值, 继续执行下一行 && 表示只有前面为true才继续执行后面的命令, 否则忽略, 可以理解为短路执行 || 表示子前面为false才继续执行后面的命令, 这个比以前看到的解释更容易理解 凡是要输出字符串的, 最好用引号括起来, 否则容易被shell理解为命令, 这一点很容易疏忽 {}是一种命令块的写法 :可以看成append操作 ex...
2015-05-15 17:10:54
119
原创 Linux服务器性能评估
一、影响Linux服务器性能的因素1. 操作系统级CPU内存磁盘I/O带宽网络I/O带宽2. 程序应用级二、系统性能评估标准影响性能因素影响性能因素评判标准好坏糟糕CPUuser% + sys%< 70%user% + sys%= 85%user% + sys% >=90%内存Swap In（s...
2015-05-15 17:10:34
99
原创 linux常用命令技巧
查找目录dir中后缀为*.c和*.h的文件 用正则find dir -type f -name '*.[ch]' 不用正则find dir -type f -name '*.c' -o '*.h' 在目录a下建立目录b,而目录a可能不存在mkdir -p a/b 查看dir目录下面所有txt文件中含有"string"串的总行数 find dir -...
2015-05-14 23:22:23
100
原创 在服务器上排除问题的头五分钟
我们团队为上一家公司承担运维、优化和扩展工作的时候，我们碰到了各种不同规模的性能很差的系统和基础设备（大型系统居多，比如CNN或者世界银行的系统）。要是再赶上修复时间紧、奇葩的技术平台、缺少信息和文档，基本上这过程都会惨痛到让我们留下深刻的记忆。遇到服务器故障，问题出现的原因很少可以一下就想到。我们基本上都会从以下步骤入手： 一、尽可能搞清楚问题的前因后果不要一下子就扎到服务器...
2015-05-14 23:17:00
93
原创 高性能服务端漫谈
一、背景进入多核时代已经很久了，大数据概念也吵得沸沸扬扬，不管你喜欢不喜欢，不管你遇到没遇到，big-data或bigger-data都必须正视.处理大数据，基本都离不开分布式计算和分布式存储，这其中以hadoop最为使用广泛和经典。分布式系统，就离不开计算系统、网络系统、文件系统和数据库系统。这么多系统，之间又是如何协作的呢？通讯过程又是如何保障高性能的呢？1.单处理器...
2015-05-14 23:07:08
116
原创 GFS的系统架构
GFS的系统架构 刘鹏《云计算（第二版）》 ①~⑤是控制流，⑥是数据流Client： 应用程序的访问接口Master（主服务器）：管理节点，在逻辑上只有一个，保存系统的元数据（Metadata，描述数据的数据），负责整个文件系统的管理。Chunk Server（数据库服务器）：负责具体的存储工作。数据以文件的形式存储在Chunk Server上。 ...
2015-05-14 09:01:50
1880
原创 设计缓存框架需要关注的要素
最近关注了一些缓存框架的特性和实现，包括OSCache、JCS、Ehcache、Memcached等等，公司的两个缓存框架，以及一个标准JSR 107（JCache），发现一些诸多类同的方面。如果你不够熟悉以上，不妨先看看这两篇文章：《OSCache框架源码解析》和《Ehcache详细解读》，再看下面的内容也许会有更多想法。之后再思考，如果要自己去实现一套缓存框架，需要考虑哪些东西？1、为...
2015-05-14 09:01:20
104
原创 java.util.concurrent并发包诸类概览
java.util.concurrent包的类都来自于JSR-166：Concurrent Utilities，官方的描述叫做“The JSR proposes a set of medium-level utilities that provide functionality commonly needed in concurrent programs. ”。作者是大名鼎鼎的Doug Lea，...
2015-05-13 00:03:54
129
原创 电子商务文件存储及读取服务的设计和开发思路
商品图片，平均200－500K，说大不大，说小不小，但量大且细碎，通常通过页面上传，全部保存在文件里，管理和索引都很慢，几乎无法备份，读取也很慢。传统的基于磁盘存储的缺陷：1、 图片存储和应用程序在一个服务器上，图片的读取占用大量的磁盘IO，在访问量高的时候，图片读取和应用程序相互影响。特别互联网环境下的文件多以几K，几十K的小文件为主，磁盘寻址和读取，缓存命中率都比较低。2、 当规模大到一...
2015-05-13 00:00:03
115
原创 linux常用命令
grep MemTotal /proc/meminfo 查看内存总量grep MemFree /proc/meminfo 查看空闲内存量 mount | column -t查看挂接的分区状态swapon -s 查看所有交换分区 chmod 改变文件和目录的权限，chmod -R 777 /tmp 递归修改目录tmp的文件权限 chown 修改文件和目录的属组...
2015-05-12 23:34:35
72
原创 Java NIO与IO
Java NIO和IO的主要区别下表总结了Java NIO和IO之间的主要差别，我会更详细地描述表中每部分的差异。IO NIO面向流 面向缓冲阻塞IO 非阻塞IO无 选择器 面向流与面向缓冲IO是面向流的，使用者从流中将数据读取出来，缓存在其它地方后才能使用；而...
2015-05-12 23:34:04
75
原创 maven replace引起的问题
项目打包的时候，js文件后缀类似这样的，a.js?v==TIMESTAMP 没有replace成功： 其中pom.xml配置如下：<plugin> <groupId>com.google.code.maven-replacer-plugin</groupId> <artifactId>replacer</ar...
2015-05-12 11:18:25
605
原创 MySQL索引与Index Condition Pushdown
大约在两年前，我写了一篇关于MySQL索引的文章。最近有同学在文章的评论中对文章的内容提出质疑，质疑主要集中在联合索引的使用方式上。在那篇文章中，我说明联合索引是将各个索引字段做字符串连接后作为key，使用时将整体做前缀匹配。而这名同学在这个页面找到了如下一句话：index condition pushdown is usually useful with multi-column ind...
2015-05-12 09:29:33
163
原创 JAVA线程池管理及分布式HADOOP调度框架搭建
平时的开发中线程是个少不了的东西，比如tomcat里的servlet就是线程，没有线程我们如何提供多用户访问呢？不过很多刚开始接触线程的开发攻城师却在这个上面吃了不少苦头。怎么做一套简便的线程开发模式框架让大家从单线程开发快速转入多线程开发，这确实是个比较难搞的工程。那具体什么是线程呢？首先看看进程是什么，进程就是系统中执行的一个程序，这个程序可以使用内存、处理器、文件系统等相关资源。例如...
2015-05-12 09:29:05
82
原创 Java程序性能优化Tips
1，避免在循环条件中使用复杂表达式在不做编译优化的情况下，在循环中，循环条件会被反复计算，如果不使用复杂表达式，而使循环条件值不变的话，程序将会运行的更快。如在条件循环中，使用 for (int i = 0; i < v.size(); i++) ，可以考虑使用 for (int i = 0 , j = v.size() ; i < j ; i++)。能够减少函数调用，且v.s...
2015-05-11 12:59:02
79
MySchool考试管理系统--北大青鸟S1-理论和上机贯穿案例项目完整版
2010-05-16
我行我素购物管理系统--北大青鸟S1-上机贯穿案例项目完整版
2010-05-16
联机考试系统--北大青鸟S2-理论机贯穿案例项目完整版
2010-05-16
JSP论坛--北大青鸟S2-上机贯穿案例项目完整版
2010-05-16
新闻发布系统--北大青鸟S2-理论贯穿案例项目完整版
2010-05-16
北大青鸟项目-使用JAVA实现面向对象编程-理论贯穿案例完整版
2010-05-16
JavaScript拍拍网 北大青鸟S2-上机贯穿案例项目完整版
2010-05-16
JavaScript淘宝网 北大青鸟S2-理论贯穿案例项目完整版
2010-05-16
我学我会网上订餐系统 北大青鸟Y2-上机贯穿案例项目完整版
2010-05-16
E-Book电子书店系统 北大青鸟Y2-理论贯穿案例完整版
2010-05-16
北大青年Y2在线培训 OLTL1：Cookie的使用
2010-05-16
“我印我形”图形打印器 指导学习三
2010-05-16
指导学习二 开发基于JSP Servlet JavaBean网上交易系统
2010-05-16
“我存我惠”网上银行 北大青鸟项目
2010-05-16
北大青鸟Y2 指导学习一(servlet 和session) 开发基于JSP Servlet JavaBean网上交易系
2010-05-16
e拍在线拍卖系统accp北大青鸟Y2项目实战 参考代码
2010-05-15
新语聊天系统 accp北大青鸟Y2项目实战 参考代码
2010-05-15
在线通讯录 accp北大青鸟Y2项目实战 参考代码
2010-05-15
酒店管理系统—ASP.NET版（二） accp北大青鸟Y2项目实战 参考代码
2010-05-15
酒店管理系统—ASP.NET版（一） accp北大青鸟Y2项目实战 参考代码
2010-05-15
招聘网站特效制作 accp北大青鸟S2项目实战 参考代码
2010-05-15
门禁系统的面向对象设计 accp北大青鸟S2项目实战 参考代码
2010-05-15
酒店管理系统（二） accp北大青鸟S2项目实战 参考代码
2010-05-15
酒店管理系统（一） accp北大青鸟S2项目实战 参考代码
2010-05-15
高校信息管理系统数据库设计 accp北大青鸟S1项目实战
2010-05-15
求高手帮我重构下这段代码
2012-09-06
TA创建的收藏夹 TA关注的收藏夹
TA关注的人