2016年04月_end_CSDN博客

原创线上性能问题初步排查方法

有时候有很多问题只有在线上或者预发环境才能发现，而线上又不能Debug，所以线上问题定位就只能看日志，系统状态和Dump线程，本文只是简单的介绍一些常用的工具，帮助定位线上问题。问题定位1: 首先使用TOP命令查看每个进程的情况，显示如下：top - 22:27:25 up 463 days, 12:46, 1 user, load average: 11.80, 12

2016-04-29 11:42:57 2705

原创四种IO模型的解释

同步阻塞 IO ：在此种方式下，用户进程在发起一个 IO 操作以后，必须等待 IO 操作的完成，只有当真正完成了 IO 操作以后，用户进程才能运行。 JAVA传统的 IO 模型属于此种方式！同步非阻塞 IO:在此种方式下，用户进程发起一个 IO 操作以后边可返回做其它事情，但是用户进程需要时不时的询问 IO 操作是否就绪，这就要求用户进程不停的去询问，从而引入不必要的 CPU

2016-04-28 18:57:28 1985

原创 Java锁----Synchronized实现原理

数据同步需要依赖锁，那锁的同步又依赖谁？synchronized给出的答案是在软件层面依赖JVM，而Lock给出的方案是在硬件层面依赖特殊的CPU指令，大家可能会进一步追问：JVM底层又是如何实现synchronized的？本文所指说的JVM是指Hotspot的6u23版本，下面首先介绍synchronized的实现： synchronized关键字简洁、清晰、语义明确，因此即使

2016-04-26 12:03:04 3277

原创 Java锁----Lock实现原理

Lock完全用Java写成，在java这个层面是无关JVM实现的。在java.util.concurrent.locks包中有很多Lock的实现类，常用的有ReentrantLock、ReadWriteLock（实现类ReentrantReadWriteLock），其实现都依赖java.util.concurrent.AbstractQueuedSynchronizer类，实现思路都大同小

2016-04-26 11:35:06 19711 1

原创正确使用Volatile关键字

Java 语言中的 volatile 变量可以被看作是一种 “程度较轻的 synchronized”；与 synchronized 块相比，volatile 变量所需的编码较少，并且运行时开销也较少，但是它所能实现的功能也仅是synchronized 的一部分。本文介绍了几种有效使用 volatile 变量的模式，并强调了几种不适合使用 volatile 变量的情形。锁提供了两种主

2016-04-18 15:38:24 6907

原创 Java并发编程(一)----深入分析Volatile的实现原理

引言在多线程并发编程中synchronized和Volatile都扮演着重要的角色，Volatile是轻量级的synchronized，它在多处理器开发中保证了共享变量的“可见性”。可见性的意思是当一个线程修改一个共享变量时，另外一个线程能读到这个修改的值。它在某些情况下比synchronized的开销更小，本文将深入分析在硬件层面上Inter处理器是如何实现Volatile的，通过深入分析能...

2016-04-18 11:47:45 755

原创 Java序列化的几种方式

本文着重讲解一下Java序列化的相关内容。如果对Java序列化感兴趣的同学可以研究一下。一.Java序列化的作用有的时候我们想要把一个Java对象变成字节流的形式传出去，有的时候我们想要从一个字节流中恢复一个Java对象。例如，有的时候我们想要把一个Java对象写入到硬盘或者传输到网路上面的其它计算机，这时我们就需要自己去通过java把相应的对象写成转换成字节

2016-04-18 11:13:55 20463

原创基于storm的实时数据处理方案

1 文档说明该文档描述的是以storm为主体的实时处理架构，该架构包括了数据收集部分，实时处理部分，及数据落地部分。关于不同部分的技术选型与业务需求及个人对相关技术的熟悉度有关，会一一进行分析。该架构是本人所掌握的一种架构，可能会与其他架构有相似的部分，个人会一一解释对其的理解。这个文章写的很详细，相信对大家在实时处理整体理解上会有帮助的。 2 实时

2016-04-16 18:15:20 9084

原创 Kafka特性介绍

==是什么 == 简单的说，Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue) 目标Scope（解决什么问题） kafka开发的主要初衷目标是构建一个用来处理海量日志，用户行为和网站运营统计等的数据处理框架。在结合了数据挖掘，行为分析，运营监控等需求的情况下，需要能够满足各种实时在线和批量离线处理应用场合对

2016-04-16 16:03:25 2595 1

原创 Kafka工作原理

消息队列消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中，为了集成分布式应用，开发者需要对异构网络环境下的分布式应用提供有效的通信手段。为了管理需要共享的信息，对应用提供公共的信息交换机制是重要的。常

2016-04-16 15:51:50 8060

原创 Mina工作原理分析

Mina是Apache社区维护的一个开源的高性能IO框架，在业界内久经考验，广为使用。Mina与后来兴起的高性能IO新贵Netty一样，都是韩国人Trustin Lee的大作，二者的设计理念是极为相似的。在作为一个强大的开发工具的同时，这两个框架的优雅设计和不俗的表现，有很多地方是值得学习和借鉴的。本文将从Mina工作原理的角度出发，对其结构进行分析。总体结构Mina的底层依赖的主

2016-04-14 10:25:22 2269

原创 Redis实现秒杀系统

导论曾经被问过好多次怎样实现秒杀系统的问题。昨天又在CSDN架构师微信群被问到了。因此这里把我设想的实现秒杀系统的价格设计分享出来。供大家参考。秒杀系统的架构设计秒杀系统，是典型的短时大量突发访问类问题。对这类问题，有三种优化性能的思路：写入内存而不是写入硬盘、异步处理而不是同步处理、分布式处理用上这三招，不论秒杀时负载多大，都能轻松应对。更好的是，Redi

2016-04-13 17:56:42 6071

原创一个故事讲清楚 NIO

假设某银行只有10个职员。该银行的业务流程分为以下4个步骤：1）顾客填申请表（5分钟）；2）职员审核（1分钟）；3）职员叫保安去金库取钱（3分钟）；4）职员打印票据，并将钱和票据返回给顾客（1分钟）。我们看看银行不同的工作方式对其工作效率到底有何影响。1 BIO方式每来一个顾客，马上由一位职员来接待处理，并且这个职员需要负责以上4个完整流程。当超过10个顾客

2016-04-13 17:40:43 879

原创 RPC原理

在校期间大家都写过不少程序，比如写个hello world服务类，然后本地调用下，如下所示。这些程序的特点是服务消费方和服务提供方是本地调用关系。而一旦踏入公司尤其是大型互联网公司就会发现，公司的系统都由成千上万大大小小的服务组成，各服务部署在不同的机器上，由不同的团队负责。这时就会遇到两个问题：1）要搭建一个新服务，免不了需要依赖他人的服务，而现在他人的服务都在远端，怎么调用？2）其它团

2016-04-13 17:38:30 4976

原创 JVM频繁Full GC的情况及应对策略

堆内存划分为 Eden、Survivor 和 Tenured/Old 空间，如下图所示：从年轻代空间（包括 Eden 和 Survivor 区域）回收内存被称为 Minor GC，对老年代GC称为Major GC,而Full GC是对整个堆来说的，在最近几个版本的JDK里默认包括了对永生带即方法区的回收（JDK8中无永生带了），出现Full GC的时候经常伴随至少一次的Minor

2016-04-13 16:58:41 14272 1

原创 full gc频繁的分析及解决案例

现象系统报警full gc次数过多，每2分钟达到了5～6次，这是不正常的现象在full gc报警时的gc.log如下：在full gc报警时的jstat如下：sudo -u admin -H /opt/taobao/java/bin/jstat -gcutil `pgrep java` 2000 100 此时的cpu如下（基本都是在做gc）：将应用重启后，问题

2016-04-13 16:44:39 11065

原创 TCP/IP(十二)TCP的超时与重传

超时重传是TCP协议保证数据可靠性的另一个重要机制，其原理是在发送某一个数据以后就开启一个计时器，在一定时间内如果没有得到发送的数据报的ACK报文，那么就重新发送数据，直到发送成功为止。1.超时超时时间的计算是超时的核心部分，TCP要求这个算法能大致估计出当前的网络状况，虽然这确实很困难。要求精确的原因有两个：(1)定时长久会造成网络利用率不高。(2)定时太短会造成多次重传，使得网

2016-04-13 13:44:02 2064

原创 TCP/IP(十一)TCP滑动窗口和拥塞控制

目前建立在TCP协议上的网络协议特别多，有telnet，ssh，有ftp，有http等等。这些协议又可以根据数据吞吐量来大致分成两大类：(1)交互数据类型，例如telnet，ssh，这种类型的协议在大多数情况下只是做小流量的数据交换，比如说按一下键盘，回显一些文字等等。(2)数据成块类型，例如ftp，这种类型的协议要求TCP能尽量的运载数据，把数据的吞吐量做到最大，并尽可能的提高效率。针对这两种情

2016-04-13 10:47:38 22369

原创 TCP/IP(十)TCP三次握手与四次挥手

建立TCP需要三次握手才能建立，而断开连接则需要四次握手。整个过程如下图所示：先来看看如何建立连接的。首先Client端发送连接请求报文，Server段接受连接后回复ACK报文，并为这次连接分配资源。Client端接收到ACK报文后也向Server段发生ACK报文，并分配资源，这样TCP连接就建立了。那如何断开连接呢？简单的过程如下：

2016-04-13 09:16:59 5532

原创 TCP/IP(九)TCP协议概述

终于看到了TCP协议，这是TCP/IP详解里面最重要也是最精彩的部分，要花大力气来读。前面的TFTP和BOOTP都是一些简单的协议，就不写笔记了，写起来也没啥东西。TCP和UDP处在同一层---运输层，但是TCP和UDP最不同的地方是，TCP提供了一种可靠的数据传输服务，TCP是面向连接的，也就是说，利用TCP通信的两台主机首先要经历一个“拨打电话”的过程，等到通信准备结束才开始传输数据，

2016-04-13 09:12:20 765

原创 TCP/IP(八)DNS域名系统

前面已经提到了访问一台机器要靠IP地址和MAC地址，其中，MAC地址可以通过ARP协议得到，所以这对用户是透明的，但是IP地址就不行，无论如何用户都需要用一个指定的IP来访问一台计算机，而IP地址又非常不好记，于是就出现了DNS系统1.DNS系统介绍DNS的全称是Domain Name System。它负责把FQDN(就是以"."分隔结尾的名字)翻译成一个IP。最初的DNS系统使用

2016-04-12 18:10:23 907

原创 TCP/IP(七)广播和多播，IGMP协议

1.单播，多播，广播的介绍1.1.单播(unicast)单播是说，对特定的主机进行数据传送。例如给某一个主机发送IP数据包。这时候，数据链路层给出的数据头里面是非常具体的目的地址，对于以太网来说，就是网卡的MAC地址（不是FF-FF-FF-FF-FF-FF这样的地址）。现在的具有路由功能的主机应该可以将单播数据定向转发，而目的主机的网络接口则可以过滤掉和自己MAC地址不一致的数

2016-04-12 18:00:13 953

原创 TCP/IP(六)UDP

1.UDP简要介绍UDP是传输层协议，和TCP协议处于一个分层中，但是与TCP协议不同，UDP协议并不提供超时重传，出错重传等功能，也就是说其是不可靠的协议。2.UDP协议头2.1.UDP端口号由于很多软件需要用到UDP协议，所以UDP协议必须通过某个标志用以区分不同的程序所需要的数据包。端口号的功能就在于此，例如某一个UDP程序A在系统中注册了3000端口，那么，

2016-04-12 17:51:45 729

原创 TCP/IP(五)IP选路和动态选路

1.静态IP选路1.1.一个简单的路由表选路是IP层最重要的一个功能之一。前面的部分已经简单的讲过路由器是通过何种规则来根据IP数据包的IP地址来选择路由。这里就不重复了。首先来看看一个简单的系统路由表。Destination Gateway Genmask Flags Metric Ref Use Iface192.168.11.

2016-04-12 17:38:45 807

原创 TCP/IP(四)ICMP协议，ping和Traceroute

1.IMCP协议介绍前面讲到了，IP协议并不是一个可靠的协议，它不保证数据被送达，那么，自然的，保证数据送达的工作应该由其他的模块来完成。其中一个重要的模块就是ICMP(网络控制报文)协议。当传送IP数据包发生错误－－比如主机不可达，路由不可达等等，ICMP协议将会把错误信息封包，然后传送回给主机。给主机一个处理错误的机会，这也就是为什么说建立在IP层以上的协议是可能做到安全的原

2016-04-12 16:37:58 1303

原创 TCP/IP(三)IP协议，ARP协议，RARP协议

把这三个协议放到一起学习是因为这三个协议处于同一层，ARP协议用来找到目标主机的Ethernet网卡Mac地址，IP则承载要发送的消息。数据链路层可以从ARP得到数据的传送信息，而从IP得到要传输的数据信息。1.IP协议IP协议是TCP/IP协议的核心，所有的TCP，UDP，IMCP，IGCP的数据都以IP数据格式传输。要注意的是，IP不是可靠的协议，这是说，IP协议没有提供一种数

2016-04-12 16:26:16 860

原创 TCP/IP(二)数据链路层

数据链路层有三个目的：为IP模块发送和接收IP数据报。为ARP模块发送ARP请求和接收ARP应答。为RARP发送RARP请求和接收RARP应答ip大家都听说过。至于ARP和RARP，ARP叫做地址解析协议，是用IP地址换MAC地址的一种协议，而RARP则叫做逆地址解析协议，在tcp/ip协议的后面章节会介绍它们（在局域网里面用ARP协议可以很容易的搞瘫痪网络哦）数据链路

2016-04-12 16:23:07 763

原创 TCP/IP(一)基础

为什么会有TCP/IP协议在世界上各地，各种各样的电脑运行着各自不同的操作系统为大家服务，这些电脑在表达同一种信息的时候所使用的方法是千差万别。就好像圣经中上帝打乱了各地人的口音，让他们无法合作一样。计算机使用者意识到，计算机只是单兵作战并不会发挥太大的作用。只有把它们联合起来，电脑才会发挥出它最大的潜力。于是人们就想方设法的用电线把电脑连接到了一起。但是简单的连到一起是远远不够的

2016-04-12 14:57:40 856

原创 Java中的synchronized

synchronized是针对对象的隐式锁使用的，注意是对象！举个小例子，该例子没有任何业务含义，只是为了说明synchronized的基本用法： Java代码 Class MyClass(){ synchronized void myFunction(){ //do something } } pu

2016-04-11 17:43:38 2306

原创 Java NIO(6)----NIO与IO

当学习了Java NIO和IO的API后，一个问题马上涌入脑海：我应该何时使用IO，何时使用NIO呢？在本文中，我会尽量清晰地解析Java NIO和IO的差异、它们的使用场景，以及它们如何影响您的代码设计。Java NIO和IO的主要区别下表总结了Java NIO和IO之间的主要差别，我会更详细地描述表中每部分的差异。IO

2016-04-09 19:02:18 2550

原创 Java NIO(5)----Pipe

Java NIO 管道是2个线程之间的单向数据连接。Pipe有一个source通道和一个sink通道。数据会被写到sink通道，从source通道读取。这里是Pipe原理的图示：创建管道通过Pipe.open()方法打开管道。例如：1Pipe pipe = Pipe.open();

2016-04-09 19:01:09 468

原创 Java NIO(4)----几种Channel

Java NIO中的FileChannel是一个连接到文件的通道。可以通过文件通道读写文件。FileChannel无法设置为非阻塞模式，它总是运行在阻塞模式下。打开FileChannel在使用FileChannel之前，必须先打开它。但是，我们无法直接打开一个FileChannel，需要通过使用一个InputStream、OutputStream或RandomAccessF

2016-04-09 18:56:52 10117

原创 Java NIO(3)----Selector

Selector（选择器）是Java NIO中能够检测一到多个NIO通道，并能够知晓通道是否为诸如读写事件做好准备的组件。这样，一个单独的线程可以管理多个channel，从而管理多个网络连接。下面是本文所涉及到的主题列表：为什么使用Selector?Selector的创建向Selector注册通道SelectionKey通过Selector选择通道wakeUp()close()完整

2016-04-09 18:25:33 655

原创 Java NIO(2)----数据传输

Java NIO开始支持scatter/gather，scatter/gather用于描述从Channel（译者注：Channel在中文经常翻译为通道）中读取或者写入到Channel的操作。分散（scatter）从Channel中读取是指在读操作时将读取的数据写入多个buffer中。因此，Channel将从Channel中读取的数据“分散（scatter）”到多个Buffer中。聚集（ga

2016-04-09 18:24:36 504

原创 Java NIO(1)----Channel 和 Buffer

Java NIO 由以下几个核心部分组成：ChannelsBuffersSelectors虽然Java NIO 中除此之外还有很多类和组件，但在我看来，Channel，Buffer 和 Selector 构成了核心的API。其它组件，如Pipe和FileLock，只不过是与三个核心组件共同使用的工具类。因此，在概述中我将集中在这三个组件上。其它组件会在单独的章节中讲到。Ch

2016-04-09 18:21:23 2634

原创 MongoDB常用命令合集

一、数据库常用命令1、Help查看命令提示复制代码代码如下:helpdb.help();db.yourColl.help();db.youColl.find().help();rs.help();2、切换/创建数据库复制代码代码如下:use yourDB; 当创建一个集合(table)的时候会自动创建当前数据库3、查询所有数据库复制代码代码如下:show ...

2016-04-08 17:47:43 1042

原创 Cookie和Session

会话（Session）跟踪是Web程序中常用的技术，用来跟踪用户的整个会话。常用的会话跟踪技术是Cookie与Session。Cookie通过在客户端记录信息确定用户身份，Session通过在服务器端记录信息确定用户身份。本章将系统地讲述Cookie与Session机制，并比较说明什么时候不能用Cookie，什么时候不能用Session。Cookie机制

2016-04-06 18:34:49 3635

end's coding life