2017年03月_haozi_ncepu

原创 Google Guava之--cache 使用

一、简介　　Google Guava包含了Google的Java项目许多依赖的库，如：集合 [collections] 、缓存 [caching] 、原生类型支持 [primitives support] 、并发库 [concurrency libraries] 、通用注解 [common annotations] 、字符串处理 [string processing] 、I/O 等等。本文只介

2017-03-31 15:16:51 1021

原创 Google Guava Cache--localcache本地缓存实例

何为缓存？本地缓存类似于map，当给定一个key，首先查找缓存中是否已经有值了，如果有则直接返回数据；相反如果不存在这样的key，则将新的内容value值缓存起来，以便下一次来查询，可以快速返回。当然缓存不是说value值一直不变，会按照一定的失效策略来更新缓存中的数据。缓存的常用使用场景有：（1）在高并发的数据库访问时，为了抗住数据库并发连接压力，将数据缓存起来，当有请求

2017-03-31 14:46:37 7265

原创 Redis数据结构详解之Zset

Zset跟Set之间可以有并集运算，因为他们存储的数据字符串集合，不能有一样的成员出现在一个zset中，但是为什么有了set还要有zset呢？zset叫做有序集合，而set是无序的，zset怎么做到有序的呢？就是zset的每一个成员都有一个分数与之对应，并且分数是可以重复的。有序集合的增删改由于有啦排序，执行效率就是非常快速的，即便是访问集合中间的数据也是非常高效的。下面我来展示下操作zs

2017-03-31 11:30:02 1722

CountDownLatch的一个非常典型的应用场景是：有一个任务想要往下执行，但必须要等到其他的任务执行完毕后才可以继续往下执行。假如我们这个想要继续往下执行的任务调用一个CountDownLatch对象的await()方法，其他的任务执行完自己的任务后调用同一个CountDownLatch对象上的countDown()方法，这个调用await()方法的任务将一直阻塞等待，直到这个CountDo

2017-03-30 19:21:43 208

转载 Java 并发工具包 java.util.concurrent 用户指南

译序本指南根据 Jakob Jenkov 最新博客翻译，请随时关注博客更新：http://tutorials.jenkov.com/java-util-concurrent/index.html。本指南已做成中英文对照阅读版的 pdf 文档，有兴趣的朋友可以去 Java并发工具包java.util.concurrent用户指南中英文对照阅读版.pdf[带书签] 进行下载。

2017-03-30 15:44:18 1693

转载 ConcurrentLinkedQueue的实现原理分析

1. 引言在并发编程中我们有时候需要使用线程安全的队列。如果我们要实现一个线程安全的队列有两种实现方式一种是使用阻塞算法，另一种是使用非阻塞算法。使用阻塞算法的队列可以用一个锁（入队和出队用同一把锁）或两个锁（入队和出队用不同的锁）等方式来实现，而非阻塞的实现方式则可以使用循环CAS的方式来实现，本文让我们一起来研究下Doug Lea是如何使用非阻塞的方式来实现线程安全队列Concu

2017-03-30 15:22:47 487

转载 Java魔法类：sun.misc.Unsafe

Unsafe类在jdk 源码的多个类中用到，这个类的提供了一些绕开JVM的更底层功能，基于它的实现可以提高效率。但是，它是一把双刃剑：正如它的名字所预示的那样，它是Unsafe的，它所分配的内存需要手动free（不被GC回收）。Unsafe类，提供了JNI某些功能的简单替代：确保高效性的同时，使事情变得更简单。这篇文章主要是以下文章的整理、翻译。http://mishadoff.c

2017-03-30 15:17:06 480

转载 shell 分析log 使用例子 grep,sed,sort,awk运用

概述我们日常应用中都离不开日志。可以说日志是我们在排查问题的一个重要依据。但是日志并不是写了就好了，当你想查看日志的时候，你会发现线上日志堆积的长度已经超越了你一行行浏览的耐性的极限了。于是，很有必要通过一些手段来高效地辅助你来快速的从日志中找到你要找的问题。本文通过一个从项目中衍生出来的例子从查找日志，筛选日志和统计日志3个方面层层递进来简述日志文件查看中一些有用的手段。

2017-03-30 11:39:14 1140

原创 shell 脚本分析log

一、列出当天访问次数最多的IP命令：复制代码代码如下:cut -d- -f 1 /usr/local/apache2/logs/access_log |uniq -c | sort -rn | head -20原理：复制代码代码如下: cut -d, --delimiter=DELIM u

2017-03-30 11:04:13 2264

原创 linux 目录详解

Linux目录和Windows目录有着很大的不同，Linux目录类似一个树，最顶层是其根目录，如下图：/bin 二进制可执行命令/dev 设备特殊文件/etc 系统管理和配置文件/etc/rc.d 启动的配置文件和脚本/home 用户主目录的基点，比如用户user的主目录就是/home/user，可以用~user表示/lib 标准程序设计库，又叫动态链接共享

2017-03-30 10:11:12 406

原创 CompletionService 简介

当向Executor提交批处理任务时，并且希望在它们完成后获得结果，如果用FutureTask，你可以循环获取task，并用future.get()去获取结果，但是如果这个task没有完成，你就得阻塞在这里，这个实效性不高，其实在很多场合，其实你拿第一个任务结果时，此时结果并没有生成并阻塞，其实在阻塞在第一个任务时，第二个task的任务已经早就完成了，显然这种情况用future task不合适的，

2017-03-29 17:12:56 329

原创 lock ，tryLock lockInterruptibly 区别

ReentrantLock 锁有好几种，除了常用的lock ，tryLock ，其中有个lockInterruptibly 。先把API粘贴上来lockpublic void lock()获取锁。如果该锁没有被另一个线程保持，则获取该锁并立即返回，将锁的保持计数设置为 1。如果当前线程已经保持该锁，则将保持计数加 1，并且该方法立即返回。如果该锁被另一个线程保持，则出于线程调

2017-03-29 15:38:54 1912

原创 JDK源码分析—— ArrayBlockingQueue 和 LinkedBlockingQueue

目的：本文通过分析JDK源码来对比ArrayBlockingQueue 和LinkedBlockingQueue，以便日后灵活使用。1. 在Java的Concurrent包中，添加了阻塞队列BlockingQueue，用于多线程编程。BlockingQueue的核心方法有：boolean add(E e) ，把 e 添加到BlockingQueue里。如果BlockingQueue可以容纳

2017-03-29 15:26:46 261

原创 weakHashMap 与 hashMap 的区别详解

WeakHashMap，此种Map的特点是，当除了自身有对key的引用外，此key没有其他引用那么此map会自动丢弃此值，见实例：此例子中声明了两个Map对象，一个是HashMap，一个是WeakHashMap，同时向两个map中放入a、b两个对象，当HashMap remove掉a 并且将a、b都指向null时，WeakHashMap中的a将自动被回收掉。出现这个状况的原因是，对于a对象而

2017-03-29 15:01:28 1017

转载 redis 一致性hash算法

网站为了支撑更大的用户访问量，往往需要对用户访问的数据做cache,服务机群和负载均衡来专门处理缓存，负载均衡的算法很多，轮循算法、哈希算法、最少连接算法、响应速度算法等，hash算法是比较常用的一种，它的常用思想是先计算出一个hash值，然后使用 CRC余数算法将hash值和机器数mod后取余数，机器的编号可以是0到N-1(N是机器数)，计算出的结果一一对应即可。缓存最关键的就

2017-03-29 13:01:03 12927 2

原创 redis Pool 的配置及使用

一、jedis池的介绍相信大家都用过线程池或者是jdbc的连接池，使用池可以减少系统在使用所需对象时创建对象的开销，从而提高系统性能和效率。jedis池也是如此，那么我们该如何使用jedis池呢？二、jedis池的使用1.所需jar包：commons-pool.jar、jedis-2.1.0.jar2.编写Redis配置文件（redis.properties）：

2017-03-29 11:23:19 3992

原创 redis pool 的使用

一、jedis池的介绍相信大家都用过线程池或者是jdbc的连接池，使用池可以减少系统在使用所需对象时创建对象的开销，从而提高系统性能和效率。jedis池也是如此，那么我们该如何使用jedis池呢？二、jedis池的使用1.所需jar包：commons-pool.jar、jedis-2.1.0.jar2.编写Redis配置文件（redis.properties）：

2017-03-29 11:22:17 687

原创缓存一致性哈希算法

使用场景现在我们假设有100台redis data服务器，一份数据101进来的时候，以散列公式hash(i)&100，计算所存放的服务器，假设hash(i) = i,那么数据被散列到标号为1的服务器,然后这个时候服务器新增了一台，然后散列公式为hash(i)%101，这个时候请求访问数据101的时候，被分配至0号服务器，但是其实这个时候数据是在1号服务器的。所以这个时候大量的数据失

2017-03-29 11:02:19 301

原创命令模式

1. 概述　　将一个请求封装为一个对象(即我们创建的Command对象），从而使你可用不同的请求对客户进行参数化; 对请求排队或记录请求日志，以及支持可撤销的操作。2. 解决的问题　　在软件系统中，行为请求者与行为实现者通常是一种紧耦合的关系，但某些场合，比如需要对行为进行记录、撤销或重做、事务等处理时，这种无法抵御变化的紧耦合的设计就不太合适。3. 模式中角色

2017-03-29 10:18:24 220

原创 logback 详解

一：根节点包含的属性： scan:当此属性设置为true时，配置文件如果发生改变，将会被重新加载，默认值为true。scanPeriod:设置监测配置文件是否有修改的时间间隔，如果没有给出时间单位，默认单位是毫秒。当scan为true时，此属性生效。默认的时间间隔为1分钟。debug:当此属性设置为true时，将打印出logback内部日志信

2017-03-28 17:42:10 292

原创 spring boot hystrix 服务降级源码

hystrix是微服务中用于做熔断、降级的工具。作用：防止因为一个服务的调用失败、调用延时导致多个请求的阻塞以及多个请求的调用失败。1、pom.xml（引入hystrix-core包）1 2 3 com.netflix.hystrix4 hystrix-core5

2017-03-28 13:26:55 3850

转载分布式事务原理

不同于单一架构应用(Monolith), 分布式环境下, 进行事务操作将变得困难, 因为分布式环境通常会有多个数据源, 只用本地数据库事务难以保证多个数据源数据的一致性. 这种情况下, 可以使用两阶段或者三阶段提交协议来完成分布式事务.但是使用这种方式一般来说性能较差, 因为事务管理器需要在多个数据源之间进行多次等待. 有一种方法同样可以解决分布式事务问题, 并且性能较好, 这就是我这篇文章要介绍

2017-03-28 13:19:28 282

原创 Dashboard Hystrix 服务监控

使用Hystrix守护应用（3）监控HystrixCommand除了隔离依赖服务的调用外，Hystrix还提供了近乎实时的监控，Hystrix会实时的，累加的记录所有关于HystrixCommand的执行信息，包括执行了每秒执行了多少请求，多少成功，多少失败等等，更多指标请查看：https://github.com/Netflix/Hystrix/wiki/Metrics-and-Moni

2017-03-28 13:04:39 10051

原创 turbine hystrix 服务监控

一、使用turbine的意义引入多个hystrix stream：1、使用hystrix-dashboard的可以添加多个stream的功能图中添加的两个stream会在真正monitor的时候分开展示，这样的话，假设两个stream都引用了同一个方法a，那么方法a会分开展示两次，如下：实际上我们只需要统计a的处理能力，与谁调用无关，所以希望在整个d

2017-03-28 12:57:41 4243 1

转载 Hystrix 服务降级与监控

一:为什么需要Hystrix?在大中型分布式系统中，通常系统很多依赖(HTTP,hession,Netty,Dubbo等)，如下图: 在高并发访问下,这些依赖的稳定性与否对系统的影响非常大,但是依赖有很多不可控问题:如网络连接缓慢，资源繁忙，暂时不可用，服务脱机等.如下图：QPS为50的依赖 I 出现不可用，但是其他依赖仍然可用. 当

2017-03-28 12:49:18 3658

转载服务熔断讲解及简单代码实现

随着微服务架构被宣传得如火如荼，一些概念也被推到了我们面前（管你接受不接受），其实大多数概念以前就有，但很少被提的这么频繁（现在好像不提及都不好意思交流了）。想起有人总结的一句话，微服务架构的特点就是：“一解释就懂，一问就不知，一讨论就吵架”。其实对老外的总结能力一直特别崇拜，Kevin Kelly、Martin Fowler、Werner Vogels……，都是著名的“演讲家”。正好这段时间

2017-03-27 17:50:08 11354

原创 jdk 中的timer 和timertask

目录结构：Timer和TimerTask一个Timer调度的例子如何终止Timer线程关于cancle方式终止线程反复执行一个任务schedule VS. scheduleAtFixedRate一些注意点1. Timer和TimerTask　　Timer是jdk中提供的一个定时器工具，使用的时候会在主线程之外起一个单独的线程执行指定的计划任务，可以指定执行一次或者反复执

2017-03-27 17:24:03 205

转载 httpconnection 多线程 MultiThreadedHttpConnectionManager

这篇文章概括了怎样在多线程环境下安全的使用HttpClient。建立连接在HttpClient中使用多线程的一个主要原因是可以一次执行多个方法。在执行期间，每一个方法都使用一个HttpConnection实例。由于在同一时间多个连接只能安全地用于单一线程和方法和有限的资源，我们就必须确保连接分配给正确的方法。而MultiThreadedHttpConnectionM

2017-03-27 16:56:38 3977

原创 spring boot 入门

1. Spring Boot是什么，解决哪些问题 1) Spring Boot使编码变简单 2) Spring Boot使配置变简单 3) Spring Boot使部署变简单 4) Spring Boot使监控变简单 5) Spring Boot的不足2. Spring Boot在平台中的定位，相关技术如何融合

2017-03-27 16:23:02 724

转载微服务架构

编者按：InfoQ开设栏目“品味书香”，精选技术书籍的精彩章节，以及分享看完书留下的思考和收获，欢迎大家关注。本文节选自李林锋著《分布式服务框架原理与实践》中的章节“服务化最佳实践”，对服务化之后面临的挑战进行分析，并给出解决方案和业务最佳实践。在服务化之前，业务通常都是本地API调用，本地方法调用性能损耗较小。服务化之后，服务提供者和消费者之间采用远程网络通信，增加了额外的性能损耗，业务

2017-03-27 15:34:47 1335

原创 dubbo 服务降级

经历过12306抢票的人应该经常会遇到这个问题：在抢票高峰的时候，明明票还有，但是查询出来的列表却是为空的（如果没票列表也应该会呈现）；等高峰过后再查询，列表又恢复正常。个人猜测应该是查询过程中出现了问题，要么超时，要么网络问题导致查询失败采用的服务降级处理。所以，最终呈现给用户的并不是内部系统出错之类的提示，而是一个空的列表。服务降级，当服务器压力剧增时，根据当前业务情况及流量对一些服务

2017-03-27 13:52:52 1499 2

转载服务限频与降级

什么是限频和服务降级 ?要保证一个大流量对外服务的稳定性, 通常我们很相当注意两个功能控制… 一个是请求的限流，一个是服务降级处理，他的意义在于不会让你的服务全瘫痪了，你可以适当的损失点东西利益，来保证最基础的功能, 这就是过载保护.每个接口所能提供的单位时间服务能力是有限的。超过服务服务的承载能力，一般会造成整个接口服务停顿，或者应用 Crash毁掉，或者带

2017-03-27 13:40:30 2001

原创服务降级

Dubbo学习(七)：服务的升级和降级发表于2016/3/31 16:40:44 3278人阅读分类： Dubbo1.开关先讲一下开关的由来，例如京东在6月18日做店庆促销活动，在交易下单环节，可能需要调用A、B、C三个接口来完成，但是其实A和B是必须的，C只是附加的功能（例如在下单的时候做一下推荐），可有可无，在平时系统没有压力，容量充足的

2017-03-27 13:32:43 495

原创 dubbo 暴露服务和引用服务

1. Dubbo概述Dubbo是阿里巴巴开源出来的一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及作为SOA服务治理的方案。它的核心功能包括：#remoting:远程通讯基础，提供对多种NIO框架抽象封装，包括“同步转异步”和“请求-响应”模式的信息交换方式。#Cluster: 服务框架核心，提供基于接口方法的远程过程调用，包括多协议支持

2017-03-27 11:46:20 5270

原创 JAVA深入研究——Method的Invoke方法。

JAVA深入研究——Method的Invoke方法。　　在写代码的时候，发现从父类class通过getDeclaredMethod获取的Method可以调用子类的对象，而子类改写了这个方法，从子类class通过getDeclaredMethod也能获取到Method，这时去调用父类的对象也会报错。虽然这是很符合多态的现象，也符合java的动态绑定规范，但还是想弄懂java是如何

2017-03-27 10:46:42 2740

转载 Callable和Future

接着上一篇继续并发包的学习，本篇说明的是Callable和Future，它俩很有意思的，一个产生结果，一个拿到结果。 Callable接口类似于Runnable，从名字就可以看出来了，但是Runnable不会返回结果，并且无法抛出返回结果的异常，而Callable功能更强大一些，被线程执行后，可以返回值，这个返回值可以被Future拿到，也就是说，Future可以拿到异步执行任务

2017-03-27 10:18:48 255

原创 Runnable、Callable、Future、FutureTask

Java中存在Runnable、Callable、Future、FutureTask这几个与线程相关的类或者接口，在Java中也是比较重要的几个概念，我们通过下面的简单示例来了解一下它们的作用于区别。Runnable其中Runnable应该是我们最熟悉的接口，它只有一个run()函数，用于将耗时操作写在其中，该函数没有返回值。然后使用某个线程去执行该runnable即可实现多线程，Th

2017-03-27 09:47:19 280

原创 dubbo 注册中心及负载均衡

近期都在谈微服务，本人也正在做相关的工作，应领导要求做了一个微服务的分享，本篇文章主要来源于分享的PPT，所以有些简单，有问题可以在下面留言，大家一起讨论。本篇文章先简单介绍了互联网架构的演变，进而介绍了服务化，最后再介绍微服务，微服务是服务治理的升级也是互联网架构的进一步延伸。互联网架构演变一体架构在计算机软件发展早期，一般桌面软件都是采用这种架构，不管是界面还

2017-03-24 19:03:03 11802

原创 hashMap 与 TreeMap 的区别

首先介绍一下什么是Map。在数组中我们是通过数组下标来对其内容索引的，而在Map中我们通过对象来对对象进行索引，用来索引的对象叫做key，其对应的对象叫做value。这就是我们平时说的键值对。HashMap通过hashcode对其内容进行快速查找，而 TreeMap中所有的元素都保持着某种固定的顺序，如果你需要得到一个有序的结果你就应该使用TreeMap（HashMap中元素的排列顺序是不

2017-03-24 16:27:34 361

原创 ThreadLocal 学习

ThreadLocal是什么　　早在JDK 1.2的版本中就提供Java.lang.ThreadLocal，ThreadLocal为解决多线程程序的并发问题提供了一种新的思路。使用这个工具类可以很简洁地编写出优美的多线程程序。　　当使用ThreadLocal维护变量时，ThreadLocal为每个使用该变量的线程提供独立的变量副本，所以每一个线程都可以独立地改变自己的副本，而不会影

2017-03-23 11:16:00 213

kafka 技术内幕 图文详解Kafka源码设计与实现

disruptor 实例

netty 架构剖析 和源码解读

zookeeper 分布式锁

令牌桶Java实现

turbine-web-1.0.0.war

MySQL编译安装、主从复制的配置（CentOS-6.6+MySQL-5.6）

Redis集群的安装、高可用测试、扩展测试---带源码

ActiveMQ高可用+负载均衡集群的安装、配置、高可用测试

ActiveMQ的安装与使用

Hudson持续集成服务器的安装与配置

SonarQube代码质量管理平台的介绍与安装

svn jsvnadmin 搭建 svn服务器

tomcat 启动 重启 shell 脚本

redis 单点登录

tika-app-1.0

空空如也

kafka 技术内幕图文详解Kafka源码设计与实现

netty 架构剖析和源码解读

tomcat 启动重启 shell 脚本