2017年05月_haozi_ncepu

09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Scala 强大的集合数据操作示例

Scala是数据挖掘算法领域最有力的编程语言之一，语言本身是面向函数，这也符合了数据挖掘算法的常用场景：在原始数据集上应用一系列的变换，语言本身也对集合操作提供了众多强大的函数，本文将以List类型为例子，介绍常见的集合变换操作。一、常用操作符（操作符其实也是函数）++ ++[B](that: GenTraversableOnce[B]): List[B] 从列表的尾部添加另外一个

2017-05-31 13:55:08 1053

转载 log 输出日志

logback系列之一：输出日志到控制台 logback系列之二：输出日志到文件 logback系列之三：输出日志到文件（滚动） logback系列之四：输出日志到不同文件为了方便查看和归档：不同包的日志可能要放到不同的文件中，如service层和dao层的日志；不同日志级别：调试、信息、警告和错误等也要分文件输出。一、根据包输出，通过logger的

2017-05-27 16:58:42 5893

转载 spring boot注解及启动过程

转自http://blog.csdn.net/isea533/article/details/50278205点击打开链接Spring Boot 入门spring Boot是Spring社区较新的一个项目。该项目的目的是帮助开发者更容易的创建基于Spring的应用程序和服务，让更多人的人更快的对Spring进行入门体验，让Java开发也能够实现Ruby on Rails那样的生

2017-05-24 15:59:27 4440

原创 SpringBoot 启动解析

前面几章我们见识了SpringBoot为我们做的自动配置，确实方便快捷，但是对于新手来说，如果不大懂SpringBoot内部启动原理，以后难免会吃亏。所以这次博主就跟你们一起一步步揭开SpringBoot的神秘面纱，让它不在神秘。正文我们开发任何一个Spring Boot项目，都会用到如下的启动类@SpringBootApplicationpublic class A

2017-05-24 15:53:54 1511

转载 RabbitMQ和kafka从几个角度简单的对比

在应用场景方面，RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。kafka是Linkedin于2010年12月份开源的消息发布订阅系统,它主要用于处理活跃的流式数据,大数据量的数据处理上。1)在架构模型方面，RabbitMQ遵循AMQP协议，RabbitMQ的broker由Exchange,Bind

2017-05-22 11:45:15 1111

转载 linux 零拷贝

零拷贝技术的相关背景知识传统的 Linux 操作系统的标准 I/O 接口是基于数据拷贝操作的，即 I/O 操作会导致数据在操作系统内核地址空间的缓冲区和应用程序地址空间定义的缓冲区之间进行传输，这样做最大的好处是可以减少实际的物理磁盘 I/O 操作。但是数据传输过程中的数据拷贝操作却导致了极大的 CPU 开销，限制了操作系统有效进行数据传输操作的能力。简单一点来说，零拷贝就是一种避

2017-05-22 09:54:47 413

转载分布式消息系统：Kafka

Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消

2017-05-19 19:15:49 488

转载 kafka 理解

Apache Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩展；它同时为发布和订阅提供高吞吐量；它支持多订阅者，当失败时能自动平衡消费者；它将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。本文我将重点介绍Apache Kafka的架构、特性和特点，帮助我们理解Kafka为何比传统消息服务更好。

2017-05-19 17:55:35 1166

转载 kafka 理解

问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a distributed,partitioned

2017-05-19 17:41:45 425

转载 http协议深入理解

1. 基础概念篇1.1 介绍 HTTP是Hyper Text Transfer Protocol（超文本传输协议）的缩写。它的发展是万维网协会（World Wide Web Consortium）和Internet工作小组IETF（Internet Engineering Task Force）合作的结果，（他们）最终发布了一系列的RFC，RFC 1945定义了HTTP/1.0版本。其中

2017-05-18 11:10:07 1113

原创断点续传

一、web及网络基础 1、HTTP的历史 1.1、HTTP的概念： HTTP(Hyper Text Transfer Protocol,超文本传输协议)是一种通信协议，它允许将超文本标记语言(HTML)文档从Web服务器传送到客户端的浏览器。它是一个应用层协议，承载于TCP之上。由请求和响应构成，是一个标准的客户端服务器模型 1.2、HTTP的发展历史：作为Web文档传输协议的HTTP，它的版

2017-05-18 10:14:17 574

转载 disruptor 解析

disruptor 实例代码：一个仅仅部署在4台服务器上的服务，每秒向Database写入数据超过100万行数据，每分钟产生超过1G的数据。而每台服务器（8核12G）上CPU占用不到100%，load不超过5。这是怎么做到呢？下面将给你描述这个架构，它的核心是一个高效缓冲区设计，我们对它的要求是：1，该缓存区要尽量简单2，尽量避免生产者线程和消费者线程锁3，尽量避

2017-05-17 14:07:10 2436

原创 spring data jps

从一个简单的 JPA 示例开始本文主要讲述 Spring Data JPA，但是为了不至于给 JPA 和 Spring 的初学者造成较大的学习曲线，我们首先从 JPA 开始，简单介绍一个 JPA 示例；接着重构该示例，并引入 Spring 框架，这两部分不会涉及过多的篇幅，如果希望能够深入学习 Spring 和 JPA，可以根据本文最后提供的参考资料进一步学习。自 JPA 伴随 J

2017-05-17 11:12:29 955

转载 spring mvc 的jpa JpaRepository数据层访问方式汇总

AppleFramework在数据访问控制层采用了Spring Data作为这一层的解决方案，下面就对Spring Data相关知识作一个较为详细的描述。 1.Spring Data所解决的问题 Spring Data :提供了一整套数据访问层(DAO)的解决方案，致力于减少数据访问层(DAO)的开发量。它使用一个叫作Repository的接口类为基础，它被定义为访问底层数据模型的超级接口

2017-05-17 10:27:29 671

原创 java new　内存分配

1.Java的内存机制　Java 把内存划分成两种：一种是栈内存，另一种是堆内存。在函数中定义的一些基本类型的变量和对象的引用变量都是在函数的栈内存中分配，当在一段代码块定义一个变量时，Java 就在栈中为这个变量分配内存空间，当超过变量的作用域后（比如，在函数A中调用函数B，在函数B中定义变量a，变量a的作用域只是函数B，在函数B运行完以后，变量a会自动被销毁。分配给它的内存会被回收），

2017-05-16 14:40:41 6254 1

转载 netty 引用计数器，垃圾回收

从Netty 4起，对象的生命周期由它们的引用计数来管理，因此，一旦对象不再被引用后，Netty 会将它（或它共享的资源）归还到对象池（或对象分配器）。在垃圾回收和引用队列不能保证这么有效、实时的不可达性检测的情况下，引用计数以牺牲轻微的便利性为代价，提供了另一种可选的解决方案。最值得注意的类型是ByteBuf，它正是利用了引用计数来提升内存分配和释放的性能。这一节将用ByteBuf来讲述引

2017-05-15 16:23:30 6867

转载 Netty系列之Netty高性能之道

阅读内朋友通过私信告诉我，通过使用Netty4 + Thrift压缩二进制编解码技术，他们实现了10W TPS（1K的复杂POJO对象）的跨节点远程服务调用。相比于传统基于Java序列化+BIO（同步阻塞IO）的通信框架，性能提升了8倍多。1. 背景1.1. 惊人的性能数据事实上，我对这个数据并不感到惊讶，根据我5年多的NIO编程经验，通过选择合适的

2017-05-15 15:22:19 393

转载 Spring事务管理（详解+实例）

标签：写这篇博客之前我首先读了《Spring in action》，之后在网上看了一些关于Spring事务管理的文章，感觉都没有讲全，这里就将书上的和网上关于事务的知识总结一下，参考的文章如下：Spring事务机制详解Spring事务配置的五种方式Spring中的事务管理实例详解1 初步理解理解事务之前，先讲一个你日常生活中最常干的事：取钱。比如你

2017-05-15 13:24:00 379

原创 spring 事务处理

一、事务的基本原理spring事务的本质其实就是数据库对事务的支持，没有数据库的事务支持，spring是无法提供事务功能的。对于纯JDBC操作数据库，想要用到事务，可以按照以下步骤进行：获取连接 Connection con = DriverManager.getConnection()开启事务con.setAutoCommit(true/false);执行CRUD提交事务/回滚事

2017-05-15 11:51:38 384

原创 spring 事务

一、事务的基本原理Spring事务的本质其实就是数据库对事务的支持，没有数据库的事务支持，spring是无法提供事务功能的。对于纯JDBC操作数据库，想要用到事务，可以按照以下步骤进行：获取连接 Connection con = DriverManager.getConnection()开启事务con.setAutoCommit(true/false);执行CRUD提交事务/回滚事

2017-05-15 10:54:08 265

原创 Spring @Transactional

Spring事务的传播行为在service类前加上@Transactional，声明这个service所有方法需要事务管理。每一个业务方法开始时都会打开一个事务。 Spring默认情况下会对运行期例外(RunTimeException)进行事务回滚。这个例外是unchecked 如果遇到checked意外就不回滚。如何改变默认规则： 1 让checked

2017-05-15 09:48:11 419

转载 cglib 使用及算理

一、原理代理为控制要访问的目标对象提供了一种途径。当访问对象时，它引入了一个间接的层。JDK自从1.3版本开始，就引入了动态代理，并且经常被用来动态地创建代理。JDK的动态代理用起来非常简单，当它有一个限制，就是使用动态代理的对象必须实现一个或多个接口。如果想代理没有实现接口的继承的类，该怎么办？现在我们可以使用CGLIB包。二、什么是cglib CGL

2017-05-12 15:57:32 413

转载 JDK动态代理的实现及原理

动态代理，听上去很高大上的技术，在Java里应用广泛，尤其是在hibernate和spring这两种框架里，在AOP，权限控制，事务管理等方面都有动态代理的实现。JDK本身有实现动态代理技术，但是略有限制，即被代理的类必须实现某个接口，否则无法使用JDK自带的动态代理，因此，如果不满足条件，就只能使用另一种更加灵活，功能更加强大的动态代理技术—— CGLIB。Spring里会自动在JDK的代理

2017-05-12 15:35:15 1184

ClassLoader翻译过来就是类加载器，普通的Java开发者其实用到的不多，但对于某些框架开发者来说却非常常见。理解ClassLoader的加载机制，也有利于我们编写出更高效的代码。ClassLoader的具体作用就是将class文件加载到jvm虚拟机中去，程序就可以正确运行了。但是，jvm启动的时候，并不会一次性加载所有的class文件，而是根据需要去动态加载。想想也是的，一次性加载那么多j

2017-05-12 14:02:24 861

转载 classloader 原理分析

一、什么是ClassLoader? 大家都知道，当我们写好一个Java程序之后，不是管是CS还是BS应用，都是由若干个.class文件组织而成的一个完整的Java应用程序，当程序在运行时，即会调用该程序的一个入口函数来调用系统的相关功能，而这些功能都被封装在不同的class文件当中，所以经常要从这个class文件中要调用另外一个class文件中的方法，如果另外一个文件不存在

2017-05-12 11:18:34 249

转载 treemap深入理解

TreeMap的实现是红黑树算法的实现，所以要了解TreeMap就必须对红黑树有一定的了解,其实这篇博文的名字叫做：根据红黑树的算法来分析TreeMap的实现，但是为了与Java提高篇系列博文保持一致还是叫做TreeMap比较好。通过这篇博文你可以获得如下知识点：1、红黑树的基本概念。2、红黑树增加节点、删除节点的实现过程。3、红黑树左旋转、右旋转的复杂过程。4、J

2017-05-12 10:59:54 710

原创 HashTable深入理解

有两个类都提供了一个多种用途的hashTable机制，他们都可以将可以key和value结合起来构成键值对通过put(key,value)方法保存起来，然后通过get(key)方法获取相对应的value值。一个是前面提到的HashMap，还有一个就是马上要讲解的HashTable。对于HashTable而言，它在很大程度上和HashMap的实现差不多，如果我们对HashMap比较了解的话，对Has

2017-05-11 17:35:02 831

原创 java提高篇（二四）-----HashSet

在前篇博文中（java提高篇（二三）-----HashMap）详细讲解了HashMap的实现过程，对于HashSet而言，它是基于HashMap来实现的，底层采用HashMap来保存元素。所以如果对HashMap比较熟悉，那么HashSet是so easy!!一、定义[java] view plain copy public cl

2017-05-11 17:18:26 225

原创 Java集合---HashMap源码剖析

一、HashMap概述二、HashMap的数据结构三、HashMap源码分析 1、关键属性 2、构造方法 3、存储数据 4、调整大小 5、数据读取 6、HashMap的性能参数 7、Fail-Fast机制一、Has

2017-05-11 17:01:40 323

原创 Collections Rotate详解

Collections类中常用算法之RotateCollections类简介Rotate方法使用Rotate方法源码分析小结Collections类简介Collections类是Java集合框架的一个类，其主要是一些通用的作用于Collection的算法，如排序，求极值，混淆(shuffle)等。引用Java官方文档的介绍The polymorp

2017-05-11 11:26:10 3665

原创 list set集合remove() ConcurrentModificationException 原因

方法一、 ArrayList list = new ArrayList(); list.add("one"); list.add("two"); list.add("two"); list.add("two"); list.add("two"); fo

2017-05-11 10:38:50 831

原创 list set 求交集、差集、并集

set 、list集合的交集（retainAll）、差集(removeAll)是没有区别的都是一样的.set 、list集合的合集addAll是有区别的：set可以去重复；list不去重复public static void main(String[] args) { Set result = new HashSet();

2017-05-11 10:10:47 1614

原创 JUC 可重入读写锁 ReentrantReadWriteLock

读写锁 ReadWriteLock读写锁维护了一对相关的锁，一个用于只读操作，一个用于写入操作。只要没有writer，读取锁可以由多个reader线程同时保持。写入锁是独占的。互斥锁一次只允许一个线程访问共享数据，哪怕进行的是只读操作；读写锁允许对共享数据进行更高级别的并发访问：对于写操作，一次只有一个线程（write线程）可以修改共享数据，对于读操作，允许任意数量的线程同时进行读

2017-05-10 19:44:07 397

转载 ReentrantReadWriteLock深入分析

一、ReentrantReadWriteLock与ReentrantLock 说到ReentrantReadWriteLock，首先要做的是与ReentrantLock划清界限。它和后者都是单独的实现，彼此之间没有继承或实现的关系。ReentrantLock 实现了标准的互斥操作，也就是一次只能有一个线程持有锁，也即所谓独占锁的概念。前面的章节中一直在强调这个特点。显然这个特

2017-05-10 19:26:23 203

转载 jvm 可启动线程数

工作中碰到过这个问题好几次了，觉得有必要总结一下，所以有了这篇文章，这篇文章分为三个部分：认识问题、分析问题、解决问题。一、认识问题:首先我们通过下面这个测试程序来认识这个问题：运行的环境（有必要说明一下，不同环境会有不同的结果）：32位 Windows XP，Sun JDK 1.6.0_18， eclipse 3.4，测试程序：Java代码

2017-05-10 19:03:49 578

原创 Java classloader 常见问题及解决方法

你真的了解ClassLoader吗？这篇文章翻译自zeroturnaround.com的 Do You Really Get Classloaders? ，融入和补充了笔者的一些实践、经验和样例。本文的例子比原文更加具有实际意义，文字内容也更充沛一些，非常感谢作者 Jevgeni Kabanov 能够共享如此优秀的文档。1. 为什么你需要了解和敬畏ClassLoader

2017-05-10 17:53:14 6025

转载基于zookeeper实现分布式锁

一、分布式锁介绍分布式锁主要用于在分布式环境中保护跨进程、跨主机、跨网络的共享资源实现互斥访问，以达到保证数据的一致性。二、架构介绍在介绍使用Zookeeper实现分布式锁之前，首先看当前的系统架构图解释：左边的整个区域表示一个Zookeep

2017-05-10 11:28:45 332

转载 ReentrantLock实现原理深入探究

转自：http://www.cnblogs.com/xrq730/p/4979021.html前言这篇文章被归到Java基础分类中，其实真的一点都不基础。网上写ReentrantLock的使用、ReentrantLock和synchronized的区别的文章很多，研究ReentrantLock并且能讲清楚ReentrantLock的原理的文章很少，本文就来研究一下Reentrant

2017-05-09 19:39:10 259

转载 ReentrantLock可重入锁的使用场景

转自：https://my.oschina.net/noahxiao/blog/101558摘要从使用场景的角度出发来介绍对ReentrantLock的使用，相对来说容易理解一些。场景1：如果发现该操作已经在执行中则不再执行（有状态执行）a、用在定时任务时，如果任务执行时间可能超过下次计划执行时间，确保该有状态任务只有一个正在执行，忽略重复触发。b、用在界面交互时点击执行较长时

2017-05-09 19:22:48 2262 2

转载 ReentrantLock 深入理解

ReentrantLock的实现不仅可以替代隐式的synchronized关键字，而且能够提供超过关键字本身的多种功能。这里提到一个锁获取的公平性问题，如果在绝对时间上，先对锁进行获取的请求一定被先满足，那么这个锁是公平的，反之，是不公平的，也就是说等待时间最长的线程最有机会获取锁，也可以说锁的获取是有序的。ReentrantLock这个锁提供了一个构造函数，能够控制这个锁是否是公平的。而锁的名字

2017-05-09 19:17:36 262