2016年11月_白水不开

11月 10月

原创 Docker学习笔记

1. docker是什么docker核心功能是镜像（容器）管理，容器是应用的打包，包含了应用执行所依赖的数据(包括lib，配置文件等等)，实现快速开发和部署应用。之前也有可以提供镜像管理的产品，如vagrant。Vagrant并不提供虚拟化技术，本质上是一个虚拟机外挂，通过虚拟机的管理接口来管理虚拟机，让用户更轻松的进行一些常用配置，比如：CPU/Memory/IP/DISK等分配。并且提供了一些其

2016-11-26 19:00:30 623

原创 JAVA基础（13）——序列化

JAVA基础系列规划：JAVA基础（1）——基本概念JAVA基础（2）——数据类型JAVA基础（3）——容器（1）——常用容器分类JAVA基础（4）——容器（2）——普通容器JAVA基础（5）——并发（1）——总体认识JAVA基础（6）——并发（2）——原子JAVA基础（7）——并发（3）——锁机制JAVA基础（8）——并发（4）——线程池JAVA基础（9）——容器（3）——并发容

2016-11-22 22:31:48 997

原创 JAVA基础（2）——数据类型

2016-11-22 22:22:06 1154

原创 JVM原理及调优（7）——JDK常用内置工具

系列文章规划：JVM基础（1）——内存模型JVM基础（2）——内存管理JVM基础（3）——编译机制JVM基础（4）——类加载机制JVM基础（5）——垃圾回收和调优JVM基础（6）——G1收集器及G1日志分析JVM基础（7）——jdk常用内置工具JDK常用内置工具（基于jdk8）工具用途 jps 列出已装载的JVM jstack 打印线程堆栈信息 jsta

2016-11-22 13:10:07 6085 1

原创 JVM原理及调优（4）——类加载机制

类从被加载到虚拟机内存中开始，到卸载出内存为止，它的整个生命周期包括：加载、验证、准备、解析、初始化、使用和卸载七个阶段。类加载的过程包括了加载、验证、准备、解析、初始化五个阶段。在这五个阶段中，加载、验证、准备和初始化这四个阶段发生的顺序是确定的，而解析阶段则不一定，它在某些情况下可以在初始化阶段之后开始，这是为了支持 Java 语言的运行时绑定（也成为动态绑定或晚期绑定）。另外注意这里的几个阶段

2016-11-21 20:59:51 1721

原创 JVM原理及调优（3）——编译机制

JVM只能够识别Class文件，Java源文件需要经过编译器编译生成字节码文件。1. 编译在 Java 中提到“编译”，自然很容易想到 javac 编译器将.java文件编译成为.class文件的过程，这里的 javac 编译器称为前端编译器，其他的前端编译器还有诸如 Eclipse JDT 中的增量式编译器 ECJ 等。相对应的还有后端编译器，它在程序运行期间将字节码转变成机器码（现在的 Java

2016-11-21 20:57:59 1094

原创 JVM原理及调优（2）——内存管理

//TODO参考文献JVM自动内存管理：内存区域基础概念（视频）JDK,JRE,JVM区别与联系Java虚拟机的内存组成以及堆内存介绍Java之美[从菜鸟到高手演变]之JVM内存管理及垃圾回收Java堆内存与栈内存的区别Java 堆和栈的区别）

2016-11-21 20:56:53 1091

原创 JVM原理及调优（1）——内存模型

1. 基本概念1.1 顺序一致性程序执行最简单的模型就是按照指令出现的顺序执行，这叫顺序一致性模型。是一个理想化的内存模型。有以下规则：一个线程中的所有操作必须按照程序的顺序来执行。所有线程都只能看到一个单一的操作执行顺序。在顺序一致性内存模型中，每个操作都必须原子执行且立刻对所有线程可见。1.2 重排序但人为指定的顺序并不能总是保证符合CPU处理的特性，因此现代计算机体系和处理器架构都不保证

2016-11-21 20:56:23 2940

原创 JVM原理及调优（6）——G1收集器及G1日志分析

系列文章规划：JVM基础（1）——内存模型JVM基础（2）——内存管理JVM基础（3）——编译机制JVM基础（4）——类加载机制JVM基础（5）——垃圾回收和调优JVM基础（6）——G1收集器及G1日志分析JVM基础（7）——jdk常用内置工具1 G1简介1.1 概述G1 (Garbage-First)是一款面向服务器的垃圾收集器，主要针对配备多核处理器及大...

2016-11-15 12:57:47 13593

原创 Kafka学习（6）——优化指南

Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？针对这个问题，有以下几个建议：最好的方法是不直接传送这些大的数据。如果有共享存储，如NAS, HDFS, S3等，可以把这些大的文件存放到共享存储

2016-11-02 16:23:38 9724

原创 Kafka学习（5）——常用集群操作

1. 启动bin/kafka-server-start.sh config/server.propertiesbin/kafka-server-start.sh -daemon ./config/server.properties2. 关闭bin/kafka-server-stop.sh3. topic列表bin/kafka-topics.sh --list --zookeeper silkw

2016-11-02 16:11:06 392

原创 Kafka学习（4）——生产消费实践

1. 基于0.8的生产者和消费者maven依赖：<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.9.0.1</version></dependency><dependency> <groupId>org.apache

2016-11-02 16:10:07 4299

原创 Kafka学习（3）——测试

首先，简单介绍下kafka。Kafka是由LinkedIn开发的分布式的、基于发布/订阅的消息系统，以可水平扩展和高吞吐率而被广泛使用。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能。高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。支持Kafka Server间的消息分区，及分布式消

2016-11-02 15:59:54 1086

原创 Kafka学习（2）——理解Kafka

1 框架Kafka是一种分布式的发布/订阅消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能。高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。支持Kafka Server间的消息分区，及分布式消费，同时保证每个Partition内的消息顺序传输。同时支持离线数据处理和实时数据处

2016-11-02 10:22:40 1254

原创 Kafka学习（1）——kafka文档阅读笔记

以下内容，仅为档Kafka Documentation的阅读笔记。阅读时的版本为0.9.0.x。1. 开始 1.1 引言1.2 使用场景1.3 快速开始1.4 相关技术生态1.5 升级2. API 2.1 Producer API2.2 Consumer API 2.2.1 高级消费者API（旧）2.2.2 低级消费者API（旧）2.2.3 消费者API（新）3. 配置

2016-11-02 10:15:13 1205