自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Ghost Stories

独立博客地址:http://wangnan.tech

原创 独立博客地址 http://wangnan.tech

 http://wangnan.tech

2018-02-08 10:52:59 395 0

原创 《Hadoop权威指南》书摘-关于YARN

转载请注明出处 独立博客:http://wangnan.tech 简书:http://www.jianshu.com/u/244399b1d776** 知乎:https://zhuanlan.zhihu.com/c_121958856 简介 Apache YARN (Yet Ano...

2018-07-27 15:46:13 111 0

原创 《Hadoop权威指南》书摘-HDFS概述

转载请注明出处 独立博客:http://wangnan.tech 简书:http://www.jianshu.com/u/244399b1d776** 知乎:https://zhuanlan.zhihu.com/c_121958856 设计 超大文件,已经有储存PB级数据的Had...

2018-07-27 15:45:22 107 0

原创 《Hadoop权威指南》书摘-MapReduce概述

转载请注明出处 独立博客:http://wangnan.tech 简书:http://www.jianshu.com/u/244399b1d776** 知乎:https://zhuanlan.zhihu.com/c_121958856 MapReduce是一种可用于数据处理的编程模型...

2018-07-27 15:44:34 980 0

原创 《Hadoop权威指南》书摘-初识Hadoop

转载请注明出处 独立博客:http://wangnan.tech 简书:http://www.jianshu.com/u/244399b1d776** 知乎:https://zhuanlan.zhihu.com/c_121958856 数据!数据! 我们生活在一个数据爆炸的时代,我...

2018-07-27 15:43:31 125 0

原创 ES官方调优指南翻译

原文:https://www.elastic.co/guide/en/elasticsearch/reference/current/how-to.html 转载请注明出处:http://wangnan.tech或简书:http://www.jianshu.com/u/24439...

2018-02-08 11:40:49 2621 0

原创 Lucene学习笔记

概要: 1. 全文检索的原理和基本概念(铺垫) 2. Lucene简介,索引文档和检索文档的过程(主要) 3. Lucene 相似度评分算法(拓展) 全文检索原理(铺垫) 数据分类 生活中的数据总体分为三种: - 结构化数据,固定格式和长度,如...

2018-02-08 11:39:29 256 0

原创 Elasticsearch性能优化

目录 批量提交 gateway 集群状态维护 缓存 字段数据 curator profiler 批量提交 在 CRUD 章节,我们已经知道 ES 的数据写入是如何操作的了。喜欢自己动手的读者可能已经迫不及待的自己写了程序开始往 ES 里写数据做测试。这时候大家会发现:...

2018-02-08 11:38:46 617 0

原创 Elasticsearch数据接口用例

目录 增删改查 搜索请求 script reindex 增删改查 增删改查是数据库的基础操作方法。ES 虽然不是数据库,但是很多场合下,都被人们当做一个文档型 NoSQL 数据库在使用,原因自然是因为在接口和分布式架构层面的相似性。虽然在 Elastic Stack ...

2018-02-08 11:37:44 1476 0

原创 Elasticsearch架构原理

架构原理 本书作为 Elastic Stack 指南,关注于 Elasticsearch 在日志和数据分析场景的应用,并不打算对底层的 Lucene 原理或者 Java 编程做详细的介绍,但是 Elasticsearch 层面上的一些架构设计,对我们做性能调优,故障处理,具有非常重要的影响。 ...

2018-02-08 11:36:53 22182 3

原创 logstash用kafka作为输入源

安装 依赖:jdk7及以上版本 Logstash版本:2.3.4 步骤: 1. 官网下载tar.gz包 链接地址:链接 2. 扔到机器上解压 tar zxvf logstash-2.3.4.tar.gz 3.安装kafka input插件,顺便把outpu...

2018-02-08 11:35:26 3323 0

原创 Logstash输出到Elasticsearch笔记

output配置中elasticsearch配置 action index 给一个文档建立索引 delete 通过id值删除一个文档(这个action需要指定一个id值) create 插入一条文档信息,如果这条文档信息在索引中已经存在,那么本次插入工作失败 upda...

2018-02-08 11:34:44 16299 0

原创 Logstash中的Grok正则捕获

概述 Grok 是 Logstash 最重要的插件。你可以在 grok 里预定义好命名正则表达式 Grok 支持把预定义的 grok 表达式 写入到文件中,官方提供的预定义 grok 表达式见:https://github.com/logstash-plugins/logstash...

2018-02-08 11:23:09 2866 0

原创 Logstash学习笔记

背景 先介绍下ELK stack Elasticsearch Elasticsearch 是基于 JSON 的分布式搜索和分析引擎,专为实现水平扩展、高可用和管理便捷性而设计 Logstash Logstash 是动态数据收集管道,拥有可扩展的插件生态系统,能够与 El...

2018-02-08 11:22:19 4668 0

原创 高并发系统限流设计

概述 高并发系统时有三把利器用来保护系统:缓存、降级和限流,缓存的目的是提升系统访问速度和增大系统能处理的容量,降级是当服务出问题或者影响到核心流程的性能则需要暂时屏蔽掉,待高峰或者问题解决后再打开,而有些场景并不能用缓存和降级来解决,比如稀缺资源(秒杀、抢购)、写服务(如评...

2018-02-08 11:21:16 1424 0

原创 Git rebase详细解析

merge 和rebase什么关系 git rebase 和git merge 做的事其实是一样的。它们都被设计来将一个分支的更改并入另一个分支,只不过方式有些不同。 merge 命令示例 git checkout feature git merge master ...

2018-02-08 11:20:37 29354 1

原创 企业级API网关的设计

背景 是出现在系统边界上的一个面向API的、串行集中式的强管控服务 API网关的流行,源于近几年来,移动应用与企业间互联需求的兴起。移动应用、企业互联,使得后台服务支持的对象,从以前单一的Web应用,扩展到多种使用场景,且每种使用场景对后台服务的要求都不尽相同。这不仅增加了后台...

2018-02-08 11:19:57 275 0

原创 为什么要用 HTTPS

前言 HTTP 是一种超文本传输协议,它是无状态的、简单快速的、基于 TCP 的可靠传输协议。 缺点: HTTP 是明文传输的,这就造成了很大的安全隐患 让自己变得更安全,从源头来控制风险。这就诞生了 HTTPS 协议 HTTP 三大风险: 窃听风险(eaves...

2018-02-08 11:19:05 220 0

原创 ES中的分析器和IK分词器插件

一些概念 Token(词元) 全文搜索引擎会用某种算法对要建索引的文档进行分析, 从文档中提取出若干Tokenizer(分词器) Tokenizer(分词器) 这些算法叫做Tokenizer(分词器) Token Filter(词元处理器) 这些Toke...

2018-02-08 11:18:03 3038 0

原创 ES5.x部署遇到的问题汇总

问题一 can not run elasticsearch as root 不能以root用户启动ES服务器 非要以root用户运行,对于5.X,在config/jvm.options配置文件中,添加 -Des.insecure.allow.root=tr...

2018-02-08 11:16:47 393 0

原创 微服务架构解析(附思维导图)

思维导图 介绍 微服务架构(Microservice Architecture)是一种架构概念 旨在通过将功能分解到各个离散的服务中以实现对解决方案的解耦 将功能分解到离散的各个服务当中,从而降低系统的耦合性,并提供更加灵活的服务支持。 传统开发模式和微服务的...

2018-02-08 11:16:00 4711 0

原创 JVM编译优化

在部分的商用虚拟机中,Java 程序最初是通过解释器(Interpreter )进行解释执行的,当虚拟机发现某个方法或代码块的运行特别频繁的时候,就会把这些代码认定为“热点代码”。为了提高热点代码的执行效率,在运行时,即时编译器(Just In Time Compiler )会把这...

2018-02-08 11:13:45 169 0

原创 JVM垃圾回收器详解

说明 针对jdk7 关于垃圾回收 可以查看我之前的博文: JVM内存管理-垃圾回收与内存分配 垃圾收集器分类 按线程数分 可以分为串行垃圾回收器和并行垃圾回收器。串行垃圾回收器一次只使用一个线程进行垃圾回收;并行垃圾回收器一次将开启多个线程同时进行垃圾...

2018-02-08 11:10:52 91 0

原创 Elasticsearch5.5官方文档翻译-Zen Discovery

章节 Modules » Discovery » Zen Discovery 概述 Zen Discovery是内置在elasticsearch的默认发现模块。它提供单播发现,但可扩展到支持云环境和其他形式的发现。 禅发现集成了其它模块,例如,节点之间的所有通信是使用t...

2018-02-08 11:09:39 319 0

原创 Elasticsearch5.5官方文档翻译-节点

概述 章节:Moudles>>Node 任何时候你启动Elasticsearch的实例时,你启动一个 节点。连接的节点的集合被称为一个 集群。如果您正在运行Elasticsearch的一个节点,那么你有一个包含一个节点的集群。 集群中的每个节点都默...

2018-02-08 11:08:39 485 0

原创 JVM内存溢出详解(栈溢出,堆溢出,持久代溢出以及无法创建本地线程)

写在前面 内存溢出和内存泄漏的区别: 内存溢出 out of memory,是指程序在申请内存时,没有足够的内存空间供其使用,出现out of memory;比如申请了一个integer,但给它存了long才能存下的数,那就是内存溢出。 内存泄露 memory leak,...

2018-02-08 11:07:40 1185 0

原创 JVM内存管理-垃圾回收与内存分配

Java技术体系中所提倡的自动内存管理最终可以归结为自动化地解决了两个问题:给对象分配内存以及回收分配给对象的内存。 Java垃圾收集 哪些内存需要回收? 线程私有区的程序计数器、虚拟机栈和本地方法栈不需要,重点是共享数据区的堆和方法区部分的内存 什么时候回...

2018-02-08 11:06:35 89 0

原创 Java-ArrayList快速失败机制/CopyOnWriteArrayList/扩容

1.迭代ArrayList时做add或remove操作会发生什么? 答案 会抛出 java.util.ConcurrentModificationException 解决方法 对JAVA集合进行遍历删除时务必要用迭代器 使用CopyOnWriteArrayList ...

2018-02-08 11:03:59 418 0

原创 Java-LinkedHashMap与LRUcache整理

Table of Contents LRU 缓存介绍实现代码 LRU 缓存介绍 我们平时总会有一个电话本记录所有朋友的电话,但是,如果有朋友经常联系,那些朋友的电话号码不用翻电话本我们也能记住,但是,如果长时间没有联系了,要再次联系那位朋友的时候,我们又不得不求助电话本,...

2017-09-08 15:26:56 224 0

原创 Java-HashSet/LinkedHashSet整理

Table of Contents HashSet 概述构造方法add方法contains方法remove方法clone方法注意 LinkedHashSet 概述构造方法总结 HashSet 概述 HashSet 是基于 HashMap 实现的...

2017-09-08 15:26:34 176 0

原创 Java-LinkedHashMap整理

Table of Contents 概述例子 HashMapLinkedHashMap 实现 成员变量初始化储存读取 排序模式对比下几种Map HashMapHashtableLinkedHashMapTreeMap 总结 概述 HashMap...

2017-09-08 15:26:08 212 0

原创 TIME_WAIT和CLOSE_WAIT

Table of Contents TIME_WAIT和CLOSE_WAIT如何解决存在大量TIME_WAIT和CLOSE_WAIT的问题 减少TIME_WAIT状态 减少CLOSE_WAIT状态 TIME_WAIT和CLOSE_WAIT 在服务器的日常维护过程中...

2017-09-08 15:25:15 255 0

原创 TCP协议三次握手四次挥手整理

Table of Contents TCP协议中的三次握手 直接上图解释来个更清晰的图为什么要三次握手SYN攻击 TCP协议中的四次挥手 直接上图解释(以客户端发起断开为例子)来个更清晰的图为什么要四次分手 来个完整的图问题 为什么连接的时候是三次握手,关闭的时候却是四...

2017-09-08 15:24:44 193 0

原创 网络分层、TCP、IP、Http、Socket整理

Table of Contents 网络分层 五层因特网协议栈(从上到下)五层因特网协议栈介绍 应用层传输层网络层数据链路层物理层 七层因特网协议栈(从上到下)和五层结构有什么区别7层因特网协议栈介绍 一句话概述物理层数据链路层网络层传输层会话层表示层应用层 总结图 ...

2017-09-08 15:23:32 599 0

原创 Java-BIO/NIO/AIO整理

Table of Contents 参考 http://qindongliang.iteye.com/blog/2018539 一个IO操作其实分成了两个步骤:发起IO请求和实际的IO操作。 同步IO和异步IO的区别就在于第二个步骤是否阻塞,如果实际的IO读写阻...

2017-09-08 15:22:41 172 0

原创 JVM内存模型整理

Table of Contents 内存模型图详细介绍 程序计数器PC虚拟机栈本地方法栈方法区Java堆 一般地大家讲到的Java内存其实就是Jvm内存Java代码是运行在Java虚拟机之上的,由Java虚拟机通过解释执行(解释器)或编译执行(即时编译器)来完...

2017-09-08 15:20:38 146 0

原创 Java-WeakHashMap整理

介绍 以弱键 实现的基于哈希表的 Map。在 WeakHashMap 中,当某个键不再正常使用时,将自动移除其条目。更精确地说,对于一个给定的键,其映射的存在并不阻止垃圾回收器对该键的丢弃,这就使该键成为可终止的,被终止,然后被回收。丢弃某个键时,其条目从映射中有效地移除WeakHashMa...

2017-07-18 15:52:45 197 0

原创 《程序员健康指南》书摘

给自己称重,但不要执着于此。健康是个多面体,单单专注于其中的一面,无 法给你的健康情况做出一个准确的描述。看看本章开头的问题清单,把答案写下来。时不时回顾答案,看看情况是否有 改善。把车停在停车场最里边,这样就能多走一会儿路去办公室了。走楼梯,不坐电梯。玩电视游戏时,尽量选择需要四肢协作的游戏...

2017-07-18 15:52:14 321 0

原创 Java引用类型

在JDK 1.2以前的版本中,若一个对象不被任何变量引用,那么程序就无法再使用这个对象。也就是说,只有对象处于可触及(reachable)状态,程序才能使用它。从JDK 1.2版本开始,把对象的引用分为4种级别,从而使程序能更加灵活地控制对象的生命周期。这4种级别由高到低依次为:强引用、软引用、弱...

2017-07-18 15:51:36 193 0

原创 Java-HashMap整理

参考: http://blog.csdn.net/vking_wang/article/details/14166593http://wiki.jikexueyuan.com/project/java-collection/hashmap.html HashMap数据结构 数组 ...

2017-07-18 15:50:05 178 0

提示
确定要删除当前文章?
取消 删除