Ghost Stories

独立博客地址:http://wangnan.tech

排序:
默认
按更新时间
按访问量

独立博客地址 http://wangnan.tech

 http://wangnan.tech

2018-02-08 10:52:59

阅读数:261

评论数:0

《Hadoop权威指南》书摘-关于YARN

转载请注明出处 独立博客:http://wangnan.tech 简书:http://www.jianshu.com/u/244399b1d776** 知乎:https://zhuanlan.zhihu.com/c_121958856 简介 Apache YARN (Yet Ano...

2018-07-27 15:46:13

阅读数:48

评论数:0

《Hadoop权威指南》书摘-HDFS概述

转载请注明出处 独立博客:http://wangnan.tech 简书:http://www.jianshu.com/u/244399b1d776** 知乎:https://zhuanlan.zhihu.com/c_121958856 设计 超大文件,已经有储存PB级数据的Had...

2018-07-27 15:45:22

阅读数:45

评论数:0

《Hadoop权威指南》书摘-MapReduce概述

转载请注明出处 独立博客:http://wangnan.tech 简书:http://www.jianshu.com/u/244399b1d776** 知乎:https://zhuanlan.zhihu.com/c_121958856 MapReduce是一种可用于数据处理的编程模型...

2018-07-27 15:44:34

阅读数:272

评论数:0

《Hadoop权威指南》书摘-初识Hadoop

转载请注明出处 独立博客:http://wangnan.tech 简书:http://www.jianshu.com/u/244399b1d776** 知乎:https://zhuanlan.zhihu.com/c_121958856 数据!数据! 我们生活在一个数据爆炸的时代,我...

2018-07-27 15:43:31

阅读数:62

评论数:0

ES官方调优指南翻译

原文:https://www.elastic.co/guide/en/elasticsearch/reference/current/how-to.html 转载请注明出处:http://wangnan.tech或简书:http://www.jianshu.com/u/24439...

2018-02-08 11:40:49

阅读数:653

评论数:0

Lucene学习笔记

概要: 1. 全文检索的原理和基本概念(铺垫) 2. Lucene简介,索引文档和检索文档的过程(主要) 3. Lucene 相似度评分算法(拓展) 全文检索原理(铺垫) 数据分类 生活中的数据总体分为三种: - 结构化数据,固定格式和长度,如...

2018-02-08 11:39:29

阅读数:131

评论数:0

Elasticsearch性能优化

目录 批量提交 gateway 集群状态维护 缓存 字段数据 curator profiler 批量提交 在 CRUD 章节,我们已经知道 ES 的数据写入是如何操作的了。喜欢自己动手的读者可能已经迫不及待的自己写了程序开始往 ES 里写数据做测试。这时候大家会发现:...

2018-02-08 11:38:46

阅读数:266

评论数:0

Elasticsearch数据接口用例

目录 增删改查 搜索请求 script reindex 增删改查 增删改查是数据库的基础操作方法。ES 虽然不是数据库,但是很多场合下,都被人们当做一个文档型 NoSQL 数据库在使用,原因自然是因为在接口和分布式架构层面的相似性。虽然在 Elastic Stack ...

2018-02-08 11:37:44

阅读数:337

评论数:0

Elasticsearch架构原理

架构原理 本书作为 Elastic Stack 指南,关注于 Elasticsearch 在日志和数据分析场景的应用,并不打算对底层的 Lucene 原理或者 Java 编程做详细的介绍,但是 Elasticsearch 层面上的一些架构设计,对我们做性能调优,故障处理,具有非常重要的影响。 ...

2018-02-08 11:36:53

阅读数:5442

评论数:2

logstash用kafka作为输入源

安装 依赖:jdk7及以上版本 Logstash版本:2.3.4 步骤: 1. 官网下载tar.gz包 链接地址:链接 2. 扔到机器上解压 tar zxvf logstash-2.3.4.tar.gz 3.安装kafka input插件,顺便把outpu...

2018-02-08 11:35:26

阅读数:481

评论数:0

Logstash输出到Elasticsearch笔记

output配置中elasticsearch配置 action index 给一个文档建立索引 delete 通过id值删除一个文档(这个action需要指定一个id值) create 插入一条文档信息,如果这条文档信息在索引中已经存在,那么本次插入工作失败 upda...

2018-02-08 11:34:44

阅读数:4709

评论数:0

Logstash中的Grok正则捕获

概述 Grok 是 Logstash 最重要的插件。你可以在 grok 里预定义好命名正则表达式 Grok 支持把预定义的 grok 表达式 写入到文件中,官方提供的预定义 grok 表达式见:https://github.com/logstash-plugins/logstash...

2018-02-08 11:23:09

阅读数:499

评论数:0

Logstash学习笔记

背景 先介绍下ELK stack Elasticsearch Elasticsearch 是基于 JSON 的分布式搜索和分析引擎,专为实现水平扩展、高可用和管理便捷性而设计 Logstash Logstash 是动态数据收集管道,拥有可扩展的插件生态系统,能够与 El...

2018-02-08 11:22:19

阅读数:946

评论数:0

高并发系统限流设计

概述 高并发系统时有三把利器用来保护系统:缓存、降级和限流,缓存的目的是提升系统访问速度和增大系统能处理的容量,降级是当服务出问题或者影响到核心流程的性能则需要暂时屏蔽掉,待高峰或者问题解决后再打开,而有些场景并不能用缓存和降级来解决,比如稀缺资源(秒杀、抢购)、写服务(如评...

2018-02-08 11:21:16

阅读数:366

评论数:0

Git rebase详细解析

merge 和rebase什么关系 git rebase 和git merge 做的事其实是一样的。它们都被设计来将一个分支的更改并入另一个分支,只不过方式有些不同。 merge 命令示例 git checkout feature git merge master ...

2018-02-08 11:20:37

阅读数:5855

评论数:0

企业级API网关的设计

背景 是出现在系统边界上的一个面向API的、串行集中式的强管控服务 API网关的流行,源于近几年来,移动应用与企业间互联需求的兴起。移动应用、企业互联,使得后台服务支持的对象,从以前单一的Web应用,扩展到多种使用场景,且每种使用场景对后台服务的要求都不尽相同。这不仅增加了后台...

2018-02-08 11:19:57

阅读数:140

评论数:0

为什么要用 HTTPS

前言 HTTP 是一种超文本传输协议,它是无状态的、简单快速的、基于 TCP 的可靠传输协议。 缺点: HTTP 是明文传输的,这就造成了很大的安全隐患 让自己变得更安全,从源头来控制风险。这就诞生了 HTTPS 协议 HTTP 三大风险: 窃听风险(eaves...

2018-02-08 11:19:05

阅读数:98

评论数:0

ES中的分析器和IK分词器插件

一些概念 Token(词元) 全文搜索引擎会用某种算法对要建索引的文档进行分析, 从文档中提取出若干Tokenizer(分词器) Tokenizer(分词器) 这些算法叫做Tokenizer(分词器) Token Filter(词元处理器) 这些Toke...

2018-02-08 11:18:03

阅读数:788

评论数:0

ES5.x部署遇到的问题汇总

问题一 can not run elasticsearch as root 不能以root用户启动ES服务器 非要以root用户运行,对于5.X,在config/jvm.options配置文件中,添加 -Des.insecure.allow.root=tr...

2018-02-08 11:16:47

阅读数:100

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭