自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 使用Elasticsearch搭建一个文件搜索系统 [HTTPS]

在文章原创 使用Elasticsearch搭建一个文件搜索系统(带界面)里面,我提到过搭建这样的一个本地文件搜索系统。现在我们越来越强调安全意识,通常需要使用https去保护Client和Elasticsearch之间的通信,这时,如何使用fscrawler,通过https访问elasticsea...

2020-07-08 11:35:08 71 0

原创 解锁 Elastic 最新的数据采集模块 - Ingest manager 和 Elastic Agent
原力计划

文章目录以后再也不用安装安装 tons of beats 了!解锁Ingest management页面先决条件Ingest management组件简介集成(Integrations)新的索引策略配置(Configurations)Fleet数据流(Data Streams)Elastic Ag...

2020-07-05 09:36:12 972 1

原创 Elastic Stack超实用技巧 5分钟教你玩转各种场景

以下是Elastic原厂解决方案架构师为大家制作的5分钟小视频。通过简单易懂的快速上手教程,让大家快速了解Elastic Stack各个功能: Title Summary link Introduction to Elasticsearch Service Elasticsearc...

2020-06-24 12:07:41 132 0

原创 Elastic Stack 7.7 最新功能体验
原力计划

文章目录集群搭建准备演示数据体验service map体验全新的alert框架 Elastic在美国时间5月13号发布了最新的7.7版本。该版本在三个解决方案上均有大幅的更新,比如: 在全观察性解决方案上,推出了大家期盼已久的APM上的service maps功能,借助该功能,我们可以通过服务之间...

2020-05-14 22:21:14 628 0

原创 使用Elasticsearch做向量空间内的相似性搜索

文章目录索引`Word Embeddings`评分的余弦相似度局限性通过抽象属性搜索 Elasticsearch做文本检索是基于文本之间的相似性的。在Elasticsearch 5.0中,Elasticsearch将默认算法由TF / IDF切换为Okapi BM25,该算法用于对与查询相关的结果...

2020-01-30 11:43:54 1209 0

原创 使用Elastic Stack做应用的360度全观察性监控

文章目录示例架构事件分析和探索APM 探索Infra探索Discovery探索Service探索总结 Elastic坚信,如果我们要监控企业的IT基础设施或者说完成整个软件的端到端的全链路监控,那么就不应该漏过任何一个侧面的数据。这需要通过360度的全观察性来完成。Elastic Stack,作为...

2019-12-03 17:16:27 321 0

原创 Elasticsearch开发进阶指南——如何选择合适的ES版本

Elasticsearch不只是全文检索引擎的领头羊,现在也是各个大厂标配的大数据平台之一,被广泛用于搜索加速,用户标签、画像系统、向量搜索等领域,它不是传统的关系型数据库,但这个信息爆炸,数据堆积的时代,我们获取知识的方式已经极大的改变,搜索、提问成了获取知识的第一手段。对Elasticsear...

2019-11-30 10:04:53 2287 0

转载 滴滴基于 ElasticSearch 的一站式搜索中台实践(转)

ElasticSearch 在滴滴的应用场景 滴滴自 2016 年 4 月开始组建团队,解决 ElasticSearch 在使用过程中遇到的性能问题。搜索平台的建设是随着业务体量的发展逐步演进的,如今已经发展到有超过 3500+ ElasticSearch 实例, 5PB 的数据存储,峰值写入 ...

2019-09-27 18:04:17 367 0

转载 滴滴 Elasticsearch 多集群架构实践(转)

Elasticsearch 是基于 Lucene 实现的分布式搜索引擎,提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack,可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。 滴滴 Elasticsearch 简介 滴滴 201...

2019-09-27 18:01:53 105 0

原创 如何在Elastic cloud上选择合适的Elasticsearch service

文章目录Elastic cloud简介Elasticsearch service配置选择服务提供商数据中心集群配置选择服务的例子(Hot-Warm Architecture)总结 Elastic cloud简介 Elastic Cloud是Elastic不断增长的SaaS产品系列,它使我们能够轻松...

2019-09-25 11:18:53 261 0

原创 logstash的elasticsearch output plugin:不同action的区别(index/create/update)

文章目录elasticsearch plugin的actioncreateindexupdatedoc_as_upsertupsert异常总结 elasticsearch plugin的action logstash提供了多达40多种的output plugin用于将处理后的数据输出到下游系统。其...

2019-09-25 09:35:27 796 1

原创 使用shodan/censys API搜索免费的elasticsearch/kibana资源

文章目录注册shodan并获取API安装shodan注册censys并获取API安装censys用censys查询可用elasticsearch资源 记得以前我在elastic社区分享过一个主题《ITDS如何玩转elastic》(这里的ITDS是IT屌丝的意思),里面提到过如何用elasticse...

2019-07-12 11:54:23 1140 0

原创 如何用logstash处理列式存储的文件

背景 最近遇到一个问题,朋友需要使用es去处理一些基因数据,其特点和其他的数据不一样,对象的个数很少,但每个对象下面有很多field。并且field的值是动态添加的,用列式存储数据是最为方便的。 方便起见,画了个示意图,file1是行式存储,即我们常见的csv,第一行是标题,后面每一行就是一条记录...

2019-07-12 09:45:43 543 0

原创 python中调用ansible 2.8

之前已经写过一篇文章了手把手教你在python中运行ansible-playbook 今天整理一下,把调用ansible的方法一并发出来。 这里特别要注意的是:ansible的代码一直在重构,每个版本的调用方式都不一样,以下代码仅限于ansible 2.8,关于其他版本,请自行百度 另外,本人正在...

2019-07-04 11:24:23 6099 14

原创 使用ansible+vue搭建elastic的自动化部署和配置平台

文章目录背景原型需求核心的需求管理需求技术需求可扩展需求招募 背景 因为经常和elastic打交道,所以平常写了很多关于elastic的博文。因为elastic的更新速度,所以常常骂空气。基本上每个月都会有一个版本更新,为了跟上速度,集群,插件的版本和配置更新工作就成了家常便饭。虽然自己写了一套a...

2019-07-03 16:37:04 1734 5

转载 (转)用webpack4从零开始构建react脚手架

使用脚手架 git clone git@github.com:xiehaitao0229/react-wepack4-xht.gitcd react-webpack4-xht `npm run dev` // 启动本地 `npm run build` // 打包线上环境 `npm r...

2019-06-27 10:17:10 615 2

原创 以python自定义模块的方式共享API(数据,短信通知、邮件通知,代理等)

文章目录自定义模块的好处哪些函数需要放到自定义模块当中生成自定模块通过ansible,将模块发布到云服务器上 经常写脚本的同学应该会经常碰到一些函数得反复的重写,比如日志,告警等。我在云上写了不少机器人脚本,每个都会涉及到一些公共的操作,比如,连接数据库(mysql,elasticsearch),...

2019-06-25 11:51:25 823 0

原创 用chrome插件实现cookie同步

文章目录场景描述面对的问题解决思路chrome cookie share插件开发项目结构manifest.json前端:content.js后端:background.js结语 场景描述 做过爬虫或者机器人的朋友一定会遇到登陆的问题:大多数的网站需要登陆之后才能读取内容或者执行操作。要实现网站的自...

2019-06-21 16:00:42 2622 1

原创 手把手教你在python中运行ansible-playbook

关于什么ansible,我这里就不做科普了,总之一句话,要做分布式系统的运维,实现批量系统配置、批量程序部署、批量运行命令等功能,ansible就是一大杀器,能令你事半功倍。 但作为一个cli工具,其使用场景还是受cli的限制,无法实现运行过程中更深入的交互和逻辑控制。ansible本身是用py...

2019-06-19 16:51:56 4523 4

原创 使用elasticsearch文件搜索系统助力亚马逊解决方案架构师认证考试

当真没想到随手写的一个文章 使用elasticsearch搭建文件搜索系统(带界面),居然会有这么多的点赞。哈哈,应该是贫穷限制了我的想象力,感谢30多位同学的赞。总之趁热打铁,围绕这个话题,趁我还有兴趣,再写一篇,

2019-06-14 11:02:05 418 1

原创 使用Elasticsearch搭建一个文件搜索系统(带界面)

接触ELK这么久,一直都在日志分析和系统运维方面兜圈圈。今天来玩转一下搜索技能,填补一下这方面的空白。主要也是好多天没更新博客了,来写一篇 文章目录基本需求任务分解web 前端web 后端索引替换文件监控与索引文件下载结语 何为文件搜索系统?其实简单一点,就可以想象为一个带用户界面的grep,可...

2019-06-10 17:59:32 6718 14

原创 阿里云垃圾坑人指南

阿里云极其垃圾的用户体验,让我觉得心累,而且无处发泄,连反馈的地方都没有,没办法,写个博客,发泄下 文章目录无法修改的手机号OSS永远无法修改的HTTP header无法求助 无法修改的手机号 本人的阿里云账号购买了一个2年期的ECS,但换了手机号,想修改手机号,结果一直告诉我要修改密码,结果我修...

2019-04-26 21:11:03 1015 1

原创 最强PostMan使用教程(7)postman做数字签名认证

文章目录postman支持的认证方式对 `folder` 和 `collection` 进行统一的认证配置数字签名认证数字货币交易所的API安全认证通过pre-request script生成动态签名Postman Sandbox API内建库pm对象组装message生成signature完整的...

2019-04-25 15:51:41 4990 0

原创 最强PostMan使用教程(6)- 使用Postman导入swagger OPEN API

好久没有更新这个系列的文章了,最近使用postman去测试数字货币交易所的API接口,让我们继续吧,

2019-04-25 12:45:04 6555 1

原创 使用nodejs/python实现bitmex API的签名signature

其实不光是bitmex,现在主流的数字货币交易网站都是采用类似的API认证方式,因此,本篇文章其实是适用于火币,OKEX等其他交易所的签名生成的 文章目录数字货币交易所的API安全认证python 实现nodejs 实现cryptocrypto-js 数字货币交易所的API安全认证 securi...

2019-04-25 10:19:32 698 0

原创 快速的将pandas的数据输入到elasticsearch

废话不多说,直接上代码: pandas2es.py import pandas as pd from elasticsearch import Elasticsearch #假设你有一堆数据,通过df加载,并且进行可必要的处理 df = pd.read_csv("/Users/lex/...

2019-04-09 09:57:10 2257 0

原创 在使用ipython的时候matplotlib无法自动显示图片(plot->show)

水一篇。。。 平时ipython和pandas用的少,每每画图的时候,看文档,别人df.plot()就能够出图,而我的这边总是得额外加一句plt.show() 这是我的ipython目录: . ├── extensions ├── nbextensions ├── profile_autorelo...

2019-04-09 09:08:15 1535 2

原创 使用logstash进行ip映射(主机名或系统名)

文章目录需求场景解决方案测试示例性能测试与调优 需求场景 当使用elasticsearch进行日志数据可视化的时候,往往会遇到需要IP地址无法human-reading的情况。这时,我们需要将IP地址进行一定的格式转换,将其转换为主机名(hostname)或者系统名(application/ser...

2019-04-04 09:45:22 2814 0

原创 如何制作dash的docset [以Elastic stack各文档为例]

dash,是macOS上一个极其有用的软件,通过dash,我们可以将各种技术文档离线下载到本地,然后进行快速的检索。并且,dash以IDE插件的形式,提供IDE等工具上的快速检索,你可以在IDE上通过快捷键,将你不熟悉的函数,方法,注解等快速定位到dash当中 Elastic stack提供了大...

2019-03-28 16:53:47 2498 0

原创 elastic中巧用script field和plainless进行可视化的格式修改

问题描述 在使用kibana做可视化的时候,总是避免不了因为数据的格式或者长度的问题导致显示异常,比如,我这里做了一个词云,用于显示最常出问题的模块: 模块的值是从标准日志里面提取出来的。一些超长的模块名,导致UI无法完全显示: 类似的,在做数据展示的时候,你总会碰到某些场景,要求你对数据做一...

2019-03-22 17:25:09 3064 1

原创 以其他账户安装rpm install elasticsearch时的排坑方法

作为一个elastic认证工程师,因为公司内部的一个要求:“必须用一个开发账户来安装所有的软件”,被整得死去活来,惭愧。。。 问题描述 首先,官网上有一点没有写好,如果你用rpm安装elasticsearch的话,必须先创建elasticsearch用户。 如果你用一个别的用户,比如说用户名是j...

2019-03-16 09:45:50 1639 0

原创 如何用elastic APM实现用户行为轨迹监控(User Journey Monitoring)

对于各大APM厂商来说,通过用户轨迹监控(User Journey Monitoring)来获取用户访问网站或者APP时的轨迹已经成为了标配,通过该功能,我们可以了解用户的轨迹信息,比如:哪个页面最吸引用户访问,用户在哪个页面上停留的时间最长,哪个页面客户点击最少,停留的时间最少,一般是从哪个页面...

2019-03-06 10:59:03 5060 2

原创 elastic APM针对java应用的高阶用法 二(java agent)

文章目录异常监测日志分析系统的配合 这篇文章是接着上一篇elastic APM针对java应用的高阶用法(java agent)剩余的内容,异常监测和与日志分析系统的配合。 异常监测 接着上一篇文章中的内容,我们将异步函数里面进行redis连接的网络环境切换一下(把redis服务器给关了)。这时,...

2019-02-22 08:31:22 2771 1

原创 elastic APM针对java应用的高阶用法(java agent)

文章目录事件(event)SQL的监控栗子1,看不到的多个SQL栗子2,batch SQL手动添加跨度redis的监控schedule的监控异常监控与日志分析系统的配合 elastic APM还在不停的迭代当中。相对于其他的APM工具,我觉得如果有elastic APM有几个优势: 背后是ela...

2019-02-20 11:33:36 5020 1

原创 elastic APM 深入测试 二 基于spring cloud微服务框架的分布式追踪

文章目录测试的基本架构技术栈测试框架逻辑拓扑微服务应用的搭建搭建Eureka注册服务器Eureka服务器配置创建provider service创建 rest endpoint创建consumerFeign配置使用apm java agent进行探测测试启动流程测试分布式追踪 微服务架构现在已经是...

2019-02-18 16:44:35 2721 0

原创 Spring cloud 之ribbon与eureka – 发生在客户端的负载均衡

之前一直在做一些针对APM的深入测试,其中就涉及到了对分布式为服务系统的分布式追踪的测试。所以,有必要了解一下现在比较流行的微服务框架,并进行一些实地测试,之前转了一篇文章:Dubbo和Spring Cloud微服务架构的比较,已经让我们对dubbo和spring cloud有了一定的了解。因为e...

2019-02-17 18:24:30 1509 0

转载 Dubbo和Spring Cloud微服务架构的比较

微服务架构是互联网很热门的话题,是互联网技术发展的必然结果。它提倡将单一应用程序划分成一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值。虽然微服务架构没有公认的技术标准和规范或者草案,但业界已经有一些很有影响力的开源微服务架构框架提供了微服务的关键思路,例如Dubbo和Spring C...

2019-02-13 17:27:25 793 0

原创 elastic APM 深入测试 一 (无嵌套调用的分布式微服务监控)

前几篇文章,我在一个比较浅的层面给大家介绍了elastic的APM功能,对于我而言,在没有具体到真正的在生产环境上去应用,对各种场景进行适配之前,也只是对APM建立了一个基础的认知。在接下去的几篇文章中,我会尽可能的模拟各种我们在现实生产环境上可能遇到的场景来进行测试,看看elastic APM能...

2019-02-01 10:34:42 7504 1

原创 elastic stack 6.6尝鲜体验(云服务以及GA版 APM distributed tracing)

今天收到一封邮件,elastic stack 发布了6.6版本,其中一个重要升级就包括了最近在关注的APM distributed tracing功能,之前的6.5版本中还属于beta版本,有一些坑,现在是GA版本了,必须试一下。顺便的,必须试一下ES传说中的cloud service。 在ES...

2019-01-30 11:35:30 1150 0

原创 elastic APM初试 - Distributed tracing 和 Real User Monitoring

文章目录步骤介绍启动APM server监测python后端监测NodeJs后端监测用户行为APM UI小结 在上一篇文章elasticsearch APM功能全解 一中已经提到过了分布式追踪(Distributed tracing)和真实用户监控(Real User Monitoring). ...

2019-01-28 17:59:08 4123 2

提示
确定要删除当前文章?
取消 删除