网易视频云技术干货:分布式搜索elasticsearch集群监控工具bigdesk

转载 2016年05月30日 10:43:44

网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PAAS服务,在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。今天,网易视频云就给大家分享关于分布式搜索elasticsearch集群监控工具bigdesk的技术干货!

bigdesk是elasticsearch的一个集群监控工具,可以通过它来查看es集群的各种状态,如:cpu、内存使用情况,索引数据、搜索情况,http连接数等。项目git地址:https://github.com/lukas-vlcek/bigdesk。和head一样,它也是个独立的网页程序,使用方式和head一样。

插件安装运行:

1.bin/plugin -install lukas-vlcek/bigdesk

2.运行es

3.打开http://localhost:9200/_plugin/bigdesk/

当然,也可以直接下载源码运行index.html

同样是输入ip地址和端口后连接,界面如下。加星的表示主节点。

下面介绍下各个图表。

系统监控:

这里包含系统方面的一些状态,左起分别为:cpu,内存,交换区和平均负载的情况

jvm:

显示jvm的一些状态,左起分别为:jvm heap内存使用情况,蓝色的为已使用内存;非heap使用内存;线程数;gc情况(次数和时间);

进程:

下面四张图主要显示es的进程对系统资源的使用情况,左起分别为:进程打开文件数,内存使用情况,cpu时间和进程的cpu使用率

ps:

内存使用情况中的

Total virtual指linux下虚拟内存,它包括virtual memory map中的所有数据量之和。包括:程序类+程序数据+jar包空间+jre占用空间等。

resident memory指程序实际占用的物理内存。

通讯:

这里可以查看tcp和http链接的一些数据。

索引:

这里可以查看索引数据和搜索的一些情况。

左上起:每秒索引请求,搜索时间,每秒取数据请求,取数据时间。

左下起:缓存大小,缓存失效个数,每秒索引请求,索引时间。


文件系统:

显示硬盘的读写情况

作者:laigood

来源:http://blog.csdn.net/laigood/article/details/8207990

更多技术分享,请关注网易视频云官方网站(http://vcloud.163.com/)或者网易视频云官方微信(vcloud163)进行交流与咨询。

搭建Elasticsearch 5.4分布式集群

一、集群角色多机集群中的节点可以分为master nodes和data nodes,在配置文件中使用Zen发现(Zen discovery)机制来管理不同节点。Zen发现是ES自带的默认发现机制,使用...
  • napoay
  • napoay
  • 2016年08月14日 07:18
  • 32163

ElasticSearch教程(三)————ElasticSearch集群搭建

这篇博文我们亲自搭建一个简单的ElasticSearch集群。配置ElasticSearch集群异常的简单,简单到甚至只需要修改两个地方:保证集群名一致和保证集群的中节点端口不重复。...
  • jiuqiyuliang
  • jiuqiyuliang
  • 2016年04月29日 15:38
  • 30146

Elasticsearch 初探及window下集群的搭建

Elasticsearch其实来说也是一个新名词,以前也没有接触过,通过这几天的学习,对Elasticsearch(以下简称ES)有了一点点的小体悟,在这里跟大家分享一下 一、开始之前,我们首先应...
  • aa602149695
  • aa602149695
  • 2015年05月25日 10:27
  • 1180

生产环境elasticsearch5.0.1集群的部署配置详解

线上环境elasticsearch5.0.1集群的配置部署 es集群的规划: 硬件: 7台8核、64G内存、2T ssd硬盘加1台8核16G的阿里云服务器 其中一台作为kibana+kafka...
  • reblue520
  • reblue520
  • 2017年01月13日 20:24
  • 3393

ElasticSearch(二)--分布式集群

这一章节主要介绍,ElasticSearch在分布式环境下的工作机制,主要包括: 术语解释:集群cluster,节点node,分片shard; ES的扩展机制,以及它如何处理故障. ES用于构建高可用...
  • WuyZhen_CSDN
  • WuyZhen_CSDN
  • 2016年05月12日 15:00
  • 1173

[集群搭建]记录使用docker搭建elasticsearch集群

记录使用docker搭建elasticsearch2.4.5集群1、 环境介绍本文运行环境 ubuntu16.04 + docker17.05 + 官网上下载的elasticsearch2.4.5,另...
  • psiitoy
  • psiitoy
  • 2017年06月14日 10:23
  • 2464

elasticsearch集群安装配置_插件安装

elasticsearch的config文件夹里面有两个配置文件:elasticsearch.yml和logging.yml,第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来...
  • u010010664
  • u010010664
  • 2016年09月08日 10:04
  • 1045

Elasticsearch集群管理、优化以及监控

ES集群管理角色分配①设置某台机器只做主节点,不做索引和shard,负责cluster内部的协调,数据的读取由集群的各个节点,共同完成的,但是数据的修改只有在master上完成。 node.mast...
  • BlackEnn
  • BlackEnn
  • 2017年02月16日 20:56
  • 1411

使用elasticsearch搭建集群

elasticsearch搭建集群es的映射支持的数据类型JSON基础类型如下: 字符串:string 数字:byte、short、integer、long、float、double、...
  • cabing2005
  • cabing2005
  • 2017年01月24日 17:21
  • 1711

Docker实战(十二):Docker安装ElasticSearch集群环境

Docker安装ElasticSearch集群环境
  • birdben
  • birdben
  • 2016年01月15日 02:14
  • 13035
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:网易视频云技术干货:分布式搜索elasticsearch集群监控工具bigdesk
举报原因:
原因补充:

(最多只允许输入30个字)