![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据运维
jiedaodezhuti
目前工作主要涉及大数据平台,数据治理方面的工作;
展开
-
hadoop_exporter+prometheus
1.准备工作 安装go、glibe(需要连google服务器,咋连的,我就不写了,因为尝试了各种办法,都失败了,很伤心)2.下载hadoop_exportercd /usr/local/prom/exporter git clone https://github.com/Datatamer/hadoop_exportercd hadoop_exporterglide installgo get github.com/prometheus/client_golang/prometheusgo get转载 2020-08-25 09:50:22 · 618 阅读 · 0 评论 -
kafka应用场景、集群容量规划和架构设计
Kafka 基本概念kafka是一种高吞吐量的分布式发布/订阅消息系统。业务需求模型,即生产者生产(Produce)各种数据,消费者(Consume)消费(分析、处理)这些数据。这就需要在生产者与消费者之间,建立一个通信的桥梁,这个桥梁就是消息系统。2.kafka术语Broker:Kafka 集群包含一个或多个服务器,每个服务器被称为 Broker。Topic:每条发布到 Kafka 集群的消息都有一个分类,这个类别被称为 Topic(主题)。Producer:消息的生产者,负责发布消息到 K.原创 2020-07-06 13:42:53 · 777 阅读 · 0 评论 -
Prometheus常用的exporter对接模块
1.node_exporter用户监控节点虚拟机的指标信息。下载地址:https://github.com/prometheus/node_exporter/releases/download/v0.17.0-rc.0/node_exporter-0.17.0-rc.0.linux-386.tar.gz2.jmx_exporter下载地址:https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/j原创 2020-05-29 17:36:44 · 2199 阅读 · 0 评论 -
Grafana+Prometheus监控Flink on YARN系统搭建
1.简介Flink支持多种监控指标的汇报reporter,例如jmx、slf4j、Prometheus、InfluxDB等。Grafana+Prometheus是当前比较流行的监控可视化解决方案。如下图为Prometheus及相关组件组成的生态系统。2.安装配置Prometheus是采用拉模式的方式,从exporter拉取监控的数据。但Prometheus自动发现Flink on YARN作业的提交、结束以及自动拉取数据是比较困难的。PushGateway作为一个中转组件,通过配置Flink on原创 2020-05-22 23:23:32 · 1036 阅读 · 0 评论 -
Prometheus+Grafana监控Kafka实现
本文采用kafka_exporter对kafka进行监控,该方式的优点在于不需要消耗JVM资源,且指标的收集时间从分钟降为秒级别,方便实现大规模集群的监控。技术架构图片引用:https://zhuanlan.zhihu.com/p/57704357部署kafka_exporter下载kafka_exporter地址:https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.l原创 2020-05-21 17:59:50 · 1218 阅读 · 0 评论 -
tomcat漏洞修复及重启
修复tomcat漏洞,选择修改配置文件首先查看tomcat运行状态:ps -ef|grep java查看是否有tomcat进程修改配置文件具体步骤最后,重启tomcat。进入tomcat下的bin目录[root@hh ~]# cd /srv/tomcat-8.5.33/bin[root@hh bin]# ./shutdown.sh查看tomcat关闭状态如果出现以下信息,则...原创 2020-04-13 17:30:35 · 1295 阅读 · 0 评论 -
Apache Ambari安装部署
Ambari是Hortonworks开源的Hadoop平台的管理软件,具备Hadoop组件的安装、管理、运维等基本功能,提供Web UI进行可视化的集群管理,简化了大数据平台的安装、使用难度。一、环境准备1.host配置配置自己的服务器,配置成映射关系vi /etc/hosts如:192.168.128.130 master192.168.128.131 slave1192.168...原创 2020-04-03 13:41:27 · 1184 阅读 · 0 评论 -
Prometheus+Grafana监控集群
Prometheus+Grafana监控集群1.安装Grafana1.1下载并安装下载地址:https://grafana.com/grafana/download选择最新版本进行安装,安装网站的提示运行脚本即可。离线快速安装部署:wget https://dl.grafana.com/oss/release/grafana-6.3.3-1.x86_64...原创 2020-05-15 10:55:43 · 869 阅读 · 1 评论 -
kafka删除topic方式
工作中因为各种原因,topic中消息堆积的太多或者kafka所在磁盘空间满了等。可能需要彻底清理一下kafka topic。cd /opt/kafka/kafka_2.10-0.10.2.2/bin列出所有topic:./kafka-topics.sh --zookeeper ip:2181 -list其实就是检查zk上节点的/brokers/topics子节点,打印出来。创建topic...原创 2019-11-18 14:40:38 · 1580 阅读 · 0 评论 -
grafana告警规则设置
Linux 内存告警配置问题:Template variables are not supported in alert queries解决办法:单独配置个告警的视图,用正则匹配出所有的主机 或者 每台主机单独一个查询语句...原创 2019-11-04 13:57:21 · 17422 阅读 · 0 评论 -
Grafana告警配置邮件发送功能
修改grafana的配置文件grafana的配置文件默认是在 /etc/grafana/grafana.ini修改如下:[smtp]enabled = true #是否允许开启host = smtp.exmail.qq.com:465 #发送服务器地址password = 你的密码;cert_file =;key_file =;skip_verify = falsef...原创 2019-11-04 11:06:47 · 1687 阅读 · 0 评论 -
Prometheus+Grafana安装部署
1.安装Grafana1.1下载并安装下载地址:https://grafana.com/grafana/download选择最新版本进行安装,安装网站的提示、运行脚本即可。离线快速安装部署:wget https://dl.grafana.com/oss/release/grafana-6.3.3-1.x86_64.rpmsudo yum localinstall grafana-6.3...原创 2019-11-01 16:49:06 · 2080 阅读 · 1 评论