扎克begod的专栏

书写有气质的代码,做有灵魂的设计。

kafka各种监控指标

kafka1.0.X 官网采集的监控指标:http://kafka.apache.org/0110/documentation.html#monitoring ### Kafka性能指标 #### kafka.server BrokerTopicMetrics,name=MessagesInP...

2018-11-30 14:01:48

阅读数 2404

评论数 4

JMX exporter采集kafka监控指标

配置kafka        JMX PORT,修改bin/kafka-server-start.sh,添加一行export JMX_PORT="9999",指定9999端口暴露出来供采集。像配置kafka-manager采集,也是要做这个事情的。 下载j...

2018-11-30 10:13:58

阅读数 1026

评论数 0

kafka扩容 下线topic数据迁移限制带宽

转自kafka大神之作-推荐:http://orchome.com/510 Kafka提供一个broker之间复制传输的流量限制,限制了副本从机器到另一台机器的带宽上限。当重新平衡集群,引导新broker,添加或移除broker时候,这是很有用的。因为它限制了这些密集型的数据操作从而保障了对用户...

2018-11-28 17:42:38

阅读数 138

评论数 0

监控你的java程序服务

         当我们JAVA开发工程师开发一个服务或系统后,我们想监控JVM里面的各种资源情况,实现可视化和告警。可以使用prometheus+ grafana去做。 环境 系统:CentOS 7.5 软件:jmx_prometheus_javaagent-0.3.1.jar 客户端 ...

2018-11-28 11:11:23

阅读数 117

评论数 0

xshell 上传本地文件到所连接的服务器上

      目标服务器是ubuntu,需要先安装  sudo apt install lrzsz 然后,输入命令 rz -be 即可。

2018-11-27 15:23:48

阅读数 156

评论数 0

kafka工具包指南-翻译

Consumer Offset Checker          This tool has been removed in Kafka 1.0.0.  Use kafka-consumer-groups.sh to get consumer group details.          D...

2018-11-25 16:25:53

阅读数 52

评论数 0

技术渣3个月挺进排名5w+,只要108天+90篇原创+36篇转载

写在文章前           从排名300w+到排名5w+,花了3个月多,108天,写了90篇原创,转载36篇。有点惊讶有点喜出望外。希望分享的真实经验可以有价值,对他人有帮助。开源、分享的路上,让国内的IT技术越来越靠近国际同行。          小广告--[本技术宅base在广州,有大...

2018-11-24 11:42:27

阅读数 1648

评论数 2

Elasticsearch 冷热分离

       为了不浪费服务器资源(每台机器上均配置有SSD和大存储,且内存配置较高),提高ES读写性能,我们尝试进行了ES集群冷热分离的配置。 测试环境        两台机器,均配置有SSD和SATA盘。每台机器上运行两个ES实例,其中一个实例配置data目录为SSD 解压安装(两台机器...

2018-11-23 18:13:35

阅读数 357

评论数 0

ElasticSearch 5.X 最佳实践

转自大佬:https://www.jishux.com/p/2ccc199e939f5830 Author: 袁野 Date: 2018.01.05 Version: 1.0 注意事项: 本文档所述为通用情况,不可作为特定业务参照; 本文档所述适用于 ELK 栈中的 ElasticSea...

2018-11-23 16:46:03

阅读数 219

评论数 0

elasticsearch JVM优化配置-官网

        Elasticsearch 默认安装后设置的堆内存是 1 GB。 对于任何一个业务部署来说, 这个设置都太小了。如果你正在使用这些默认堆内存配置,您的集群可能会出现问题。         这里有两种方式修改 Elasticsearch 的堆内存。最简单的一个方法就是指定 ES_H...

2018-11-23 15:55:26

阅读数 614

评论数 0

elasticsearch优化系列-不能乱改的配置-官网原文

         在 Elasticsearch 中有一些热点,人们可能不可避免的会碰到。 我们理解的,所有的调整就是为了优化,但是这些调整,你真的不需要理会它。因为它们经常会被乱用,从而造成系统的不稳定或者糟糕的性能,甚至两者都有可能。 垃圾回收器编辑         这里已经简要介绍了 垃...

2018-11-23 15:52:06

阅读数 48

评论数 0

kafka数据存储格式

转自:http://www.hemingliang.site/308.html 阅读目录 1  查看主题数据分布 2  查看log文件 3  查看index文件 4  查看timeindex文件 查看主题数据分布   [hadoop@m2 kafka_2.10-0.10.2.1]$...

2018-11-22 23:20:49

阅读数 1110

评论数 0

Kafka Cluster优化两三事

转自:https://bigdata-ny.github.io/2016/12/05/kafka-cluster-optimize/ 写在之前:本文将讲述Kafka Cluster配置和优化。 Kafka Cluster(相对于单个server)最大的优点:可扩展性和容错性。 ​ Kaf...

2018-11-22 18:25:57

阅读数 399

评论数 0

配置Elasticsearch heap size JVM内存分配官方文档

https://www.elastic.co/guide/en/elasticsearch/reference/current/heap-size.html Setting the heap size 默认1G        By default, Elasticsearch tells th...

2018-11-19 19:32:10

阅读数 906

评论数 0

编译安装lua

访问https://www.lua.org/download.html 下载lua:https://www.lua.org/ftp/lua-5.3.5.tar.gz 解压: tar zxf lua-5.3.5.tar.gz cd lua-5.3.5 make linux test 机器是...

2018-11-19 11:29:27

阅读数 31

评论数 0

Hadoop 3.0 安装部署

最近在虚拟机上新装了一个单节点的Hadoop,用于日常测试。 下载二进制包,解压。官网 http://hadoop.apache.org 1、 安装ssh,否则Pseudo-Distributed Operation 模式下启动hdfs会失败。 sudo apt-get install ss...

2018-11-17 18:04:24

阅读数 112

评论数 0

kafka数据迁移实践-腾讯技术实践

转自:https://juejin.im/post/5a65b2df518825732a6d9ff1         本文重点介绍kafka的两类常见数据迁移方式:1、broker内部不同数据盘之间的分区数据迁移;2、不同broker之间的分区数据迁移。 一、broker 内部不同数据盘之间进...

2018-11-15 18:39:02

阅读数 38

评论数 0

Kafka: 0.10 Producer 新增timestamp 以及使用配置

转自:https://segmentfault.com/a/1190000008674900 本文目录结构: Producer API入门 异步发送流程 Producer设计说明 Producer Configuration 1. Producer API...

2018-11-15 18:31:08

阅读数 592

评论数 0

Kafka 0.10.1.1 以时间戳查询消息和暂停某些分区消费和消费速度控制

转自:https://www.jianshu.com/p/a4c1d281b66a 1. 以时间戳查询消息 (1) Kafka 新版消费者基于时间戳索引消费消息 kafka 在 0.10.1.1 版本增加了时间索引文件,因此我们可以根据时间戳来访问消息。 如以下需求:从半个小时之前的offs...

2018-11-15 15:07:14

阅读数 188

评论数 0

kafka 系统日志定时清理

每天定时清理kafka集群server端3天前的系统日志 写清理脚本,: 在/data1/kafka/kafka 目录下新建文件 auto-delete-kafka-3days-ago-log.sh 内容如下: #!/bin/sh find /data1/kafka/kafka/logs...

2018-11-14 16:33:18

阅读数 979

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭