- 博客(28)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 kafka各种监控指标
kafka1.0.X 官网采集的监控指标：http://kafka.apache.org/0110/documentation.html#monitoring### Kafka性能指标#### kafka.serverBrokerTopicMetrics,name=MessagesInPerSec: 每秒消息量BrokerTopicMetrics,name=BytesInPerSec:...
2018-11-30 14:01:48
11818
7
原创 JMX exporter采集kafka监控指标
配置kafka JMX PORT,修改bin/kafka-server-start.sh,添加一行export JMX_PORT="9999"，指定9999端口暴露出来供采集。像配置kafka-manager采集，也是要做这个事情的。下载jmx_exporter 链接 https://github.com/prometheus/jmx_exporter, 将文件...
2018-11-30 10:13:58
8042
5
转载 kafka扩容 下线topic数据迁移限制带宽
转自kafka大神之作-推荐：http://orchome.com/510Kafka提供一个broker之间复制传输的流量限制，限制了副本从机器到另一台机器的带宽上限。当重新平衡集群，引导新broker，添加或移除broker时候，这是很有用的。因为它限制了这些密集型的数据操作从而保障了对用户的影响。有2个接口可以实现限制。最简单和最安全的是调用kafka-reassign-partiti...
2018-11-28 17:42:38
1706
转载 监控你的java程序服务
当我们JAVA开发工程师开发一个服务或系统后，我们想监控JVM里面的各种资源情况，实现可视化和告警。可以使用prometheus+ grafana去做。环境系统：CentOS 7.5软件：jmx_prometheus_javaagent-0.3.1.jar客户端 下载jmx_exporter # mkdir -p /usr/local/prometheu...
2018-11-28 11:11:23
1130
原创 xshell 上传本地文件到所连接的服务器上
目标服务器是ubuntu，需要先安装 sudo apt install lrzsz然后，输入命令 rz -be 即可。
2018-11-27 15:23:48
1352
翻译 kafka工具包指南-翻译
Consumer Offset Checker This tool has been removed in Kafka 1.0.0. Use kafka-consumer-groups.sh to get consumer group details. Displays the: Consumer Group, Topic, Partitions, Of...
2018-11-25 16:25:53
401
原创 技术渣3个月挺进排名5w+，只要108天+90篇原创+36篇转载
写在文章前 从排名300w+到排名5w+，花了3个月多，108天，写了90篇原创，转载36篇。有点惊讶有点喜出望外。希望分享的真实经验可以有价值，对他人有帮助。开源、分享的路上，让国内的IT技术越来越靠近国际同行。 小广告--[本技术宅base在广州，有大数据技术相关沙龙可约] 正文 工作5年多，最开始工作的时候，...
2018-11-24 11:42:27
1838
2
转载 Elasticsearch 冷热分离
为了不浪费服务器资源（每台机器上均配置有SSD和大存储,且内存配置较高），提高ES读写性能，我们尝试进行了ES集群冷热分离的配置。测试环境 两台机器，均配置有SSD和SATA盘。每台机器上运行两个ES实例，其中一个实例配置data目录为SSD解压安装(两台机器) mkdir -p /data/mdware cd /data/mdware tar -zxf...
2018-11-23 18:13:35
1207
转载 ElasticSearch 5.X 最佳实践
转自大佬：https://www.jishux.com/p/2ccc199e939f5830Author: 袁野Date: 2018.01.05Version: 1.0注意事项：本文档所述为通用情况，不可作为特定业务参照； 本文档所述适用于 ELK 栈中的 ElasticSearch 优化； 本文档所述基于 elastic 公司的 5.2.1 版本； 本文档只描述最佳实践，...
2018-11-23 16:46:03
1733
转载 elasticsearch JVM优化配置-官网
Elasticsearch 默认安装后设置的堆内存是 1 GB。 对于任何一个业务部署来说， 这个设置都太小了。如果你正在使用这些默认堆内存配置，您的集群可能会出现问题。 这里有两种方式修改 Elasticsearch 的堆内存。最简单的一个方法就是指定 ES_HEAP_SIZE 环境变量。服务进程在启动时候会读取这个变量，并相应的设置堆的大小。 比如，你可以用下...
2018-11-23 15:55:26
6354
1
翻译 elasticsearch优化系列-不能乱改的配置-官网原文
在 Elasticsearch 中有一些热点，人们可能不可避免的会碰到。 我们理解的，所有的调整就是为了优化，但是这些调整，你真的不需要理会它。因为它们经常会被乱用，从而造成系统的不稳定或者糟糕的性能，甚至两者都有可能。垃圾回收器编辑 这里已经简要介绍了 垃圾回收入门，JVM 使用一个垃圾回收器来释放不再使用的内存。 这篇内容的确是上一篇的一个延续， 但是因...
2018-11-23 15:52:06
304
转载 kafka数据存储格式
转自：http://www.hemingliang.site/308.html阅读目录1 查看主题数据分布 2 查看log文件 3 查看index文件 4 查看timeindex文件查看主题数据分布 [hadoop@m2 kafka_2.10-0.10.2.1]$ bin/kafka-topics.sh --describe --zookeeper localho...
2018-11-22 23:20:49
7857
转载 Kafka Cluster优化两三事
转自：https://bigdata-ny.github.io/2016/12/05/kafka-cluster-optimize/写在之前：本文将讲述Kafka Cluster配置和优化。Kafka Cluster（相对于单个server）最大的优点：可扩展性和容错性。 Kafka集群简图Kafka Broker个数决定Kafka集群大小的因素有以下几点：磁盘容量：...
2018-11-22 18:25:57
1108
原创 配置Elasticsearch heap size JVM内存分配官方文档
https://www.elastic.co/guide/en/elasticsearch/reference/current/heap-size.htmlSetting the heap size 默认1G By default, Elasticsearch tells the JVM to use a heap with a minimum and maximum size...
2018-11-19 19:32:10
4610
原创 编译安装lua
访问https://www.lua.org/download.html下载lua：https://www.lua.org/ftp/lua-5.3.5.tar.gz解压：tar zxf lua-5.3.5.tar.gzcd lua-5.3.5make linux test机器是ubuntu 16.01 ，报错：lua.c:82:31: fatal error: readli...
2018-11-19 11:29:27
170
原创 Hadoop 3.0 安装部署
最近在虚拟机上新装了一个单节点的Hadoop，用于日常测试。下载二进制包，解压。官网 http://hadoop.apache.org1、 安装ssh，否则Pseudo-Distributed Operation 模式下启动hdfs会失败。sudo apt-get install ssh2、打开 etc/hadoop/hadoop-env.sh 配置java home e...
2018-11-17 18:04:24
441
转载 kafka数据迁移实践-腾讯技术实践
转自：https://juejin.im/post/5a65b2df518825732a6d9ff1 本文重点介绍kafka的两类常见数据迁移方式：1、broker内部不同数据盘之间的分区数据迁移；2、不同broker之间的分区数据迁移。一、broker 内部不同数据盘之间进行分区数据迁移1.1 背景介绍 最近，腾讯云的一个重要客户发现kafka bro...
2018-11-15 18:39:02
335
转载 Kafka： 0.10 Producer 新增timestamp 以及使用配置
转自：https://segmentfault.com/a/1190000008674900本文目录结构： Producer API入门 异步发送流程 Producer设计说明 Producer Configuration 1. Producer API入门： KafkaProducer是一个发送record到Kafka Cluste...
2018-11-15 18:31:08
4348
转载 Kafka 0.10.1.1 以时间戳查询消息和暂停某些分区消费和消费速度控制
转自：https://www.jianshu.com/p/a4c1d281b66a1. 以时间戳查询消息(1) Kafka 新版消费者基于时间戳索引消费消息kafka 在 0.10.1.1 版本增加了时间索引文件，因此我们可以根据时间戳来访问消息。如以下需求：从半个小时之前的offset处开始消费消息，代码示例如下:package com.bonc.rdpe.kafka110....
2018-11-15 15:07:14
1097
原创 kafka 系统日志定时清理
每天定时清理kafka集群server端3天前的系统日志写清理脚本，：在/data1/kafka/kafka 目录下新建文件 auto-delete-kafka-3days-ago-log.sh 内容如下：#!/bin/shfind /data1/kafka/kafka/logs/ -mtime +3 -name "*.log" -exec rm -rf {} \;注意：这个...
2018-11-14 16:33:18
6053
原创 Logstash filter 使用ruby 进行event事件进行白名单过滤-良心经验分享
网上关于logstash的filter，使用ruby的资料特别少。今天用了一下，看了点ruby语法，踩了点坑。 需求就是做一个白名单，进行过滤logstash的event。因为白名单挺长的，所以，直接写在if 或者写到not in，或者是用prune都不友好。唯独使用强大的ruby了，但是自己也没用学过ruby。第一天初次使用，踩了几个坑。 首先，在logs...
2018-11-13 19:13:39
7410
3
转载 简单理解 倒排索引
最近学习ES看到这个文章：https://es.xiaoleilu.com/052_Mapping_Analysis/35_Inverted_index.html对初步了解es挺好的。 Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表，以及对于每个单词在文档中的位置组...
2018-11-12 16:44:44
774
转载 神级小工具awk 之 使用 awk 过滤文本或文件中的字符串
转自：https://www.linuxprobe.com/awk-filter-string.html 当我们在 Unix/Linux 下使用特定的命令从字符串或文件中读取或编辑文本时，我们经常需要过滤输出以得到感兴趣的部分。这时正则表达式就派上用场了。什么是正则表达式?正则表达式可以定义为代表若干个字符序列的字符串。它最重要的功能之一就是它允许你过滤一条命令或...
2018-11-12 16:18:41
1559
转载 Linux 系统 elasticsearch-head 安装介绍
转自：https://www.jianshu.com/p/e3f7bf6277f9elasticsearch-head 是用于监控 Elasticsearch 状态的客户端插件，包括数据可视化、执行增删改查操作等。Elasticsearch 5.0之后的安装方式和之前不太一样下载 elasticsearch-headelasticsearch-head，可以直接下压缩包，也可以通过...
2018-11-12 15:46:17
164
转载 Logstash 配置语法
转载：http://www.ttlsa.com/elk/elk-logstash-configuration-syntax/数据类型logstash支持的数据类型有：array 数组可以是单个或者多个字符串值。 path => [ "/var/log/messages", "/var/log/*.log" ] path => "/data/mysql/mysql.lo...
2018-11-11 17:40:16
359
转载 Logstash使用grok进行日志过滤
转自：https://www.jianshu.com/p/49ae54a411b8一、前言Logstash是Elastic stack 中的一个开源组件，其不仅能够对日志进行抓取收集，还能对抓取的日志进行过滤输出。Logstash的过滤插件有多种，如：grok、date、json、geoip等等。其中最为常用的为grok正则表达式过滤。二、grok的匹配语法grok的匹配语法分为两...
2018-11-08 15:33:10
5845
转载 谈谈对Canal（ 增量数据订阅与消费 ）的理解
高质量文章，非常适合入门学习，很全面的资料。转自：http://www.importnew.com/25189.html概述canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。起源：早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库...
2018-11-06 17:36:27
735
原创 intellij idea 2.5下载激活-最新(2018-11-06)
亲测可用。1 从官网下载2 下载完成，点击安装，安装完成切忌不要打开，接来下需要修改配置3 修改配置 下载破解补丁包 链接：https://pan.baidu.com/s/1hT6TJm8AqkTKyg3ZT4whYQ 密码：35mx 将补丁放在安装包的/bin路径下，并且 分别 对本文件夹(bin)下的idea.exe.vmoptions和idea6...
2018-11-06 10:38:17
779
docker全部学习资料个人总结
2017-09-07
hive学习资料大全 实战优化资源
2017-09-07
maven权威指南，最全资料
2017-09-07
power mockito学习资料
2017-09-07
activeMq资料学习
2017-09-07
python学习笔记
2017-09-07
shell命令常用shell命令
2017-09-07
storm学习资料
2017-09-07
在线通讯，多人聊天，在线客服弹窗源码
2012-07-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人