- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 深入剖析分布式监控 CAT —— 消息文件存储
项目简介CAT（Central Application Tracking），是基于 Java 开发的分布式实时监控系统。CAT 目前在美团点评的产品定位是应用层的统一监控组件，在中间件（RPC、数据库、缓存、MQ 等）框架中得到广泛应用，为各业务线提供系统的性能指标、健康状况、实时告警等。CAT 目前在美团点评已经基本覆盖全部业务线，每天处理的消息总量 3200 亿+，存储消息量近 400TB...
2019-04-30 10:03:04
537
原创 第一届天池 PolarDB 数据库性能大赛
这次天池 PolarDB 数据库性能大赛竞争相当激烈，眼睛一闭一睁成绩就会被血洗，最后榜单成绩是第三名，答辩翻车了，最终取得了大赛季军。云计算领域接触的是最前沿的技术，阿里云的 PolarDB 作为云原生数据库里程碑式的革新产品，也为这次比赛提供了最先进的硬件环境。整个比赛获益良多，体会比较深的两点：为了充分使用新硬件, 榨干硬件的红利来达到极致的性能，一定要 Benchmark Every...
2019-02-25 23:52:24
1001
原创 天池中间件大赛——单机百万消息队列存储分享
这次天池中间件性能大赛初赛和复赛的成绩都正好是第五名，本次整理了复赛《单机百万消息队列的存储设计》的思路方案分享给大家，实现方案上也是决赛队伍中相对比较特别的。赛题回顾实现一个进程内的队列引擎，单机可支持100万队列以上。实现消息put、get接口。在规定时间内完成数据发送、索引校检、数据消费三个阶段评测。评测逻辑各个阶段线程数在20~30左右。发送阶段：消息大小在50字节左右...
2019-02-25 23:51:51
436
原创 天池中间件大赛Golang版Service Mesh思路分享
这次天池中间件性能大赛初赛和复赛的成绩都正好是第五名，出乎意料的是作为Golang是这次比赛的“稀缺物种”，这次在前十名中我也是侥幸存活在C大佬和Java大佬的中间。关于这次初赛《Service Mesh for Dubbo》难度相对复赛《单机百万消息队列的存储设计》简单一些，最终成绩是6983分，因为一些Golang的小伙伴在正式赛512并发压测的时候大多都卡在6000分大关，这里主要跟大家分...
2019-02-25 23:50:51
681
原创 系统优化总结——系统层面
之前组内一位大佬分享了一些关于系统性能优化方面的干货，这里我将它整理成文并且加入自己平时常用的一些工具和技巧。由于关于系统性能优化涉及的内容非常多，我会分几篇文章来分享。这次分享下定位系统层面问题的常用方法。系统性能定义Throughout 吞吐量 （系统每秒钟可以处理的请求数）Latency 延迟 （系统处理一个请求的延迟）Usage 资源利用率吞吐量和延迟的关系吞吐量越高，...
2019-02-25 23:49:58
228
原创 压缩篇：delta-of-delta编码
前言本文主要讨论时序数据库中常见的一种时间戳或者数值压缩方法：delta-of-delta 算法，可以极大地降低数据存储的成本和提高数据写入、查询的性能。delta-of-delta 压缩时间戳是 Facebook Gorilla 论文中所提到的，论文地址：http://www.vldb.org/pvldb/vol8/p1816-teller.pdf。社区比较火热的 Prometheus TS...
2019-10-27 11:46:13
3352
1
原创 Redis-Docker集群的一次踩坑记录
Redis-Docker集群的一次踩坑记录项目背景线上redis的docker集群用于生产线上有一段时间，也算是一个全新的尝试，利用docker的优势实现高效的redis实例创建和调度。问题描述最近一段时间，有几台出现崩溃问题，机器load不断升高，有的高达5000多。诸多线程处于D状态,很多请求以及linux命令出现卡死状态。现象1：很多线程处于D状态$ > dmesg...
2019-02-25 23:48:45
293
原创 hadoop计算平均值
combiner是运行在本地的，reduce是收集全部的，比如一个文件很大1G，比如一个文件很大1G，如果你的集群是5台双核的，如果你的集群是5台双核的，这样这16个块会被分到这10个块里面，相当于要2轮，假设是1、2分给1号机，3、4分给2号机，这样1、2求和完了之后会在1号机上运行一次combiner，3、4完了再2号机上运行一次combiner，所有的combi...
2014-04-23 16:37:06
3990
原创 Sublime Text3配置java程序运行环境（引入不同jar包、输入）
相信很多童鞋都喜欢Sublime Text3这个编辑器，它的代码高亮等等都做的很好，也已经有很多人用它做c++程序的开发，但是关于java程序配置的资料却几乎没有，网上我找到的都是最基本运行java的配置，花了两天时间更加深入的研究了一下，以下给出能够引入不同jar包以及java输入的配置，这样以后就可以做基本的java程序了。（转载请注明出处）1、打开Sublime Text3，To
2014-03-27 19:02:03
3887
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人