xcc的博客

记录技术方面的日常

记一次MySQL 5.7.10的binlog文件轮转(rotate)引起卡顿(block)出现慢日志的处理过程

描述: 程序反映当一个游戏服开服一段时间后,其使用的MySQL每隔一段时间都会出现几十条慢日志,慢日志集中在1到2秒内连续刷出,卡顿平均在60秒左右。一天当中每个时间段都有概率出现,即使是半夜3,4点没什么玩家的时候。 定位(trouble troubleshooting): 根据描述,...

2019-05-05 15:53:42

阅读数 23

评论数 0

君临天下服务端架构调研

前面的话:本文只是本人单纯的臆测,如有雷同,纯属巧合。 1、游戏说明 玩法跟COC基本没区别,只不过除了普通的兵,多了一些武将,并且社交系统比COC加强了不少,但总体来说交互性和实时性还是比较弱的。阅读以下文档之前最好对此款游戏有一些基本了解。此文档目的在于理清使用云平台架构全球大服的...

2015-09-06 16:26:06

阅读数 2242

评论数 0

RocketMQ与Kafka对比(18项差异)

转自:https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,L...

2015-01-18 22:42:30

阅读数 98455

评论数 13

使用Thrift API监控Storm集群和Topology

如要监控Storm集群和运行在其上的Topology,该如何做呢? Storm已经为你考虑到了,Storm支持Thrift的C/S架构,在部署Nimbus组件的机器上启动一个Thrift Server进程来提供服务,我们可以通过编写一个Thrift Client来请求Thrift Server,...

2015-01-14 11:54:21

阅读数 7643

评论数 2

Storm的一些通用的Topology的模式

原文地址:http://storm.apache.org/documentation/Common-patterns.html 此文档有许明明的翻译:http://xumingming.sinaapp.com/189/twitter-storm-storm%E7%9A%84%E4%B8%80%E4...

2015-01-13 16:22:20

阅读数 3909

评论数 0

Ubuntu连接android手机

在ubuntu下连接android设备,虽然不用像windows那样安装驱动,然而却会遇见一个错误:输入adb shell,会提示insufficient permissions for device,输入adb devices,设备名称会显示 ????????等一大堆问号。 这是因为ubu...

2015-01-09 10:30:04

阅读数 881

评论数 0

推荐一个查询Java类用法的网站

有时候我们需要知道一些类的用法,但又不知道去哪儿找到使用的例子,又或者这个例子比较难找,我们懒得去找,那么现在推荐一个网站来帮助我们。 网站URL如下: http://www.programcreek.com/java-api-examples/ 我们可以输入一个类的全限定名,或者这...

2015-01-08 11:15:08

阅读数 6007

评论数 0

iOS推送功能需求要点

经过对百度&友盟&极光&AVOS这几家的iOS推送的文档研读,demo试用,综合上述四者整理出一份简洁的功能需求要点。   添加应用页面 页面上应有上传p12证书和设置密码的功能。(分别为开发环境和正式环境) AVOS和百度要求证书必须不设密码,但因为使用到的开源库...

2015-01-04 16:21:13

阅读数 3231

评论数 0

Storm学习资料汇总

电子书  《Getting Started With Storm》 介绍了Storm基础API,并发编程网有整本书的翻译 ,此书使用的storm的版本为0.6,虽然从版本上看有些过时,但基础的思想还是没有变的。其中并没有Trident的介绍。有英文电子版。   《Storm Real-Ti...

2015-01-04 16:21:07

阅读数 4015

评论数 0

Storm官网上的各公司的使用介绍

其实这些介绍就是第三方使用者写的,比如我是一个使用者,在公司大规模运用Storm后,把使用情况邮件到官方,官方觉得OK了,就搬运过来。 原创翻译,如有错误请指出,谢谢。 原文链接 下面选择一些国内的公司的情况进行介绍(原创翻译,持续更新ing..) 淘宝网 我们使用Storm来做一些实...

2015-01-04 16:21:01

阅读数 2278

评论数 0

【转】基于Trident构建大规模实时流数据处理系统

刊载于程序员杂志2013年2月号 大数据处理:批量数据处理和流数据处理 Hadoop家族在大数据处理方面的能力已经得到业界认可,但它更适用于对集群上的大数据进行批量处理,并不使用于实时处理大规模流数据。 包括雅虎在内的互联网公司都在尝试建立适用于大规模流数据处理的系统,Twitter的Sto...

2015-01-04 16:20:55

阅读数 1168

评论数 0

Flume架构设计

我们的架构设计的思路跟美团大同小异,也是分为agent层,collector层和store层。 具体可参考美团架构1,美团架构2,下面只是一些补充: 下面是我们自己的架构图: 总体架构 数据流图 下面的图描述一条日志消息从客户端产生,经过了怎样的过程最终被消费的。 架构说...

2015-01-04 16:20:49

阅读数 699

评论数 0

智能心跳调研和初步设计

这是近期参与的一个云推送项目调研的一点东西,贴上来做个备份:) 如需转载,请注明出处:) 综述 所谓的心跳机制,就是周期性的给服务器发送一个数据包,避免该连接上长期没有数据传送,被传输网络中的防火墙或者NAT等设备中断,就是当一个TCP会话的两个连续报文到达防火墙的时间间隔大于该会话的保持时...

2015-01-04 16:20:43

阅读数 658

评论数 1

手把手教你用jpcap抓包

本文原创,转载请注明出处~   在工作中经常需要抓包进行分析,我们可以使用各种工具来抓包,比如常用的tcpdump和wireshark。但有时候我们想用程序来进行控制,比如把抓到的包存储到数据库中,以后可以进行查询等等。我在工作中用的是Java,那么就用它来做示范吧。   本教程在cent...

2015-01-04 16:20:36

阅读数 5819

评论数 1

ssdb管理后台ssdbAdmin部署指南

github地址:https://github.com/jiorry/ssdbAdmin,感谢作者的贡献:) 最近在用ssdb,用来替换一部分redis的需求,从而节省服务器成本,效果不错,非常推荐。 如果有一个后台来给开发人员管理ssdb上的数据是再好不过了,所以就找到了ssdbAdmin,...

2015-01-04 16:20:31

阅读数 823

评论数 0

Kafka学习之监控

参考文档:https://kafka.apache.org/documentation.html#monitoring   Kafka使用Yammer Metrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来,比如https://cwiki...

2015-01-04 16:20:25

阅读数 10350

评论数 1

Kafka学习之源代码环境搭建(eclipse)

主要参考:https://cwiki.apache.org/confluence/display/KAFKA/Developer+Setup#DeveloperSetup-Eclipsesetup   下面是我自己的步骤:   1,安装Eclipse,略过,我的版本是:  2,安装sca...

2015-01-04 16:20:19

阅读数 4028

评论数 1

Kafka学习之Replication tools之StateChangeLogMerger Tool

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-7.StateChangeLogMergerTool 此工具能做啥 ?   此工具的目标是从集群中的各个brok...

2015-01-04 16:20:13

阅读数 894

评论数 0

Kafka学习之Replication tools之Reassign Partitions Tool

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.ReassignPartitionsTool 此工具能做啥? 此工具的作用跟Referred Replic...

2015-01-04 16:20:07

阅读数 2779

评论数 0

Kafka学习之Replication tools之Add Partition Tool

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-5.AddPartitionTool 此工具能做啥? Kafka的partition表示并发度的单元:一个topi...

2015-01-04 16:20:01

阅读数 1415

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭