
后台开发
hxcaifly
这个作者很懒,什么都没留下…
-
转载 CPU占用100%排查
1. 引出问题某服务器上部署了若干tomcat实例,即若干垂直切分的Java站点服务,以及若干Java微服务,突然收到运维的CPU异常告警。问:如何定位是哪个服务进程导致CPU过载,哪个线程导致CPU过载,哪段代码导致CPU过载?2. 排查过程步骤一:找出最耗CPU的进程方法:执行:top键入大写P,进程按照占用CPU从高到低排序如图所示:如上图,最耗CPU的进程PID为1...2019-02-14 09:44:001162
0
-
原创 用GO语言提取日志文件里的信息
1. 前言最近需要对spring boot项目做高并发测试,定位性能瓶颈,优化参数。然而对于观察整个服务器的执行流程,分析日志是一件比较可靠的方式。单次测试,我们产生的日志文件大概15M到30M左右。对于这么大的日志文件,我们用肉眼是很难找出有用信息的。作为程序员,要善于用代码实现自动化分析。2. 任务需求找出sql执行时间。对这些时间做下排序,分析出90%以上的sql执行时间落在什么区间。...2019-01-05 16:31:59840
0
-
转载 【Wireshark抓包】:TCP的状态类型
承接上篇:https://blog.csdn.net/hxcaifly/article/details/853392991. 前言在分析wireshark抓包时,封包详情信息里展现出了TCP的状态类型。除了我们比较熟悉的SYN, ACK的三次握手时见到的状态之外。突然见到PSH,RST等状态,这些比较陌生。所以觉得有必要对TCP的状态类型做一次总结。2. TCP的六大状态TCP的六大状...2018-12-29 16:55:03593
0
-
原创 【Wireshark抓包】:wireshark的应用
1.Wireshark简单介绍抓包应该是每个技术人员掌握的基础知识,无论是技术支持运维人员或者是研发,多少都会遇到要抓包的情况,用过的抓包工具有fiddle、wireshark,作为一个不是经常要抓包的人员,学会用Wireshark就够了,毕竟它是功能最全面使用者最多的抓包工具。Wireshark(前称Ethereal)是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包,并尽可能显示...2018-12-29 16:12:47223
0
-
原创 【任务调度系统第一篇】:大数据任务调度框架
1.前言任务调度系统在大数据平台架构中扮演着比较重要的角色。下图是引自网易的猛犸大数据平台lambda架构图。其中的Azkaban就是其任务调度组件。概括来说,任务调度在大数据平台中所扮演的角色主要有:任务编排:对任务流按照一定的逻辑串起来。这在大数据开发中,显得比较重要,对于一个工作任务,可能有不同的子任务串起来的,并且有些子任务是并行执行的。举个例子,在做一个机器学习的模型时,可能...2018-12-01 17:22:584416
0
-
原创 MySQL查询优化技巧总结
前言在千万级别以下的数据存储中,MySQL等关系型数据库依然被广泛地应用,查询优化时,一些常用的优化方法总结如下。优化方法1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t wher...2018-04-15 18:04:32222
0
-
原创 etcd+skydns构建私有域名解析服务器
1.研究背景 在大数据和云计算等领域应用中,如果机器数量达到一定的量时,可以考虑自建域名解析服务集群。构建私有的域名解析主要是出于两个目的:(1)通过域名,而不是ip来记忆服务,是更方便的事情;(2)在做主备切换的时候,只需要更改域名对应的ip值,从而实现在服务域名不变的情况下实现主备切换,这里如果没有域名,实现起来怎样,读者可以思考下。 本文讲解用etcd+ sk...2019-02-24 13:28:142080
1
-
转载 Leaf:美团分布式ID生成服务开源
文章目录引言1. Leaf特性2. Leaf诞生3. Leaf双Buffer优化4. Leaf动态调整Step5. MySQL高可用6. Leaf Snowflake7. 未来规划8. 关于开源引言Leaf是美团基础研发平台推出的一个分布式ID生成服务,名字取自德国哲学家、数学家莱布尼茨的一句话“There are no two identical leaves in the world”。L...2019-03-07 22:01:29633
0