后台开发
文章平均质量分 90
hxcaifly
这个作者很懒,什么都没留下…
展开
-
CPU占用100%排查
1. 引出问题 某服务器上部署了若干tomcat实例,即若干垂直切分的Java站点服务,以及若干Java微服务,突然收到运维的CPU异常告警。 问:如何定位是哪个服务进程导致CPU过载,哪个线程导致CPU过载,哪段代码导致CPU过载? 2. 排查过程 步骤一:找出最耗CPU的进程 方法: 执行:top 键入大写P,进程按照占用CPU从高到低排序 如图所示: 如上图,最耗CPU的进程PID为1...转载 2019-02-14 09:44:00 · 1946 阅读 · 0 评论 -
用GO语言提取日志文件里的信息
1. 前言 最近需要对spring boot项目做高并发测试,定位性能瓶颈,优化参数。然而对于观察整个服务器的执行流程,分析日志是一件比较可靠的方式。单次测试,我们产生的日志文件大概15M到30M左右。对于这么大的日志文件,我们用肉眼是很难找出有用信息的。作为程序员,要善于用代码实现自动化分析。 2. 任务需求 找出sql执行时间。对这些时间做下排序,分析出90%以上的sql执行时间落在什么区间。...原创 2019-01-05 16:31:59 · 1668 阅读 · 0 评论 -
【Wireshark抓包】:TCP的状态类型
承接上篇:https://blog.csdn.net/hxcaifly/article/details/85339299 1. 前言 在分析wireshark抓包时,封包详情信息里展现出了TCP的状态类型。除了我们比较熟悉的SYN, ACK的三次握手时见到的状态之外。突然见到PSH,RST等状态,这些比较陌生。所以觉得有必要对TCP的状态类型做一次总结。 2. TCP的六大状态 TCP的六大状...转载 2018-12-29 16:55:03 · 1328 阅读 · 0 评论 -
【Wireshark抓包】:wireshark的应用
1.Wireshark简单介绍 抓包应该是每个技术人员掌握的基础知识,无论是技术支持运维人员或者是研发,多少都会遇到要抓包的情况,用过的抓包工具有fiddle、wireshark,作为一个不是经常要抓包的人员,学会用Wireshark就够了,毕竟它是功能最全面使用者最多的抓包工具。 Wireshark(前称Ethereal)是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包,并尽可能显示...原创 2018-12-29 16:12:47 · 529 阅读 · 0 评论 -
【任务调度系统第一篇】:大数据任务调度框架
1.前言 任务调度系统在大数据平台架构中扮演着比较重要的角色。下图是引自网易的猛犸大数据平台lambda架构图。 其中的Azkaban就是其任务调度组件。概括来说,任务调度在大数据平台中所扮演的角色主要有: 任务编排:对任务流按照一定的逻辑串起来。这在大数据开发中,显得比较重要,对于一个工作任务,可能有不同的子任务串起来的,并且有些子任务是并行执行的。举个例子,在做一个机器学习的模型时,可能...原创 2018-12-01 17:22:58 · 7293 阅读 · 0 评论 -
MySQL查询优化技巧总结
前言 在千万级别以下的数据存储中,MySQL等关系型数据库依然被广泛地应用,查询优化时,一些常用的优化方法总结如下。 优化方法 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t wher...原创 2018-04-15 18:04:32 · 302 阅读 · 0 评论 -
etcd+skydns构建私有域名解析服务器
1.研究背景 在大数据和云计算等领域应用中,如果机器数量达到一定的量时,可以考虑自建域名解析服务集群。构建私有的域名解析主要是出于两个目的:(1)通过域名,而不是ip来记忆服务,是更方便的事情;(2)在做主备切换的时候,只需要更改域名对应的ip值,从而实现在服务域名不变的情况下实现主备切换,这里如果没有域名,实现起来怎样,读者可以思考下。 本文讲解用etcd+ sk...原创 2019-02-24 13:28:14 · 3667 阅读 · 1 评论 -
Leaf:美团分布式ID生成服务开源
文章目录引言1. Leaf特性2. Leaf诞生3. Leaf双Buffer优化4. Leaf动态调整Step5. MySQL高可用6. Leaf Snowflake7. 未来规划8. 关于开源 引言 Leaf是美团基础研发平台推出的一个分布式ID生成服务,名字取自德国哲学家、数学家莱布尼茨的一句话“There are no two identical leaves in the world”。L...转载 2019-03-07 22:01:29 · 955 阅读 · 0 评论