- 博客(14)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 tune performance
The following ending with ‘~’ should override the default value.Inter-worker:Netty.server.thread(Netty-server-localhost-670X-worker-N)[storm.messaging.netty.server_worker_threads] [NioServerSock
2016-03-29 21:25:58
606
转载 关于系统性能调优的一点思考
近期思考如何对系统进行笔者调优，苦于一直找不到一个好的切入点而头疼不已。其实我一直在考虑这样的一件事情对于一个平台他可能存在的瓶颈有哪些，如何对系统可能存在的瓶颈进行逐一的去伪存真，最后就是如何对已经确认的系统瓶颈进行调整也就是所谓的优化吧！那做了调整后系统瓶颈真的就得到缓解抑或是不存在了吗？那也未必，所以笔者认为调优的过程是一个系统化的工程绝非是一触而就的。对于此笔者总结了一下自己的一点
2016-03-29 16:36:09
396
转载 一个load过高的故障排查案例
现象： 6台4核机器load 全部在30以上，cpu使用us在90%, mem使用在90%，swap使用了100K，机器缓慢，前台浏览器页面打开缓慢，超时后白屏。措施： top, shift+h ,shift + p, 找出消耗cpu时间最多的线程ID，dump 堆栈信息，找到该线程，看在做什么，发现有多个线程在执行同一个方法。该方法内有一个循环，从一个node节点向上找其父节点，并不断将该节
2016-03-25 17:42:55
479
转载 java多线程小结，及解决应用挂死的问题
这两天为了定位JBOSS老是挂死的问题，学习了一下JAVA多线程方面的知识，在此总结一下 1、在Java程序中，JVM负责线程的调度。线程调度是指按照特定的机制为多个线程分配CPU的使用权。 调度的模式有两种：分时调度和抢占式调度。分时调度是所有线程轮流获得CPU使用权，并平均分配每个线程占用CPU的时间；抢占式调度是根据线程的优先级别来获取CPU的使用权。JVM的线程调度模式采用了抢
2016-03-25 17:27:24
512
转载 分析JAVA应用CPU占用过高的问题
使用jstack分析java程序cpu占用率过高的有关问题使用jstack分析java程序cpu占用率过高的问题1，使用jps查找出java进程的pid，如37072，使用top -p 14292 -H观察该进程中所有线程的CPU占用。[plain] view plain copy print?[root@cp01-game-
2016-03-25 17:26:55
839
转载 JAVA运行时问题诊断-工具应用篇
该BLOG内容是之前在部门组织讨论运行时问题时自己写的PPT内容，内容以点带面，主要是方便以后自己回顾查看。大纲包括：1、运行时问题分类 2、服务器自带工具 3、其他工具 4、例子 5、实际情况运行时问题分类-软件角度：1、内存泄漏，对象未释放 2、线程阻塞、死锁 3、线程死循环 4、网络IO连接超时时间过长 5、磁盘不可写 .....运行时问题分类-硬件角度：1、内存占用
2016-03-25 17:24:58
593
转载 Twitter 工程师谈 JVM 调优
一. 调优需要关注的几个方面内存调优CPU 使用调优锁竞争调优I/O 调优二. Twitter 最大的敌人：延迟导致延迟的几个原因？最大影响因素是 GC其他的有：锁和线程调度、I/O、算法数据结构选取不当效率低三. 内存性能调优（1）内存占用调优
2016-03-25 17:16:55
399
转载 使用Eclipse插件提高Java编码质量
代码质量概述 怎样辨别一个项目代码写得好还是坏？优秀的代码和腐化的代码区别在哪里？怎么让自己写的代码既漂亮又有生命力？接下来将对代码质量的问题进行一些粗略的介绍。也请有代码质量管理经验的朋友提出宝贵的意见。 代码质量所涉及的5个方面：编码标准、代码重复、代码覆盖率、依赖项分析、复杂度分析。这5个方面很大程序上决定了一份代码的质量高低。我们分别来看一下这5方面：
2016-03-25 17:11:58
638
转载 数据预处理之归一化
归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。归一化是为了加快训练网络的收敛性，可以不进行归一化处理 归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在-1--+1之间是统计的坐标分布。归一化有同一、统一和合一的意思。无论是为了建模还是为了计算，首先基本度量单位要同一，神经网络是以样本在事件中的统计分别几率
2016-03-11 13:40:48
991
转载 再谈机器学习中的归一化方法（Normalization Method）
机器学习、数据挖掘工作中，数据前期准备、数据预处理过程、特征提取等几个步骤几乎要花费数据工程师一半的工作时间。同时，数据预处理的效果也直接影响了后续模型能否有效的工作。然而，目前的大部分学术研究主要集中在模型的构建、优化等方面，对数据预处理的理论研究甚少，可以说，很多数据预处理工作仍然是靠工程师的经验进行的。从业数据建模/挖掘工作也有近2年的时间，在这里结合谈一谈数据预处理中归一化方法。在
2016-03-11 13:38:43
759
转载 学好这些你就牛了，常用的机器学习&数据挖掘知识点
Basis(基础)：MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic Programming 二次规划)， CP(Conditional Probab
2016-03-11 00:59:01
745
转载 变不可能为可能，Tachyon帮助Spark变小时级任务到秒
本文作者是Gianmario Spacagna和Harry Powell，Barclays的数据科学家。集群计算和大数据技术已经取得了很多进展，不过现在很多大数据应用使用的还是HDFS这一分布式分件系统。HDFS是一个基于磁盘的文件系统，将数据存储在磁盘上有一些问题，比如说面临法律的监管，由磁盘读写造成的延迟也比较高。要避免这些问题可以将处理过的数据暂时放在内存中。Tachyon就可以帮你
2016-03-04 17:21:45
718
转载 实时流Streaming大数据：Storm,Spark和Samza
当前有许多分布式计算系统能够实时处理大数据，这篇文章是对Apache的三个框架进行比较，试图提供一个快速的高屋建瓴地异同性总结。Apache Storm 在Storm中，你设计的实时计算图称为toplogy，将其以集群方式运行，其主节点会在工作节点之间分发代码并执行，在一个topology中，数据是在spout之间传递，它发射数据流作为不可变的key-value匹配集合，这种ke
2016-03-03 14:01:09
837
转载 jvm调优经验分享
当Java程序申请内存，超出VM可分配内纯的时候，ＶＭ首先可能会ＧＣ，如果ＧＣ完还是不够，或者申请的直接超够ＶＭ可能有的，就会抛出内 存溢出异常。从ＶＭ规范中我们可以得到，一下几种异常。java.lang.StackOverflowError:（很少）java.lang.OutOfMemoryError：heap space(比较常见)java.lang.OutOfMemoryEr
2016-03-03 13:43:55
505
zkoss开发培训资料
2014-07-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人