- 博客(285)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 通过 ARMS Prometheus 监控 JVM
通过在应用中埋点来暴露 JVM 数据，使用 ARMS Prometheus 监控抓取 JVM 数据，并借助 ARMS Prometheus Grafana 大盘来展示 JVM 数据，即可实现通过 ARMS Prometheus 监控 JVM 的目的。前提条件下载Demo 工程 快速创建Kubernetes集群 创建容器镜像背景信息本教程的操作流程如图所示。步骤一：详情操...
2019-09-20 20:04:58
720
转载 （转）翻译《Memory Management in the Java HotSpot™ Virtual Machine》
翻译《Memory Management in the Java HotSpot™ Virtual Machine》29 July 2011原文地址：http://caoxudong818.iteye.com/blog/1135981原英文地址：Memory Management in the Java HotSpot™ Virtual Machine1 简介依托JavaTM ...
2019-03-11 00:29:21
592
转载 （转）JNI规范
JNI规范11 October 2017目录1 简介 2 设计概览 2.1 JNI函数和指针 2.2 编译、载入、链接本地方法 2.2.1 解析本地方法名 2.2.2 本地方法参数 2.3 引用Java对象 2.3.1 全局引用和局部引用 2.3.2 实现局部引用 2.4 访问Java对象 2.4.1 访问原生类型的数组 2.4...
2019-03-11 00:26:46
627
转载 （转）JVMTI 参考
JVMTI 参考07 December 2017原文地址，https://docs.oracle.com/javase/8/docs/platform/jvmti/jvmti.html目录1 introduction 1.1 啥是JVMTI 1.2 架构 1.3 开发JVMTI代理 1.4 部署JVMTI代理 1.5 静态链接的JVMTI代理 1.6 J...
2019-03-11 00:22:16
721
转载 Quartz插件的使用
林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka Quartz 框架提供了几种用于扩展平台能力的方式。通过使用各种 "钩子" (通常指的就是扩展点)，Quartz 变得很容易被扩展和定制化来适应你的需要。其中一个最简单的扩展框架的方法就是使用 Quartz 插件。本章就来看看如何使用插件机制让 Quartz 进入到之前
2017-06-04 14:36:59
2664
转载 【Quartz】Quartz存储与持久化-基于Spring的配置
林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka一、 Quartz存储与持久化 Quartz提供两种基本作业存储类型。第一种类型叫做RAMJobStore，第二种类型叫做JDBC作业存储。在默认情况下Quartz将任务调度的运行信息保存在内存中，这种方法提供了最佳的性能，因为内存中数据访问最快。不足之处是缺
2017-06-04 14:35:48
998
转载 【Quartz】Quartz存储与持久化-基于quartz.properties的配置
林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka一、 Quartz存储与持久化 Quartz提供两种基本作业存储类型。第一种类型叫做RAMJobStore，第二种类型叫做JDBC作业存储。在默认情况下Quartz将任务调度的运行信息保存在内存中，这种方法提供了最佳的性能，因为内存中数据访问最快。不足之处是缺
2017-06-04 14:34:48
668
1
转载 【Quartz】 JobListener、Triggerlistener、SchedulerListener介绍与使用
林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka本文工程免费下载一、Quartz 监听器在某个所关注事件发生时，监听器提供了一种方便且非侵入性的机制来获得这一通知。Quartz 提供了三种类型的监听器：监听 Job 的，监听 Trigger 的，和监听 Scheduler 自已的。本章解释如何应用每一种类型来更好的
2017-06-04 14:33:35
2165
转载 基于Spring task注解方式配置任务
此文标题有错，感谢各位网友指出 林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka 新建一个Java工程，导入要用到的包,Spring3.2、Quartz2.2.1、aopalliance-1.0.jar、commons-logging-1.2.jar。整个工程目录如下：本文工程免
2017-06-04 14:32:12
440
转载 【Quartz】Spring3.2.9+Quqrtz2.2.1实现定时实例
林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka本文示例工程下载一、工程创建1、新建一个工程，导入相应的包Spring3.2.9+Quqrtz2.2.1+commons-logging集成起来比较简单,对线程无需任何理解，spring手册上也有清楚的说明。只需写一个P
2017-06-04 14:31:03
673
转载 【Quartz】深入Job、JobDetail、JobDataMap、Trigger
林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankakaQuartz API核心接口有：Scheduler – 与scheduler交互的主要API；Job – 你通过scheduler执行任务，你的任务类需要实现的接口；JobDetail – 定义Job的实例；Trigger – 触发Job的执行；JobBuilder – 定义和创
2017-06-04 14:29:51
869
转载 【Quartz】Quartz概述及入门实例
林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka Quartz 在开源任务调度框架中的翘首，它提供了强大任务调度机制，难能可贵的是它同时保持了使用的简单性。Quartz 允许开发人员灵活地定义触发器的调度时间表，并可以对触发器和任务进行关联映射。 此外，Quartz提供了调度运行环境的持久化机制，可
2017-06-04 14:28:43
376
转载 INFOQ 深入浅出Docker（二）：Docker命令行探秘
【编者按】Docker是PaaS供应商dotCloud开源的一个基于LXC 的高级容器引擎，源代码托管在 GitHub 上, 基于Go语言开发并遵从Apache 2.0协议开源。Docker提供了一种在安全、可重复的环境中自动部署软件的方式，它的出现拉开了基于云计算平台发布产品方式的变革序幕。为了更好的促进Docker在国内的发展以及传播，我们决定开设《深入浅出Docker》专栏，邀请Docker
2016-11-16 17:06:43
576
原创 2016年大战双11 总结
今年双11，0点干通宵，PD直接倒地，老大也战斗到凌晨，全部帐篷解决温饱问题。各位都非常棒。CTO还来慰问了，无耻的合了个照，来年再战。实在太累，回去睡觉，总结明日再写。最后招聘 java+storm 开发人员。简历发到QQ：1606588828，欢迎新队友，共战亿万级实时计算。
2016-11-11 20:56:49
1159
原创 多元线性回归
简介多远线性回归，是训练一个线性函数来拟合训练数据。训练集：(X,y)特征X：（x1，x2，x3）l abel：y多元线性回归是寻找一个向量 w，使得平方残差和S(w)最小。S(w)=∑i=1(y−wTxi)2优化sgd
2016-09-02 19:29:03
350
原创 01 逻辑回归的理解
1简介：逻辑回归是一个分类算法，本质是对线性回归做了一个变换。将值域压在0~1的空间。从而可以未每一个特征，估算出一个概率。作预测问题。二分类。逻辑回归问题，本质上就变成，求解变换后的每个特征的权重。ax1+bx2+cx3 = (0~1); 求解模型参数θ： （a b c）权重。的问题。2 算法细节：分类算法模型：y = f（x） y：用户对系统的反馈，
2016-07-18 10:54:05
1507
原创 12_Flink Streaming cluster
在此之前的都是如何编写api，制作topology的过程。提交到集群后，就是运行topology了。运行时的模块大多都是scala写的，可能是因为使用akka通信。之前绘制DAG的过程大多是java写的。flink的cluster有两种，LocalFlinkMiniCluster和FlinkMiniCluster，本地运行时是LocalFlinkMiniCluster，集群运行时是FlinkM
2016-06-09 17:23:35
1267
原创 11_Flink Streaming partition
flink的处理逻辑包括1：transform算子类型（我们指定的map，filter转换算子）2：operator（我们实现的Function具体业务）3：partition（数据的分区分组划分，上一个算子处理后的数据，如何传输给下一个算子。）StreamPartitioner是partition的接口。需要实现这个接口，才能实现数据传输的逻辑。1：copy;2：int[
2016-06-09 15:28:37
2503
原创 10_Flink Streaming jobSubmit
./bin/flink run ./examples/batch/WordCount.jar通过shell提交job后。flink将程序产生的jobGraph和jar包传给 jobmanager（简称JM）。再由jobmanager（类似nimbus）将任务分解到taskmanager（一个jvm带一个taskmanager）运行。JM将jobGraph转化成executionGrap
2016-06-09 14:22:18
8197
1
原创 09_Flink Streaming execute
通过env.execute();启动任务。env有四个实现类。LocalStreamEnvironment，是在本地jvm使用多线程模拟一个flink集群。四个实现类都是通过getStreamGraph来获取DAG图对象StreamGraph。StreamGraph，保存着点边关系，和需要的上下文对象。可以重新api编程的语义。持有一个JobGraph对象，用来提交给集群。由Client，Jo
2016-06-09 11:26:14
4886
1
原创 08_Flink Streaming window
flink提供时间和事件的滑动和跳动的四种窗口。来看下滑动时间窗口的实现。flink中支持三种时间语义，1：系统时间，也就是operator在处理数据的时候，当时机器上的时间，性能最高，ProcessingTime。2：采集时间，也就是flink第一次采集到数据的时间，数据一进来的时候就指定好了。性能一般，还需要把source的时间往下传，IngestionTime3：事件时间：也
2016-06-08 11:04:43
1909
原创 07_Flink Streaming transform
flatmap,map,filter都是转换，通过datastream的transform方法。以最经典的flatmap为例，transform，需要三个参数，操作名字，输出类型，对输入数据的操作。返回SingleOutputStreamOperator，是datastream的子类，也就是可以链式的调用。返回一个OneInputTransformation。是StreamTransforma
2016-06-08 10:15:45
1540
原创 06_Flink Streaming State
state，状态管理可以用来物化流计算的数据，做聚合和容错。可以物化到jobmanager内存中和文件系统中。有四种类型的state，通过StreamingRuntimeContext.get对应的state。package com.alibaba.flink.train.streaming;import org.apache.flink.api.common.functions.Rich
2016-06-07 11:10:37
2147
原创 05_Flink Streaming KeyedStream
KeyedStream继承了DataStream，是由datastream的keyBy()，产生的。表示按key的value分区过的流。在datastream的功能基础上，由添加了一些max,min等聚合的功能。//1：聚合函数1：aggregate，通过AggregationFunction实现类，实现各种数据聚合的功能2：sum，数据累加3：max，取最大数4：mi
2016-06-06 10:20:40
5581
原创 04_Flink Streaming DataStream
DataStream对象，简称ds，作为流计算编程的核心上下文。提供多种功能//1:接入数据源1：ds由env和SourceFunction产生，完成接入数据源的功能//2:数据处理2：filter。实现过滤功能3：map，实现1->1的映射转换4：flatmap，实现拆解字符串等复杂的转换功能5：project，实现字段裁剪6：transform实现复杂需求的功能
2016-06-06 09:51:25
2857
原创 03_Flink Streaming SinkFunction
env对象的addSink（SinkFunction）。需要传入一个SinkFunction对象。这个对象处理的出口。之后无法再进行数据操作。package com.alibaba.flink.train.streaming;import org.apache.flink.configuration.Configuration;import org.apache.flink.stream
2016-06-06 08:38:15
4410
原创 02_Flink Streaming SourceFunction
env对象的addSource（Source）。需要传入一个Source对象。这个对象作为接入数据源的接口package com.alibaba.flink.train.streaming;import org.apache.flink.configuration.Configuration;import org.apache.flink.streaming.api.functions.
2016-06-03 10:25:23
3789
1
原创 01_Flink Streaming env
package com.alibaba.flink.train.streaming;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.dat
2016-06-03 10:02:03
3151
转载 tune performance
The following ending with ‘~’ should override the default value.Inter-worker:Netty.server.thread(Netty-server-localhost-670X-worker-N)[storm.messaging.netty.server_worker_threads] [NioServerSock
2016-03-29 21:25:58
594
转载 关于系统性能调优的一点思考
近期思考如何对系统进行笔者调优，苦于一直找不到一个好的切入点而头疼不已。其实我一直在考虑这样的一件事情对于一个平台他可能存在的瓶颈有哪些，如何对系统可能存在的瓶颈进行逐一的去伪存真，最后就是如何对已经确认的系统瓶颈进行调整也就是所谓的优化吧！那做了调整后系统瓶颈真的就得到缓解抑或是不存在了吗？那也未必，所以笔者认为调优的过程是一个系统化的工程绝非是一触而就的。对于此笔者总结了一下自己的一点
2016-03-29 16:36:09
387
转载 一个load过高的故障排查案例
现象： 6台4核机器load 全部在30以上，cpu使用us在90%, mem使用在90%，swap使用了100K，机器缓慢，前台浏览器页面打开缓慢，超时后白屏。措施： top, shift+h ,shift + p, 找出消耗cpu时间最多的线程ID，dump 堆栈信息，找到该线程，看在做什么，发现有多个线程在执行同一个方法。该方法内有一个循环，从一个node节点向上找其父节点，并不断将该节
2016-03-25 17:42:55
461
转载 java多线程小结，及解决应用挂死的问题
这两天为了定位JBOSS老是挂死的问题，学习了一下JAVA多线程方面的知识，在此总结一下 1、在Java程序中，JVM负责线程的调度。线程调度是指按照特定的机制为多个线程分配CPU的使用权。 调度的模式有两种：分时调度和抢占式调度。分时调度是所有线程轮流获得CPU使用权，并平均分配每个线程占用CPU的时间；抢占式调度是根据线程的优先级别来获取CPU的使用权。JVM的线程调度模式采用了抢
2016-03-25 17:27:24
504
转载 分析JAVA应用CPU占用过高的问题
使用jstack分析java程序cpu占用率过高的有关问题使用jstack分析java程序cpu占用率过高的问题1，使用jps查找出java进程的pid，如37072，使用top -p 14292 -H观察该进程中所有线程的CPU占用。[plain] view plain copy print?[root@cp01-game-
2016-03-25 17:26:55
829
转载 JAVA运行时问题诊断-工具应用篇
该BLOG内容是之前在部门组织讨论运行时问题时自己写的PPT内容，内容以点带面，主要是方便以后自己回顾查看。大纲包括：1、运行时问题分类 2、服务器自带工具 3、其他工具 4、例子 5、实际情况运行时问题分类-软件角度：1、内存泄漏，对象未释放 2、线程阻塞、死锁 3、线程死循环 4、网络IO连接超时时间过长 5、磁盘不可写 .....运行时问题分类-硬件角度：1、内存占用
2016-03-25 17:24:58
586
转载 Twitter 工程师谈 JVM 调优
一. 调优需要关注的几个方面内存调优CPU 使用调优锁竞争调优I/O 调优二. Twitter 最大的敌人：延迟导致延迟的几个原因？最大影响因素是 GC其他的有：锁和线程调度、I/O、算法数据结构选取不当效率低三. 内存性能调优（1）内存占用调优
2016-03-25 17:16:55
392
转载 使用Eclipse插件提高Java编码质量
代码质量概述 怎样辨别一个项目代码写得好还是坏？优秀的代码和腐化的代码区别在哪里？怎么让自己写的代码既漂亮又有生命力？接下来将对代码质量的问题进行一些粗略的介绍。也请有代码质量管理经验的朋友提出宝贵的意见。 代码质量所涉及的5个方面：编码标准、代码重复、代码覆盖率、依赖项分析、复杂度分析。这5个方面很大程序上决定了一份代码的质量高低。我们分别来看一下这5方面：
2016-03-25 17:11:58
606
转载 数据预处理之归一化
归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。归一化是为了加快训练网络的收敛性，可以不进行归一化处理 归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在-1--+1之间是统计的坐标分布。归一化有同一、统一和合一的意思。无论是为了建模还是为了计算，首先基本度量单位要同一，神经网络是以样本在事件中的统计分别几率
2016-03-11 13:40:48
968
转载 再谈机器学习中的归一化方法（Normalization Method）
机器学习、数据挖掘工作中，数据前期准备、数据预处理过程、特征提取等几个步骤几乎要花费数据工程师一半的工作时间。同时，数据预处理的效果也直接影响了后续模型能否有效的工作。然而，目前的大部分学术研究主要集中在模型的构建、优化等方面，对数据预处理的理论研究甚少，可以说，很多数据预处理工作仍然是靠工程师的经验进行的。从业数据建模/挖掘工作也有近2年的时间，在这里结合谈一谈数据预处理中归一化方法。在
2016-03-11 13:38:43
750
转载 学好这些你就牛了，常用的机器学习&数据挖掘知识点
Basis(基础)：MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic Programming 二次规划)， CP(Conditional Probab
2016-03-11 00:59:01
734
转载 变不可能为可能，Tachyon帮助Spark变小时级任务到秒
本文作者是Gianmario Spacagna和Harry Powell，Barclays的数据科学家。集群计算和大数据技术已经取得了很多进展，不过现在很多大数据应用使用的还是HDFS这一分布式分件系统。HDFS是一个基于磁盘的文件系统，将数据存储在磁盘上有一些问题，比如说面临法律的监管，由磁盘读写造成的延迟也比较高。要避免这些问题可以将处理过的数据暂时放在内存中。Tachyon就可以帮你
2016-03-04 17:21:45
706
zkoss开发培训资料
2014-07-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人