![](https://img-blog.csdnimg.cn/20190918140145169.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习、深度学习、大数据
机器学习、深度学习、大数据相关知识点记录
hhggggghhh
大龄程序员
展开
-
spark和flink有哪些不同
/ 编程模型对比 /运行角色Spark Streaming 运行时的角色(standalone 模式)主要有:Master:主要负责整体集群资源的管理和应用程序调度;Worker:负责单个节点的资源管理,driver 和 executor 的启动等;Driver:用户入口程序执行的地方,即 SparkContext 执行的地方,主要是 DGA 生成、stage 划分、task 生成及调度;Executor:负责执行 task,反馈执行状态和执行结果。Flink 运行时的角色(standalon转载 2020-09-18 10:38:09 · 590 阅读 · 0 评论 -
在计算样本方差时,为什么分母是n−1 ?
用样本均值代替总体均值,自由度会减1,所以分母是n-1。严格的推导如下:首先,我们先看看方差的计算公式Var(X)=∑i=1n(Xi−μ)2n\operatorname{Var}(X)=\frac{\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}}{n}Var(X)=n∑i=1n(Xi−μ)2其中μ是这个总体的真实均值。但是往往μ是未知的,所以...原创 2020-03-24 14:02:30 · 3474 阅读 · 0 评论 -
不放回抽样和放回抽样(抽相同数目的样本)每一个样本被抽中的概率是相等的
比如50个人抽样,第一轮每个概率1/50,第二轮抽时每个没在第一轮被抽到的概率是49/50,然后还有现在被抽到的概率1/49,两个相乘=1/50.因为你并不知道第一轮哪个被抽到,算第二轮是还要考虑第一轮,第三轮(同理)都是十分之一,有放回和无放回,如果不考虑具体内容,也就是没有任何前提的话,每一个用户被抽中的概率是相等的。...原创 2020-03-24 13:52:50 · 13877 阅读 · 2 评论 -
EWMA 指数加权移动平均
EWMA(Exponentially Weighted Moving Average)指数加权移动平均,是一种常用的序列数据处理方式。在t时刻,根据实际的观测值可以求取EWMA(t):EWMA(t) = aY(t) + (1-a)EWMA(t-1),t = 1,2,.....,n;其中,EWMA(t) t时刻的估计值;Y(t) t时刻的测量值;n 所观察的总的时间;a(0 < a <...转载 2019-08-14 18:34:02 · 2377 阅读 · 0 评论 -
四分数与3σ准则异常检测效果图
代码代码没有哈哈哈原创 2019-07-25 11:31:06 · 1097 阅读 · 0 评论 -
7/17bug解决过程
问题:异常数据过少解决过程:我先去数据库查看有多少异常数据;还想对比原始数据与异常数据指标数存在多大差别;然后最后才去找日志,发现没有1631指标;我还查数据队列每分钟发送数据;最后定位于不知道代码怎么回事,没有接收到应该有的数据;我本地运行代码仔细查找问题;我先从读数据处查找问题,然后从源头追踪;本地运行一切正常;打包部署,问题解决;但是问题原因没有锁定,因为线上代码部署...原创 2019-07-17 17:39:41 · 186 阅读 · 0 评论 -
时序数据异常检测
文章目录AIOPS网上相关资料一、时序数据概念及分析1.1 数据前期处理的重要性1.2.1时序数据周期研究(重点方向)1.3 时序数据的随机过程1.4 白噪声序列1.5 平稳性序列1.7 弱平稳1.7.1 原始序列平稳处理方法1.8 关于多时间间隔的处理办法研究(重点研究方向)1.8.1 研究背景1.8.2 研究方法1.8.3 研究进展2019年6月20日1.9 时序数据特征提取方法1.10 多...原创 2019-07-12 17:22:21 · 13756 阅读 · 1 评论 -
产品开发总结
1、在线检测流程及开发文章目录1、在线检测流程及开发1.1 计算代码需要具备的功能1.2 日志系统需要具备的功能1.3 整体代码需要具备的条件2、 存在的难点以及解决办法2.2 解决办法2.2.1 假设所有数据都能够做到正确无误2.2.2 如果数据存在失误2.2.2.1 数据库中的数据有缺失2.2.2.2 数据库中的数据有重复2.2.2.3 数据库中的数据有null值2.2.2.4 kafka来...原创 2019-07-12 11:47:52 · 601 阅读 · 0 评论 -
HotSpot-多维属性的kpi异常定位(根因分析)
最近公司有这方面的需求,所以,就找一些论文和资料来了解一下在异常检测基础之上,如何做到对异常或者故障的根因分析。有两种根因分析的需要,一种就是单指标异常检测,就是指标就是一维的这种,如果这种指标发生异常,直接就能够锁定到相关时间,位置,如果这种做异常检测,自然就需要升维,就是比如说,同时针对几个指标来进行,用窗口划分,然后看看同一时间段,都有哪些指标发生异常,然后这些窗口内的数据就组成原始处理数...原创 2019-07-09 16:13:17 · 8880 阅读 · 6 评论 -
根因分析调研
根因分析调研相对异常检测来说,根因分析的资料相对来说比较稀少,以下是整理了相对来说资料比较详细的内容。通过这些资料可以了解到,根因分析具体需要做哪些工作?故障根因分析是指根据故障传播图快速找到当前应用服务 KPI 异常的根本触发原因。故障根因分析系统找出异常事件可能的根因以及故障传播链后,运维专家可以对根因分析的结果进行确定和标记,从而帮助机器学习方法更好地学习领域知识。这一系统最终达到的...原创 2019-07-09 12:01:33 · 6013 阅读 · 0 评论 -
卷积过程中,卷积过程以及卷积后的大小,还有卷积参数多少,卷积的作用
卷积作为神经网络的基本计算步骤,我们需要彻底的了解卷积过程中一些细节。卷积作用我现在所说的都是神经网络中,卷积的基本意义,没有涉及到更低层的意义解释,不过在文末,我链接了一些论坛中阅读量很高的解释文章,有兴趣的可以看看。对于神经网络中,做卷积,是在全连接网络基础之上发展而来的,全连接网络参数太多,优化比较困难,容易过拟合,而卷积过程能够对原始图像进行特征提取,把提取到的特征再喂给全连接网络,...原创 2019-07-12 11:29:29 · 1274 阅读 · 0 评论