2018年11月_风中静行

12月 11月 10月 09月 04月 01月

原创当前开源的那些优秀AIOPS工具？

1、 Metis 腾讯研发开源的。官方介绍：Metis 这个名字取自希腊神话中的智慧女神墨提斯（Metis），它是一系列AIOps领域的应用实践集合。主要解决在质量、效率、成本方面的智能运维问题。当前版本开源的时间序列异常检测学件，是从机器学习的角度来解决时序数据的异常检测问题。时间序列异常检测学件的实现思路是基于统计判决、无监督和有监督学习对时序数据进行联合检测。通过统计判决、无...

2018-11-21 15:51:08 5730

转载 AIOps学习资料汇总

White Paper《企业级 AIOps 实施建议》白皮书Course and SlidesTsinghua-Peidan - AIOps course in Tsinghua.基于机器学习的智能运维Industry Practice腾讯运维的AI实践AI 时代下腾讯的海量业务智能监控实践织云Metis时间序列异常检测全方位解析腾讯织云Metis智能运维学件平台开源...

2018-11-21 10:58:03 3978 1

原创 Bobo老师机器学习笔记第八课-什么是交叉验证？

1、测试数据的真正意义是什么？在上篇博客中，我们看到测试集和训练集在同一个模型上会表现不同的结果。我们通过学习曲线可以直观的看到具体是过拟合还是欠拟合，从而调整参数，进行不断验证，直到找到一个在训练集表现好的数据。总结一句话，就是通过测试数据进行对模型的调优。2、依靠测试数据来调优模型，会不会存在模型对测试数据形成过拟合？会存在，因为我们是围绕测试数据集来验证模型的。所以要介绍...

2018-11-19 19:54:05 490

原创 Bobo老师机器学习笔记第八课-如何防止过拟合和欠拟合？

问题一、什么是过拟合和欠拟合？首先拟合是一个统计学概念，它表示所求函数逼近目标函数的远近程度。应用的机器学习中，就是我们所求的函数与未知的映射函数之间的相似度。如何求得函数参数与潜在的函数参数越逼近，说明效果越好。假设我们用上篇博客中的数据，源码可以见上文：通过上图可以看出：欠拟合是我们求得的模型测试集和训练集都不好过拟合是我们求得模型在训练集表现好，在测试集表现不好 ...

2018-11-16 10:15:27 308

原创 Bobo老师机器学习笔记第八课-多项式回归

问题1: 什么是多项式回归？以前我们学习了线性回归，但是线性回归比较适用于数据之间明显线性关系的。但有时我们使用的数据不一定它们之间有线性关系。那么这时候就要用到多项式回归。多项式我们以前学过，那么多项式的回归方程就类似于问题2: 那么非线性的数据，我们如何做呢，比如下面数据？如果利用上面的数据我们进行线性回归，结果是下面的通过上图可以看出来，上面这条直线对数据回归不太...

2018-11-12 13:11:20 547

原创 Bobo老师机器学习笔记第七课-PCA在人工智能领域应用-特征脸

问题1：什么是特征脸？特征脸（Eigenface）是指用于机器视觉领域中的人脸识别问题的一组特征向量，就是我们以前讲过的由前N个主成分组成的。每一个特征脸代表了一个主成分。如下图：X代表由m个人组成，提前脸上n个特征的矩阵。W（k）表示前K的主成分，每一行可以理解代表人脸的一个特征。所以叫特征脸。问题2：如何获取人脸的数据库？我们采用LFW人脸数据库，LFW (Label...

2018-11-08 20:44:40 665

原创 Bobo老师机器学习笔记第七课-使用PCA对MNIST数据集进行降噪

问题1：什么是MNIST数据集？ MNIST 数据集来自美国国家标准与技术研究所, National Institute of Standards and Technology (NIST). 训练集 (training set) 由来自 250 个不同人手写的数字构成, 其中 50% 是高中学生, 50% 来自人口普查局 (the Census Bureau) 的工作人员. 测试集(tes...

2018-11-08 19:25:32 3507

原创 Bobo老师机器学习笔记第七课-sklearn中PCA的用法

问题1： PCA在sklearn中的哪个模块？答：PCA在sklearn的decomposition模块中。通过from sklearn.decomposition import PCA可以导入PCA。sklearn.decomposition模块包括矩阵分解算法，包括PCA，NMF或ICA。该模块的大多数算法可以被视为降维技术。官网介绍问题2：在利用PCA算法中，用什么指标来判断一个特...

2018-11-07 22:19:47 17786 5

原创【工作经验】如何在IT外包公司快速成长？

写在前面“ 看书时候，突然心中有一份感动，想和工作中的朋友分享一些心得，希望对正在阅读的你有所帮助。”第一点：停止抱怨有的人一进到公司就开始抱怨，公司这里不行，那里不好。但我们要知道能到公司里面，意味着这家公司是我们当时候能做出来的最好选择，或是能力，或是周围环境，都让我们再没有其他更好的选择。一旦选择了就学会为自己的决定负责，学会用乐观积极的心态去面对前面工作。要知道抱怨...

2018-11-05 17:55:28 4397 5

原创 Bobo老师机器学习笔记第七课-如何通过PCA实现高维数据向低维数据的转换

在上一篇博客中我们总结如何求出前N个主成分，这篇博客中我们主要讲述如何通过PCA实现高维数据向低维数据的转变。高维数据向低维数据的转变的核心是重新建立新的坐标系，而这个坐标系就是前K个主成分构成矩阵。所以问题简化为如何通过高位矩阵和前K主成分矩阵，找出新坐标下的地位矩阵首先假设数据X和前K个主成分我们已经求得如下：转换公式其实很简单，如下：从上图可以看到X乘以W的转置矩...

2018-11-04 19:25:06 1910

原创 Bobo老师机器学习笔记第七课-如何求得前N个主成分

在上一篇博客中B oBo老师介绍了主成分分析法的原理，以及用代码实现了如何求得一个主成分。那这篇文章中我们主要讲述如何求得前N个主成分，以及如何用代码实现。 1、如何求取前N个主成分？主要方法是数据进行改变，将数据在第一个主成分上的分量给去掉，然后在新的数据上求取第一主成分, 而在新数据的第一主成分其实就是原来数据的第二主成分，那么如何求取新数据呢，如下图。上图中X‘就是...

2018-11-04 16:42:02 438

原创为什么我会要创建西安AIOPS学习群？

亲爱的同行伙伴：首先感恩你点击打开这篇博文。在信息大爆炸的时代，无论和一个人、一本书或者一篇文章的邂逅，都是一场缘分。一、我是谁？我12年毕业，在上海工作2年后来到西安。和大上海相比，西安的互联网行业还是比较落后的，但是我能感觉到这几年在迅速地发展，我也看重西安以后的发展，所以决定就定居在西安。在西安我首先在西安最大的外包公司-中软国际，做软件研发，4年的时间从起...

2018-11-02 17:30:08 349 4

原创 Bobo老师机器学习笔记第七课-主成分分析法

思维导图笔记算法原理推导过程代码实现# -*- coding: utf-8 -*-import numpy as npimport matplotlib.pyplot as plt# 创建一个只有2个特征的测试数据X = np.empty((100, 2))X[:, 0] = np.random.uniform(0., 100.0, size=100)# ...

2018-11-01 12:45:05 437