滴墨成殇的博客

2.5 性能度量性能度量（performance measure）是衡量模型泛化能力的评价标准，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果。本节除2.5.1外，其它主要介绍分类模型的性能度量。2.5.1 最常见的性能度量在回归任务中，即预测连续值的问题，最常用的性能度量是“均方误差”（mean squared error）,很多的经典算法都是采用了MSE作为评价...

上;https://blog.csdn.net/m0_37622530/article/details/80820908下：https://blog.csdn.net/m0_37622530/article/details/80933282

众所周知，极大似然估计是一种应用很广泛的参数估计方法。例如我手头有一些东北人的身高的数据，又知道身高的概率模型是高斯分布，那么利用极大化似然函数的方法可以估计出高斯分布的两个参数，均值和方差。这个方法基本上所有概率课本上都会讲，我这就不多说了，不清楚的请百度。　　然而现在我面临的是这种情况，我手上的数据是四川人和东北人的身高合集，然而对于其中具体的每一个数据，并没有标定出它来自“东北人”还是“...

1.为什么需要机器学习？机器学习的分类过于复杂的任务 适应性监督学习和无监督学习 主动学习被动学习 老师的帮助2.一般模型①学习器的输入：领域 标签 训练数据②输出：训练集中的数据如何产生：首先依据概率分布D产生数据，然后利用正确的指示函数给出其标签（）假设正确的指示函数存在。衡量成功：3.训练误差4.如何解决ERM下的过拟合情况（在受限的搜索空...

1.数学描述2.不可知PAC学习改进X*Y，概率分布空间贝叶斯最优预测器：3.广义损失函数下的不可知PAC学习

Please Note: UC Berkeley course videos to be taken offline on 15th March 2017. As per website, Beginning March 15, 2017, iTunesU Course Capture content will be removed. You may continue to use/downloa...

[+]QuoraWhat is Data Science?How do I become a Data Scientist?How does Data Science differ from traditional statistical analysis?Related CoursesConcepts in Computing ...

1、Attention Model 概述　　深度学习里的Attention model其实模拟的是人脑的注意力模型，举个例子来说，当我们观赏一幅画时，虽然我们可以看到整幅画的全貌，但是在我们深入仔细地观察时，其实眼睛聚焦的就只有很小的一块，这个时候人的大脑主要关注在这一小块图案上，也就是说这个时候人脑对整幅图的关注并不是均衡的，是有一定的权重区分的。这就是深度学习里的Attention Mod...

What is a neural network?简单来说，深度学习（Deep Learning）就是更复杂的神经网络（Neural Network）。那么，什么是神经网络呢？下面我们将通过一个简单的例子来引入神经网络模型的概念。假如我们要建立房价的预测模型，一共有六个房子。我们已知输入x即每个房子的面积（多少尺或者多少平方米），还知道其对应的输出y即每个房子的价格。根据这些输入输出，我们要建...

考虑我们最初在“线性回归”中提出的问题，特征是房子的面积x，这里的x是实数，结果y是房子的价格。假设我们从样本点的分布中看到x和y符合3次曲线，那么我们希望使用x的三次多项式来逼近这些样本点。那么首先需要将特征x扩展到三维，然后寻找特征和结果之间的模型。我们将这种特征变换称作特征映射（feature mapping）。映射函数称作，在这个例子中我们希望将得到的特征映射后的特征应用于SVM分...

https://www.cnblogs.com/21207-iHome/p/6084670.html

知识点进程和线程:进程和线程都是一个时间段的描述，是CPU工作时间段的描述，不过是颗粒大小不同.进程就是包换上下文切换的程序执行时间总和 = CPU加载上下文+CPU执行+CPU保存上下文.线程是共享了进程的上下文环境的更为细小的CPU时间段。 判别式模型和生成式模型:判别式模型直接学习决策函数f(X)或条件概率分布P(Y|X)作为预测的模型.往往准确率更高,并且可以简化学习问题.如k近邻...

正则化（regularization）技术是机器学习中十分常用的技术，它在不同的模型或者情景中以不同的名字出现，比如以L2正则化为例，如果将L2正则化用于linear regression，那么这就对应了ridge regression；如果将L2正则化用于神经网络（neural network），那么L2对应为权重衰减（weight decay）。正则化的作用实际上就是防止模型过拟合，提高模...

1.KDD与WWW会议网址https://www2018.thewebconf.org/proceedings/http://papers.www2017.com.au.s3-website-ap-southeast-2.amazonaws.com/forms/proceedings.htmhttp://www.kdd.org/kdd2017/accepted-papershttp...

1. 什么是欠拟合和过拟合先看三张图片，这三张图片是线性回归模型 拟合的函数和训练集的关系第一张图片拟合的函数和训练集误差较大，我们称这种情况为 欠拟合 第二张图片拟合的函数和训练集误差较小，我们称这种情况为 合适拟合 第三张图片拟合的函数完美的匹配训练集数据，我们称这种情况为 过拟合  类似的，对于逻辑回归同样也存在欠拟合和过拟合问题，如下三张图  2. 如何解决欠拟合...

1）梯度不稳定问题：什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。原因：前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。（2）梯度消失（vanishing gradient problem）：原因：例如三个隐层、单神经元网络：则可以得到：然而，sigmoid...

PAC的意思Probably Approximate Correct直译过来就是”可能近似正确”，这里面用了两个描述”正确”的词，可能和近似。 “近似”是在取值上，只要和真实值的偏差小于一个足够小的值就认为”近似正确”；”可能”是在概率上，即只要”近似正确”的概率足够大就认为”可能近似正确”。 泛化误差随学习复杂性变大上节查漏补缺中了解到了，如果训练集不是很大，也就是用来给学习机器学习...

1 绪论傍晚小街路面上沁出微雨后的湿润，和熙的细风吹来，抬头看看天边的晚霞，嗯，明天又是一个好天气。走到水果摊旁，挑了个根蒂蜷缩、敲起来声音浊响的青绿西瓜，一边满心期待着皮薄肉厚瓢甜的爽落感，一边愉快地想着，这学期狠下了工夫，基础概念弄得清清楚楚，算法作业也是信手拈来，这门课成绩一定差不了！哈哈，也希望自己这学期的machine learning课程取得一个好成绩！1.1 机器学习的定义...

一、奇异值与特征值基础知识：    特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧：   1）特征值：    如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式：    这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特...

1.①张量在某些情况下，我们会讨论坐标超过两维的数组。一般地，一个数组中的元素分布在若干维坐标的规则网格中，我们称之为张量。②矩阵乘积运算为 元素对应乘积（element-wise product）或者 Hadamard 乘积（Hadamard product），记为 A ⊙ B一个列向量线性相关的方阵被称为 奇异的（singular）。2.范数范数（包括 Lp 范...

转载地址： http://blog.csdn.net/JoyceWYJ/article/details/51580139前言             这节课主要介绍凸优化的入门知识，程博士推荐阅读Boy...