机器学习课程笔记
akon_wang_hkbu
这个作者很懒,什么都没留下…
展开
-
机器学习视频第一课(装箱问题)
先算出3件次品放入3个箱子的概率: A(3,3)12件正品放入3个箱子的概率: C(12,4)*C(8,4)*C(4,4)*A(3,3)所有的可能性:15件正品放入3个箱子的概率:C(15,5)*C(10,5)*C(5,5)*A(3,3)所有概率公式为: [C(12,4)*C(8,4)*C(4,4)*A(3,3)*A(3,3)]/[C(15,5)*C(10,5)*原创 2017-08-01 18:12:53 · 632 阅读 · 0 评论 -
机器学习第十六课part3(Baum-Welch算法,Viterbi算法)
原创 2017-09-25 11:17:24 · 704 阅读 · 0 评论 -
beta分布
转载 2017-09-18 14:56:33 · 484 阅读 · 0 评论 -
机器学习第十四课part1(Jensen不等式,最大似然估计回顾,Gaussian Mixture Model)
JENSEN不等式复习最大似然估计原创 2017-09-10 11:52:19 · 273 阅读 · 0 评论 -
机器学习第十四课part2(EM,EM算法用于GMM)
EM算法EM算法用于GMM原创 2017-09-10 12:24:45 · 330 阅读 · 0 评论 -
机器学习第十课part3之Boost总结
关于boost算法: boost算法是基于PAC学习理论(probably approximately correct)而建立的一套集成学习算法(ensemble learning)。其根本思想在于通过多个简单的弱分类器,构建出准确率很高的强分类器,PAC学习理论证实了这一方法的可行性。(1)Adboost adboost的实现过程:原创 2017-08-30 09:44:25 · 487 阅读 · 0 评论 -
机器学习第十一课(SVM)
一些概念:误差的累积叫做风险 样本数据上的分类的结果与真实结果之间的差值叫做经验风险Remp(w)。真实风险应该由两部分内容刻画, 一是经验风险,代表了分类器在给定样本上的误差; 二是置信风险,代表了我们在多大程度上可以信任分类器在未知文本上分类的结果。泛化误差界的公式为:R(w)≤Remp(w)+Ф(n/h)公式中 R(w)就是真实风险,Remp(w)就是原创 2017-09-01 11:04:42 · 427 阅读 · 0 评论 -
机器学习第十六课part1(beta分布,dirichlet分布)
对称的时候,比如beta分布,α=0.5,β=0.5,这是对称分布所以就是K*α,此时K=2.当分布为dirichlet分布时,如果是对称分布 K*α=1(因为所有概率加和等于1)原创 2017-09-18 21:03:12 · 675 阅读 · 0 评论 -
机器学习第十六课part2(LDA模型)
在Gibbs采样中如果β等于0,结果就相当于频率原创 2017-09-19 11:01:54 · 341 阅读 · 0 评论 -
机器学习第三课第二部分(SVD)
一、奇异值与特征值基础知识: 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系,我在接下来会谈到,特征值分解和奇异值分解的目的都是一样,就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧: 1)特征值: 如果说一个向量v是方阵A的特征向量,将一定可以表示成下面的形式: 这时候λ就被称为特征向量v对应的特征原创 2017-08-14 09:47:30 · 1211 阅读 · 0 评论 -
Logistic的损失函数的推导.
原创 2017-08-30 10:14:11 · 2424 阅读 · 0 评论 -
机器学习第十课part1(BOOST包含GBDT和XGBOOST)
BOOST原创 2017-08-29 11:35:31 · 385 阅读 · 0 评论 -
MSE的梯度。
原创 2017-10-28 11:27:25 · 2412 阅读 · 0 评论 -
混淆矩阵(第一类错误,第二类错误)
第一类错误和第二类错误\原创 2017-09-01 19:06:38 · 6803 阅读 · 0 评论 -
机器学习中正则化项L1和L2的直观理解
原文链接点击打开链接转载 2017-11-24 19:28:15 · 274 阅读 · 0 评论 -
机器学习第七课part2(ROC;AUC;PR曲线)
ROCAUC转载 2017-08-24 15:45:03 · 355 阅读 · 0 评论 -
熵与互信息
http://blog.csdn.net/pipisorry/article/details/51695283转载 2018-02-05 09:54:55 · 278 阅读 · 0 评论 -
机器学习第十六课part1(HMM直接计算法)
隐状态I,有N个可能的取值,比如今天下雨明天下雨的概率,今天下雨明天阴天的概率,今天下雨明天晴天的概率等等,下一个的状态可能取到所有的状态N中的一个.原创 2017-09-21 17:39:29 · 260 阅读 · 0 评论 -
机器学习第十六课part2(前向算法,后向算法)
这个例子中F,B分别代表两种状态,一个是公平(fair)硬币状态,和不公平(bias)硬币状态,Bf(H)代表公平抛出头的观测概率(fair to head),以此类推,B为观测概率分布.O为观测序列.原创 2017-09-22 15:06:56 · 368 阅读 · 0 评论 -
TF-IDF算法
转载 2017-09-17 13:31:12 · 165 阅读 · 0 评论 -
机器学习视频第二课(从伯努利到sigmoid函数)
泰勒展开式推出泊松分布原创 2017-08-04 18:11:39 · 1029 阅读 · 0 评论 -
机器学习第三课第一部分(矩阵方向变换,正交矩阵)
矩阵变换:沿任意轴旋转及其推导1. 2D中绕原点旋转设基向量p,q和r分别是朝向+x,+y和+z方向的单位向量。旋转角度为θ,基向量p,q绕原点旋转,得到新的基向量p`和q`即旋转矩阵R(θ)为2. 3d中绕坐标轴旋转01. 绕x轴旋转,基向量q和r旋转θ,得到新的基向量q`和r`即旋转原创 2017-08-11 15:09:09 · 1986 阅读 · 0 评论 -
机器学习第四课(padding)
卷积的边界处理(padding)现在让我们看一下填充(padding)。在此之前,想象一个场景:当你把 5 x 5 x 3 的过滤器用在 32 x 32 x 3 的输入上时,会发生什么?输出的大小会是 28 x 28 x 3。注意,这里空间维度减小了。如果我们继续用卷积层,尺寸减小的速度就会超过我们的期望。在网络的早期层中,我们想要尽可能多地保留原始输入内容的信息,这样我们就能原创 2017-08-17 15:06:11 · 5193 阅读 · 0 评论 -
机器学习第五课part2(one hot encoding,sklearn.preprocessing.PolynomialFeatures)
one hot encodingone hot encoding一般使用在离散变量,但变量之间没有关系,比如数据中出现好/一般/不好,和蓝色/绿色/红色时,我就不能把两组变量都编写成1,2,3.这样变量之间会有影响,此时就需要用one hot encoding,但是它带来的麻烦就是变量变多,而且变得稀疏.一般在逻辑回归的时候会用,在决策树的时候就不需要one hot encoding.原创 2017-08-20 22:01:27 · 285 阅读 · 0 评论 -
机器学习第三课第三部分(矩阵求导数)
原创 2017-08-23 11:53:35 · 532 阅读 · 0 评论 -
机器学习第九课(bagging,随机森林,样本不均衡)
Bagging原创 2017-08-26 22:06:41 · 6411 阅读 · 1 评论 -
机器学习第六课part1(最小二乘,L1,L2正则)
从高斯分布到最小二乘原创 2017-08-23 11:19:17 · 3797 阅读 · 2 评论 -
机器学习第五课part1(最大似然估计,PCA)
(1)最大似然估计(2)PCA原创 2017-08-20 15:19:06 · 694 阅读 · 0 评论 -
机器学习第六课part2(梯度下降)
梯度下降原创 2017-08-23 17:04:26 · 215 阅读 · 0 评论 -
机器学习第十二课(距离,K-means,聚类衡量指标)
各种距离:原创 2017-09-05 15:07:56 · 1333 阅读 · 0 评论 -
机器学习第七课part1(logistc regression, softmax regression,KNN)
logistc regression原创 2017-08-23 20:17:55 · 356 阅读 · 0 评论 -
机器学习第十三课(DBSCAN,密度最大值聚类,谱聚类)
DBSCAN原创 2017-09-06 16:17:26 · 650 阅读 · 0 评论 -
机器学习第十课part2(Adboost)
原创 2017-08-29 17:36:36 · 317 阅读 · 0 评论 -
机器学习第十五课(朴素贝叶斯,拉普拉斯修正,贝叶斯网络)
朴素贝叶斯的推导原创 2017-09-14 14:30:02 · 1025 阅读 · 0 评论 -
机器学习第八课(决策树)
Entropy做决策树就是建立一个entropy不断下降的树(但是如果entropy下降的太厉害会有可能过拟合)ID3 Information gain(选择entropy下降最快的)C4.5 Gain ratioCART Gini index(Gini系数可原创 2017-08-26 13:57:42 · 338 阅读 · 0 评论 -
机器学习常见的几个误区--逻辑回归的变量之间如果线性相关
下面罗列的几个在机器学习算法实际应用中误区,解决了我很多困惑,推荐大家读一下:Machine Learning Done WrongStatistical modeling is a lot like engineering.In engineering, there are various ways to build a key-value storage, and each design ma...转载 2018-04-01 21:27:28 · 3019 阅读 · 0 评论