机器学习
文章平均质量分 93
冈仁波齐下写一串优美的代码
正在THU熏陶的非现实主义者
展开
-
机器学习的数学基础(壹)
1 范数(norm)它常常被用来度量某个向量空间(或矩阵)中的每个向量的长度或大小。1.1常见的范数0-范数 有多少个非零的数1-范数(曼哈顿距离) ║x║1 =│x1│+│x2│+…+│xn│2-范数 (欧几里得距离) $x^2+2$∞-范数...原创 2018-09-17 21:53:27 · 322 阅读 · 0 评论 -
数据学习(5)·K-means 聚类和PCA算法
作者的课堂笔记humminwang@163.comPreviewK-means 聚类主成分分析(Principal Component Analysis)无监督学习和有监督学习类似,但是数据没有标签。给定输入数据,发现简化的特征,同时和输入的特征拥有同样的信息量。一般来说,好的表示一般是低维度的,或者是稀疏表示的,也就是说大部分是0,又或者是独立的表示。...原创 2018-11-24 10:05:44 · 3545 阅读 · 2 评论 -
数据学习(4)·神经网络(上)
作者课堂笔记,需要请联系humminwang@163.comPreview:常见的激活函数万能准则反向传播(BackPropagation)M-P神经元模型:(名字来源是一个叫McCulloch和Pitts大佬提出的)1 常见的激活函数Sigmoid(阐述)Tanh(阐述)ReLu(阐述)Leaky ReLu(阐述)函数绘图代码(python)...原创 2018-11-17 20:45:32 · 949 阅读 · 0 评论 -
数据学习(6)·Alternating Conditional Expectations(ACE)算法
作者课堂笔记,联系方式humminwang@163.com原创 2018-12-16 21:41:53 · 3017 阅读 · 3 评论 -
数据学习(9)·最大期望算法·混合高斯模型(上)
作者课堂笔记摘录,有问题请联系 humminwang@163.comPreview高斯混合模型(Mixture of Gaussians)最大期望算法(EM)因子分析(Factor Analysis)习题训练1 高斯混合(Mixture of Gaussians)什么是高斯混合模型,我们可以简单理解为数据的生成来自不同的高斯分布,如上的鸢尾花...原创 2019-01-14 13:05:50 · 570 阅读 · 0 评论 -
数据学习(10)·最大期望算法·因子分析模型(下)
作者课堂笔记摘录,有问题请联系 humminwang@163.com1 因子分析(Factor Analysis)内容参考 http://blog.csdn.net/stdcoutzyx/article/details/37559995高斯混合模型,当训练数据样本数目小于样本维度的时候,因为协方差矩阵的非奇异性,导致不能得到概率密度函数问题,对于其他模型来说,样本数小于样本维度,也容易引...原创 2019-01-14 13:08:02 · 649 阅读 · 0 评论 -
数据学习(8)·假设检验
作者课堂笔记 humminwang@163.com假设检验(Hypothesis Testing)Y={0,1}Y=\{0,1\}Y={0,1},数据XXX是独立同分布从P(X∣Y=0)P(X|Y=0)P(X∣Y=0)或P(X∣Y=1)P(X|Y=1)P(X∣Y=1)产生。X=(x1,x2,....,xn)∈Xn X=(x_1,x_2,....,x_n)\in X^n X=(x1,...原创 2019-03-05 10:11:08 · 267 阅读 · 0 评论 -
入门人工智能·机器学习篇·概率论(AIML02)
文章内容参考《PATTERN RECOGNITION & MACHINE LEARNING》作者:CHRISTOPHER M.BISHOP 文章作者联系邮箱:humminwang@163.comPreview (Chapter 1):作者叨叨一下人工智能以例子入门了解机器学习:多项式曲线拟合概率论←\quad \leftarrow←模型选择←\quad \leftarrow...原创 2019-03-17 11:57:21 · 432 阅读 · 0 评论 -
入门人工智能·机器学习篇·信息论(AIML03)
文章内容参考《PATTERN RECOGNITION & MACHINE LEARNING》作者:CHRISTOPHER M.BISHOP 文章作者联系邮箱:humminwang@163.comPreview (Chapter 1):作者叨叨一下人工智能以例子入门了解机器学习:多项式曲线拟合概率论模型选择高维诅咒←\quad \leftarrow←决策论←\quad \...原创 2019-03-18 13:44:25 · 494 阅读 · 0 评论 -
入门人工智能·机器学习篇·概率分布(AIML04)
文章内容参考《PATTERN RECOGNITION & MACHINE LEARNING》作者:CHRISTOPHER M.BISHOP 文章作者联系邮箱:humminwang@163.comPreview (Chapter 2):原创 2019-03-27 23:39:58 · 249 阅读 · 0 评论 -
数据学习(1)·线性回归和Logistic回归
本系列是作者上课时记录的笔记整理,同时有对应的作业习题,自学的同学参考博客同步即可。邮箱联系humminwang@163.comPreview:监督学习(第一部分)线性回归Logistic回归Softmax回归编程作业Review:监督学习:输入χ\chiχ,目标ψ\psiψ,通过给出训练样本,我们希望学习到一个假设函数h:χ→ψh:\chi\rightarrow\ps...原创 2018-11-08 13:09:16 · 343 阅读 · 0 评论 -
数据学习(3)·生成学习算法
作者课堂笔记整理,humminwang@163.comPreview判别和生成模型高斯判别分析朴素贝叶斯两种学习方法分类输入的数据x,成两个类别y∈{0,1}y\in\{0,1\}y∈{0,1}判别学习算法该算法学习条件概率p(y∣x)p(y|x)p(y∣x)或者直接学习函数映射。举例:线性回归,Logistic回归,K近邻…生成学习算法该学习算法学习联合概率p(x...原创 2018-11-10 22:55:14 · 885 阅读 · 0 评论 -
机器学习的数学基础(贰)
概率与统计(Probability and Statistics)1 概率1.1 条件概率(Conditional Probability)P(A∣B)=P(A∩B)P(B)P(A|B)= \frac {P(A\cap B )}{P(B)}P(A∣B)=P(B)P(A∩B)A在另外一个事件B已经发生条件下的发生概率。例题:老王有两个孩子,亲生的!A:他告诉有一个是男孩子,求另一...原创 2018-09-19 11:13:24 · 1011 阅读 · 0 评论 -
经典的机器学习模型(贰)
决策树ID3 算法的核心问题是选取在树的每个结点要测试的属性。我们希望选择的是最有 助于分类实例的属性。那么衡量属性价值的一个好的定量标准是什么呢?这里将定义一 个统计属性,称为“信息增益(information gain)”,用来衡量给定的属性区分训练样例 的能力。ID3 算法在增长树的每一步使用这个信息增益标准从候选属性中选择属性。熵(Entropy)所有可能结果的信息量的总和组成熵。信...原创 2018-09-26 10:13:59 · 1321 阅读 · 0 评论 -
经典的机器学习模型(叁)
1 CART(Classification and Regression Tree)决策树的本质就是将空间分为若干个区域,对空间向量的垂直分割。给定训练数据D={(x(1),y(1)),(x(2),y(2))...(x(n),y(n))}D=\{ (x^{(1)},y^{(1)}),(x^{(2)},y^{(2)})...(x^{(n)},y^{(n)})\}D={(x(1),y(1)),(x...原创 2018-10-04 15:52:29 · 263 阅读 · 0 评论 -
机器学习的数学基础(叁)
1 最小二乘法(Least Square Fitting)最小二乘法则是一种统计学习优化技术,它的目标是最小化误差平方之和来作为目标,从而找到最优模型,这个模型可以拟合(fit)观察数据。回归学习最常用的损失函数是平方损失函数,在此情况下,回归问题可以用著名的最小二乘法来解决。最小二乘法就是曲线拟合的一种解决方法。来自https://blog.csdn.net/iterate7/artic...原创 2018-09-21 18:28:07 · 185 阅读 · 0 评论 -
经典的机器学习模型(壹)
1 K近邻算法K-Nearest Neighbor (k-NN)KNN是通过测量不同特征值之间的距离进行分类。它的思路是:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别,其中K通常是不大于20的整数。KNN算法中,所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。...原创 2018-09-22 23:33:37 · 1077 阅读 · 0 评论 -
线性模型(壹)
最小二乘法(Least Square)原创 2018-10-09 14:45:49 · 192 阅读 · 1 评论 -
线性模型(贰)
正则化(Regulization)当出现θ^=(XTX)−1XTY\hat\theta=(X^TX)^{-1}X^TYθ^=(XTX)−1XTY,其中(XTX)(X^TX)(XTX)是奇异矩阵的时候,怎么处理?所以引出了正则化的概念。X=[1x1(1)...xn(1)1x1(2)...xn(2)............1x1(N)...xn(N)]=[x(1)Tx(2)T...x(N)T]X...原创 2018-10-29 17:08:08 · 174 阅读 · 0 评论 -
支持向量机学习(一)·统计学习方法
支持向量机1 线性可分支持向量机线性可分支持向量机和线性支持向量机假设输入空间与特征空间为一一对应关系,并将输入空间中的输入映射为特征空间中的特征向量。非线性支持向量机利用一个从输入空间到特征空间的非线性映射将输入映射为特征向量,所以输入都是由输入空间到特征空间,支持向量机的学习是在特征空间进行的。假设数据集T={(x1,y1),.....,(xN,yN)},xi∈χ=Rn,yi∈ψ={+1...原创 2018-10-24 23:05:01 · 322 阅读 · 0 评论 -
数据学习(2)·广义线性模型
作者课堂笔记,有问题请联系humminwang@163.com0 目录指数族,广义线性模型原创 2018-11-10 16:29:43 · 369 阅读 · 0 评论 -
入门人工智能·机器学习篇·神经网络(AIML08)
文章内容参考《PATTERN RECOGNITION & MACHINE LEARNING》作者:CHRISTOPHER M.BISHOP 文章作者联系邮箱:humminwang@163.comPreview (Chapter 5):前馈神经网络网络训练误差反向传播Hessian矩阵神经网络正则化混合密度神经网络贝叶斯神经网络神经网络为了减少基函数数量问题,从而...原创 2019-05-31 12:10:34 · 527 阅读 · 0 评论