机器学习
执笔论英雄
这个作者很懒,什么都没留下…
展开
-
Sampling from a Gaussian (Box-Muller method)
来源:https://blog.csdn.net/weixin_41793877/article/details/84700875[https://blog.csdn.net/m0_37772174/article/details/81356434?depth_1-utm_source=distribute.pc_relevant_right.none-task&utm_sou...原创 2020-03-02 08:43:27 · 261 阅读 · 0 评论 -
Attention Is All You Need(Transformer )
今天是2020年2月1日,笔者学习了Attention Is All You Need(Transformer )论文,可以在sequence to sequence 模型中用multi head self -attention 代替RNN,可以并行计算输出,其中multi head 的作用可以集成不同的上下文attention,由于knowledge leve有限,代码层面有待学习...原创 2020-02-01 16:54:11 · 134 阅读 · 0 评论 -
机器学习每日阅读更新
方差、偏差与欠拟合及过拟合原创 2020-01-30 12:54:25 · 141 阅读 · 0 评论 -
势函数法 (一种确定性的非线性分类方法)
势函数的目的用势函数的概念来确定判别函数和划分类别界面。基本思想1.假设要划分属于两种类别ω1和ω2的模式样本,这些样本可看成是分布在n维模式空间中的点xkx_kxk。2.把属于ω1的点比拟为某种能源点,在点上,电位达到峰值。3. 随着与该点距离的增大,电位分布迅速减小,即把样本xkx_kxk附近空间x点上的电位分布,看成是一个势函数K(x,xk)K(x, x_k)K(x,xk)...原创 2019-12-25 11:30:41 · 2337 阅读 · 0 评论 -
感知器算法
https://blog.csdn.net/qq_18870127/article/details/79097735https://blog.csdn.net/xiaoweidz9/article/details/79895489出发点一旦判别函数的形式确定下来,不管它是线性的还是非线性的,剩下的问题就是如何确定它的系数。在模式识别中,系数确定的一个主要方法就是通过对已知样本的训练和学习来...原创 2019-12-25 10:20:00 · 1426 阅读 · 0 评论 -
概率图模型
例对于5节点,给定1和2,节点5和3,4都独立原创 2019-12-23 10:01:45 · 132 阅读 · 0 评论 -
高斯密度下的贝叶斯判别
这里x1,x2x_1,x_2x1,x2属于不同的特征变量,其均值在计算中我们用样本均值和方差代替原创 2019-12-21 16:40:49 · 176 阅读 · 0 评论 -
logistic regression and softmax_regression
import numpy as npfrom prml.linear.classifier import Classifierclass LogisticRegression(Classifier): """ Logistic regression model y = sigmoid(X @ w) t ~ Bernoulli(t|y) """ ...原创 2019-12-20 19:57:20 · 146 阅读 · 0 评论 -
3.3. Bayesian Linear Regression(PRML 系列)
线性回归回顾一开始使用最小二乘估计从概率角度考虑对应MLE(极大似然拟合),容易过拟合,引入了Regularized LSE(有两种:Lasso及Ridge)从概率角度来看,属于最大后验回归。对于p(w)p(w)p(w)如果属于高斯分布,则为Ridge,如果属于Laplace,则对应Lasso回归。不论是最小二乘估计还是正则化的最小二乘估计,都是属于频率派,即认为www是未知常数,属于点估...原创 2019-12-19 17:54:51 · 251 阅读 · 0 评论 -
3.2. The Bias-Variance Decomposition(PRML系列)
频率派、贝叶斯派看over fitting由回归问题引出偏差方差分解这里对原始要拟拿数据进行了一定的假设,假设原始数据服从一定的分布p(t)p(t)p(t),(一般是均值是一条光滑曲线,方差属于高斯噪声),假定数据是从服从p(t)p(t)p(t)的分布中采集的,我们期望通过采集的样本进行拟合从而得知原始数据的真实分布。那么上面对应的期望均值h(x)h(x)h(x)便是最优的对真实的分布的...原创 2019-12-19 15:21:36 · 203 阅读 · 0 评论 -
3.1 Linear Basis Function Models(PRML 系列----3.1.5 Multiple outputs)
multiple, independent regression problems.共享相同的基函数对β求导可计算β估计值\beta求导可计算\beta估计值β求导可计算β估计值多变量解耦:原因在于W(M∗K)W(M*K)W(M∗K)只定义了高斯噪声的输出,只考虑单变量即可WWW中K个变量之间的协方差解偶证明K个变量之间的协方差解偶证明K个变量之间的协方差解偶证明p(t∣x,W,β...原创 2019-12-18 21:52:17 · 358 阅读 · 0 评论 -
3.1 Linear Basis Function Models(PRML 系列----3.1.4 Regularized least squares)
简单推导如下:为了方便将标量对列向量www导数写为行向量更多的正则化L1正则化与Lagrange Multipliers 的等价性原创 2019-12-18 20:30:01 · 205 阅读 · 0 评论 -
3.1 Linear Basis Function Models(PRML 系列----3.1.1 Maximum likelihood and least squares
多项式基函数的缺点,详细以后再补存常用基函数3.1.1 Maximum likelihood and least squares与GMM的区别:单峰的而GMM是多峰的多个数据此时下标表示样本个数由正态分布得到具体的形式高斯噪声、线性模型最大化似然等价于最小化MSE一点点简单的证明f=wTϕ(xn)f=\mathbf{w}^T\mathbf{\bm\phi(x_n)}f...原创 2019-12-18 18:06:06 · 559 阅读 · 0 评论 -
1.2.4 The Gaussian distribution(PRML系列)
多变量联合高斯分布 ,这里的多变量是指多个服从高斯分布 的样本,也可以是一个样本多个特征维度之间服从高斯分布原创 2019-12-18 16:19:34 · 207 阅读 · 0 评论 -
最小均方误差推导(RPML )
推导如下令 A=t−ΦwA=t-\Phi wA=t−ΦwdA=t−Φdw=−ΦdwdA=t-\Phi dw=-\Phi dwdA=t−Φdw=−Φdwf=ATRAf=A^TRAf=ATRAdf=(dA)TRA+ATRdA df=(dA)^TRA+A^TRdA df=(dA)TRA+ATRdAdf=tr((dA)TRA+ATRdA) df=tr((dA)^TRA+A^TRdA) df=t...原创 2019-12-17 21:50:31 · 1481 阅读 · 0 评论 -
Stochastic Neighbor Embedding(模式识别降维系列)
http://www.datakit.cn/blog/2017/02/05/t_sne_full.html原创 2019-12-16 21:43:41 · 688 阅读 · 0 评论 -
实对称矩阵信道
原创 2019-12-10 11:53:01 · 347 阅读 · 0 评论 -
Mean Shift源码分析记录
参考原创 2019-12-08 14:33:01 · 493 阅读 · 0 评论 -
Mean Shift(聚类算法)
国科大卿来云老师模式识别笔记算法原理meanshift算法其实通过名字就可以看到该算法的核心,mean(均值),shift(偏移),简单的说,也就是有一个点 ,它的周围有很多个点 我们计算点 移动到每个点 所需要的偏移量之和,求平均,就得到平均偏移量,(该偏移量的方向是周围点分布密集的方向)该偏移量是包含大小和方向的。然后点 就往平均偏移量方向移动,再以此为新的起点不断迭代直...原创 2019-12-08 11:13:44 · 499 阅读 · 0 评论 -
machine_learning_a_bayesian_perspective.pdf
https://iie.fing.edu.uy/~nacho/docs/libros/machine_learning_a_bayesian_perspective.pdf原创 2019-12-08 10:27:11 · 345 阅读 · 0 评论 -
离散型随机变量与连续性随机变量和分布
原创 2019-12-07 16:08:36 · 2873 阅读 · 1 评论 -
机器学习之协方差和协方差矩阵
原创 2019-12-03 09:43:55 · 428 阅读 · 0 评论 -
K-L变换(方差最大,最小均方误差)
总结一下:KL变换在使用协方差矩阵作为变换矩阵时,为主成分变换(PCA),为均方意义下误并最小的最优正交变换。当采用其它变换矩阵时(如总的类内离散度矩阵)不是最优变换,但是可以保留类别鉴别信息。https://wenku.baidu.com/view/f01d4990a48da0116c175f0e7cd184254b351b2c.htmlhttp://www.doc88.co...原创 2019-12-02 23:19:17 · 1281 阅读 · 0 评论 -
模式识别第四章(特征选择与特征提取)
特征选择与特征提取之间的联系与区别4.1 特征选择基本概念、4.2 类别可分离性判据4.2.1 基于距离的可分性判定点到点之间的距离在nnn维空间中,,aaa和bbb两点之间的欧氏距离为:D(a,b)=∥a−b∥\mathrm{D}(\mathrm{a}, \mathrm{b})=\|\mathrm{a}-\mathrm{b}\|D(a,b)=∥a−b∥写成距离平方:D...原创 2019-12-01 22:00:51 · 1465 阅读 · 0 评论 -
概率图模型的前世今生
原创 2019-11-15 22:20:52 · 164 阅读 · 0 评论 -
Restricted Boltamann Machine
RBM 模型表示因子图原创 2019-11-15 17:30:03 · 134 阅读 · 0 评论 -
MLAPP————第十三章 稀疏线性模型
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...转载 2019-10-31 12:04:54 · 1482 阅读 · 0 评论 -
MLAPP————第九章 广义线性模型和指数家族
原创 MLAPP————第九章 广义线性模型和指数家族 ...转载 2019-10-31 12:01:46 · 530 阅读 · 0 评论 -
高斯过程 Function-space View
http://blog.sciencenet.cn/blog-3189881-1140129.html公式结果原创 2019-10-31 11:57:31 · 171 阅读 · 0 评论 -
高斯回归权重空间过程
高斯回归权重空间过程笔记来源:https://www.bilibili.com/video/av70839977/?p=115参考文献:学习文献1https://ww2.mathworks.cn/help/stats/gaussian-process-regression-models.htmlhttp://smellysheep.com/2018/07/%E9%AB%98%E6%96%...原创 2019-10-31 10:10:17 · 565 阅读 · 0 评论 -
矩阵分解(Matrix Decomposition)
https://zhuanlan.zhihu.com/p/52890135原创 2019-10-28 09:24:42 · 316 阅读 · 0 评论 -
《Hands-On Machine Learning with Scikit-Learn & TensorFlow》读书笔记 第七章 集成学习
https://blog.csdn.net/az9996/article/details/89632142原创 2019-10-24 09:23:35 · 99 阅读 · 0 评论 -
从拉普拉斯到谱聚类
谱聚类(spectral clustering)是广泛使用的聚类算法,比起传统的K-Means算法,谱聚类对数据分布的适应性更强,聚类效果也很优秀,同时聚类的计算量也小很多,更加难能可贵的是实现起来也不复杂。在处理实际的聚类问题时,个人认为谱聚类是应该首先考虑的几种算法之一。下面我们就对谱聚类的算法原理做一个总结。1. 谱聚类概述 谱聚类是从图论中演化出来的算法,后来在...转载 2019-10-21 20:55:25 · 146 阅读 · 0 评论 -
数学中的各种矩阵大总结--拉普拉斯矩阵
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本...转载 2019-10-21 20:29:58 · 10432 阅读 · 0 评论 -
机器学习中重要的学习网站:重重重要
http://www.hankcs.com/ml/https://github.com/apachecn/AiLearning/tree/masterhttp://www.cnblogs.com/pinard/p/6955871.htmlhttps://feisky.xyz/machine-learning/basic/gradient-descent.html自然语言处理:htt...原创 2018-11-18 16:06:01 · 107 阅读 · 0 评论 -
HMM算法:
https://blog.csdn.net/xueyingxue001/article/details/52396494https://www.cnblogs.com/sddai/p/8475424.htmlhttp://www.cnblogs.com/pinard/p/6945257.html个人认为最好:http://www.hankcs.com/ml/hidden-markov-...原创 2018-11-18 16:27:00 · 195 阅读 · 0 评论 -
机器学习实战Kmeans
from numpy import *import matplotlib.pyplot as pltimport pandas as pd# Load dataseturl = "https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data"names = ['sepal-length', 'sep...原创 2018-10-31 22:01:55 · 345 阅读 · 0 评论 -
KNN自己封装库函数
KNN 概述k-近邻(kNN, k-NearestNeighbor)算法是一种基本分类与回归方法,我们这里只讨论分类问题中的 k-近邻算法。k 近邻算法实际上利用训练数据集对特征向量空间进行划分,并作为其分类的“模型”。 k值的选择、距离度量以及分类决策规则是k近邻算法的三个基本要素。KNN 场景电影可以按照题材分类,那么如何区分 动作片 和 爱情片 呢?动作片:打斗次数更多...原创 2018-10-28 21:40:38 · 732 阅读 · 0 评论 -
BP 神经网洛算法Python实现
import numpy as npdef tanh(x): return np.tanh(x)def tanh_deriv(x): return 1.0 - np.tanh(x)*np.tanh(x)def logistic(x): return 1/(1 + np.exp(-x))def logistic_derivative(x): ...原创 2018-11-23 11:37:42 · 157 阅读 · 0 评论 -
Tensorflow 验证码实别中的问题
for i in "abcdefxyz": print(i)abcdefxyzfor i in "abcdefghijklmnopqrstuvwxyz": print(ord(i))979899100101102103104105106107108109110111112113114115116117118119...原创 2018-11-26 13:54:52 · 164 阅读 · 0 评论