机器学习
Veropatrinica
这个作者很懒,什么都没留下…
展开
-
快速理解图神经网络(GCN)
网上对图卷积神经网络(Graph Convolutional Networks)的介绍大都说的云里雾里,让人看了不甚明白,无意中找到了篇很好的文章,让我对图神经网络中f(X, A) = D⁻¹AX这个式子有一个很清楚的了解。本文主要参考这篇文章,强烈建议大家去读一下原文: https://towardsdatascience.com/how-to-do-deep-learning-on-graphs-with-graph-convolutional-networks-7d2250723780。介绍本文的原创 2020-06-02 18:18:13 · 3344 阅读 · 2 评论 -
机器学习笔记——大规模机器学习(large scale machine learning)
大规模机器学习大规模机器学习指的是训练样本数量非常大的情况。随机梯度下降我们在用梯度下降求解代价函数的最小值时我们每一次迭代都要让所有数据都参与一次运算,因此我们也将其叫做批梯度下降(batch gradient desent),这样带来的运算量将会非常大为了解决这个问题,我们可以采用随机梯度下降(stochastic)算法,每次θ更新只将一个数据纳入样本计算,这样相当于每次更...原创 2019-01-01 17:45:19 · 787 阅读 · 0 评论 -
机器学习笔记——推荐系统(recommender system)
推荐系统我们在平时最常见的就是某个网站给你推荐广告,豆瓣给你推荐电影,网易云给你推荐你喜欢的歌,这种系统我们统一称作推荐系统基于内容的推荐我们举一个电影打分的例子我们可以为某一部电影选定特征,不同人对不同的特征有不同的偏爱特性,借此我们可以预测某个人对某部特定电影的打分,输入x是某部电影的特征,θ是某个人对电影特征的偏爱参数以下是该问题的一些参数因此对于给定电影...原创 2019-01-01 12:09:58 · 2637 阅读 · 0 评论 -
机器学习笔记——异常检测(anomaly detection)
异常检测当我们需要让一个系统从许多未标注的数据中学习到某些正常的特征,从而能够诊断出非正常的数据,我们把这个过程叫做异常检测我们要做的就是对于给定的一组特征值,我们输出一个概率,如果这个概率值小于某个临界值,代表数据异常算法我们可以采用高斯函数来拟合这个概率值,对于某个特征,我们计算出它的均值与方差,之后就可以得到一个高斯概率分布,然后我们将所有特征的高斯分布函数相乘作为我...原创 2019-01-01 10:57:06 · 1611 阅读 · 0 评论 -
机器学习笔记——降维(dimensionality reduction)
降维目的我们对数据进行降维的目的有两个:一个是数据压缩,对于数据压缩我们可以大大地节省存储空间第二就是使得数据可以可视化,我们将多维数据压缩成二维可以供我们更好地观察数据的特征主成分分析(PAC)主成分分析法可以将n维的数据降为k维,实际上我们是选取了一个k维的基向量,然后将n维的数据映射到k维上,使得投影误差最小。这k个基向量就是我们的主成分在降维之前我们也需...原创 2018-12-18 17:44:26 · 1627 阅读 · 0 评论 -
机器学习笔记——无监督学习(unsupervised learning)
聚类之前我们讲到的都是监督学习,下面让我们来看对于无监督学习我们应该如何进行分类呢?无监督学习对应的就是给定的样本点我们不给输出值来进行分类K-meansK-means是一种十分常用的算法,它的过程就是对于给定的K个初始点,首先根据各个样本点到其的距离进行分类,之后将这K个初始点位置更新为本类内所有点的平均位置,再不断迭代,直到K个聚类中心的位置不变采用这种方法我们对于非分...原创 2018-12-18 16:51:23 · 893 阅读 · 0 评论 -
机器学习笔记——支持向量机(SVM)
支持向量机除了之前讲的机器学习的方法,还有一种常用的方法叫做支持向量机。我们将logistic回归的假设函数以及代价函数稍加更改就可以得到支持向量机的模型另外还有不同的是SVM的输出并不是一个概率值,而是0或1大间隔我们说SVM是一种大间隔算法,意思是我们进行分类的时候会选择所有样本点离分界线最远的界限。例如下图我们用SVM以后就会得到斜率约为-45°的线而不会收敛到近...原创 2018-12-18 16:31:37 · 387 阅读 · 0 评论 -
机器学习笔记——机器学习建议与误差分析
建议在实践过程中我们经常会发现我们的建模不合适,那么这种情况我们应该对我们模型的参数进行调整呢评估假设我们首先要做的就是对我们建立的模型进行评估,来判断模型拟合是否合适。我们将利用训练集求出来的网路参数θ应用在测试集上得到的误差叫做测试集误差,这个误差越小代表建模越合适验证集为了选择一个合适的模型,我们需要尝试多种多项式来保证我们既不会过拟合也不会欠拟合。方法就是求出各...原创 2018-12-17 10:47:11 · 592 阅读 · 0 评论 -
机器学习笔记——正则化(regularization)
正则化过拟合我们在利用数据来进行曲线拟合的时候会出现三种情况,欠拟合(underfitting),合适(just right),过拟合(overfitting)。欠拟合的情况一般是由于变量太少,而过拟合的原因一般是变量太多下面我们主要考虑过拟合的问题。过拟合的解决方法一种是减少特征的数量,一种就是正则化代价函数正则化采用的方法就是修改代价函数,将其加上我们认为不那么...原创 2018-12-10 13:56:14 · 310 阅读 · 0 评论 -
机器学习笔记——logistic回归(logistic regression)
logistic回归logistic回归实际上并不是一种回归算法,而是一种分类算法,意思就是输出值是离散值(01或者更多类),而它叫这个名字完全是历史原因。我们可以从下图看出对于分类问题,如果我们采用传统的回归算法并不能获得很好的效果假设称述由于输出的值是0和1,因此我们很自然想到将假设函数的值映射到0-1之间,我们又sigmoid函数恰好能够很好的解决这个问题。也就是说我们将回归...原创 2018-12-10 13:29:06 · 454 阅读 · 0 评论 -
机器学习笔记——线性回归(linear regression)
相关术语监督学习(supervised learning):数据集存在“正确答案”,算法目的是给出更多“正确答案”无监督学习(unsupervised learning):也叫聚类算法,数据集不存在“正确答案”,算法目的是将现有数据集进行分类并判断新的数据属于哪一类回归(regression):预测值是连续出现的(例如房价)分类(classification):预测值是离散的(0或...原创 2018-12-07 15:52:06 · 370 阅读 · 0 评论 -
机器学习笔记——神经网络(neural networks)
神经网络非线性假设对于非线性假设而言,当特征足够多的时候,如果我们仍采用多项式进行线性拟合,那么我们将获得数量非常庞大的高次项,这使得计算变得非常复杂。出于这个原因,我们受到人脑的启发,提出了神经网络我们可以将logistic单元表示成神经元的形式,中间的神经元代表假设函数h,左侧是输入,右侧是输出如果我们的输入输出之间经过了多层计算,这样一种结构我们就叫做神经网络...原创 2018-12-14 17:42:14 · 2418 阅读 · 6 评论