机器学习入门科普
文章平均质量分 88
机器学习最基础的入门科普
永远鲜红の幼月
喜欢c++抽丝剥茧的细节,掌控程序的快感.
喜欢python方便的实现,多样的库.
展开
-
Transformer源码分析(torch.nn.modules.Transformer.py)
Pytorch中的torch.nn.modules.Transoformer.py源码分析最近想换个思路用Transformer来做实验,但对于目前比较流行的Transformer实现还较为生疏,看到pytorch中有比较简单(主要依据17年的Attention Is All You Need论文编写,没有较大的改动)的实现方法,因此想拿来作为模板分析一下来加强对Transformer的理解......原创 2022-07-06 21:27:48 · 2427 阅读 · 0 评论 -
机器学习应用--计算机视觉相关介绍
应用-计算机视觉前面我们了解了机器学习的常见应用之一,推荐系统。现在我们再来看一下另一个常见应用,计算机视觉。我们最为常见的一个功能,图片文字识别,语音转文字,不管是qq还是微信,都有这样的功能。它是如何实现的呢?图像识别首先提取出包含文字的图片。将文字切开。识别文字。滑动窗口如何从一张照片中识别出那部分属于文字。我们可以使用一种叫做滑动窗口的算法按照文字一般比例,使用等比例文字图片和等比例其他图片进行监督训练。按照等比例,对要识别的图片进行扫描,每确定一个位置,就输原创 2021-07-06 13:34:07 · 496 阅读 · 0 评论 -
大数据集下的学习方法
大数据下的机器学习现在机器学习算法,其实就是大量数据集下对数据集进行拟合。当数据量很大的时候,算法的效率必然会降低,如何处理大量的数据,是现在要考虑的问题。随机梯度下降回顾线性回归的梯度下降。hθ(x)=∑j=0nθjxj代价函数Cost(θ,(x(i),y(i)))=12(hθ(x(i))−y(i))2Jtrain(θ)=12m∑i−1m(hθ(x(i))−y(i))2=1m∑i−1mCost(θ,(x(i),y(i)))迭代运行梯度下降θj:=θj−α∂Jtrain(θ)∂θj对于每个j=0,原创 2021-07-06 13:31:10 · 239 阅读 · 0 评论 -
机器学习应用-推荐算法概述
推荐算法机器学习的一个常见应用。我们以推荐电影来作为一个例子。基于内容的推荐r(i,j):表示用户j对电影i有评分y(i,j):用户j对电影i的评分x(i):第i个电影存在的特征x列向量。θ(j):第j个用户对不同特征的评价列向量。对于用户j,电影i来说,预测的评分是:(θ(j))T(x(i)),含义为用户j的偏好∗电影包含的特征\begin{aligned}& r(i,j):表示用户j对电影i有评分\\& y^{(i,j)}:用户j对电影i的评分\\\\& x^{原创 2021-07-06 13:28:59 · 164 阅读 · 0 评论 -
无监督学习-异常评估
异常评估异常评估是针对之前的无监督学习得到的结果,若产生了区别于以构建好的阳性模型(即产生阴性结果。发出异常。引入样例假如一个二维数据集{x(1),x(2),...,x(m)},其分布样例如下所示新增一个训练集xtest,查看新增效果。\begin{aligned}& 假如一个二维数据集\{x^{(1)},x^{(2)},...,x^{(m)}\},其分布样例如下所示\\& 新增一个训练集x_{test},查看新增效果。\end{aligned}假如一个二维数据集{x(1)原创 2021-07-06 13:27:49 · 398 阅读 · 0 评论 -
矩阵压缩降维
数据压缩在存储数据和使用数据的时候,过多的数据会造成空间上的占用和时间上的消耗。如果我们能够将数据压缩的更少一点,即可使用更少的空间和时间进行训练模型。例1:从2维到1维。当2维的点均匀的分布在某一条直线附近,即可使用该直线所在的1维值来表示之前的2维的值。当二维变量能够通过一条线表示出来的时候,我们就可以用一个变量来表示该二维变量了,即:x(i)∈R2−>z(i)∈Rx(i)表示第i个样本.z(i)表示第i个样本映射出来的1维结果。x^{(i)}\in\mathbb{R}^2\qqu原创 2021-07-06 13:26:11 · 1288 阅读 · 0 评论 -
无监督学习
无监督学习监督学习,就是我们有确定的分类,传入参数为{x,y}这样的,输入x会输出确定的y。无监督学习,就是我们没有确定的分类,传入参数为{x,x,…,x}这样的,算法根据某些特征自动将其分类。K-means算法对于无监督学习的分类算法,最简单的是k-means算法了。该算法非常容易理解:k的含义为分成k个群。例如,我们要分成2个群。Step1:随机在样本中确定两个点A,B。Step2:将样本中所有的点,根据到这两个点之间的距离,分成两部分。Step3:求每一部分的中心位置。Step4原创 2021-07-06 13:18:25 · 111 阅读 · 0 评论 -
SVM以及核函数
对于监督学习分类算法,我们还有一个区别于逻辑回归的方法,即支持向量机SVM。SVM与逻辑回归的本质区别就是损失函数的区别。支持向量机SVM支持向量机(support vector machines,SVM)是一种二分类模型,基本模型是定义在特征空间上的间隔最大的线性分类器。简单来说,就是用来做分类用的,类比一下之前提到过的逻辑回归。它相较于之前的逻辑回归,使用了向量表示法,效果我们下面分析。逻辑回归回到之前我们的逻辑回归分类,我们将逻辑回归问题,转化为了概率问题,并且计算得出对应的概率函数hθ原创 2021-07-06 13:17:19 · 310 阅读 · 0 评论 -
模型的效果评判及模型的进一步优化问题
对于一个样本的学习,学习完后,使用另一个样本进行检测.针对检测结果的不同,模型函数的进一步优化方法问题汇总对于一个正则化的代价函数J(θ)=12m[∑i=1m(hθ(x(i))−y(i))2+λ∑j=1mθj2]J(\theta)=\frac{1}{2m}[\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^m\theta_j^2]J(θ)=2m1[i=1∑m(hθ(x(i))−y(i))2+λj=1∑mθj2]当我们发原创 2021-06-02 13:06:45 · 723 阅读 · 0 评论 -
机器学习入门-神经网络梯度下降
神经网络-梯度下降对于一个神经网络,我们通过传入参数,经过中间层的θ切换,最后输出hθ结果。下面是一个用makedown画的简易神经网络,感觉不是很好康,不过又懒的画图了,就这样吧。#mermaid-svg-65edGf52Det2pw3j .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-65edGf52D原创 2021-06-02 11:42:12 · 85 阅读 · 0 评论 -
机器学习入门-分类问题的拟合
分类问题-梯度下降其实对于分类问题的本质还是选择合适的函数h(x),通过改变函数的系数Θ使其代价cost(i)之和J(Θ)最小.逻辑回归回归函数选择对于01分类问题,由于正常的线性回归方程的局限性,采用非线性模型模型函数:hθ(x)=g(θTx)θTx可以表示为多项式如:θ0+θ1x1+θ2x2+θ3x12x2+...其中g(z)=11+e−z所以hθ(x)=11+e−θTx模型函数:h_{\theta}(x)=g(\theta ^T x)\\\theta^T x可以表示为多项式如:\thet原创 2021-06-02 10:50:24 · 434 阅读 · 0 评论