![](https://img-blog.csdnimg.cn/438c0b8b01eb4426bfa105d034522931.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习
文章平均质量分 87
机器学习
Dragon Fly
A blessing in disguice
展开
-
十二、目标检测
在目标检测时,若同一个bounding box中包含多个目标,即多个目标出现重叠的情况,则上述算法无法准确输出目标的种类,所以提出了anchor box的概念。目标检测是图像识别中的更加复杂的应用情景,图像识别只需要输出某一幅图像的种类即可,目标检测不仅需要输出图像的种类,还需要使用边框框出图像中某一种物体的的位置,从而需要输出表示物体位置的参数:(特征点检测表示在一幅图偏重设置一些特征点,之后通过训练,将新图片中的特征点识别出来,从而进行图片信息的提取,如人脸识别,人体姿态识别等。表示物体中心位置坐标,原创 2023-05-14 20:29:55 · 389 阅读 · 0 评论 -
十一、计算机视觉中几种经典的网络结构
ResNets是由残差块构建的,残差块指的是在原本线性连接的不同层神经网络的神经元基础之上,将前面某层的输入**“skip connection”(short cut)**到后面更深层(通常向后跳两层)的网络之中,从而在一定程度上克服梯度消失和梯度爆炸的问题。从下图针对训练数据集的训练误差可以看出,随着神经网络层数的增加,普通的神经网络的训练误差会先增后降(由于梯度消失/梯度爆炸的问题),而ResNet的训练误差会持续下降,从而可以利用更深层的网络来达到更好的训练效果。从而使得VGGNet的结构比较简洁。原创 2023-04-02 11:21:47 · 769 阅读 · 0 评论 -
九、初识卷积
从上述卷积计算过程可以发现,原图像边缘的像素点使用的次数远低于中间像素点的使用次数,为了充分利用边缘像素点的信息,可以通过。在进行卷积操作时,卷积核每一次移动的步长(strid)不一定为1,也可以为大于1的其他数。1的灰度图像,图像中的数字越小,表示图像的颜色越深,则通过以下卷积(符号为*)计算,可以得到一张新的4。对于RGB图像的卷积操作使用的卷积核的维度为。1的图像,新图像中的中间部分便可以直观表现出原始图像的垂直边缘。卷积层的卷积操作之后,得到的结果图像恰好和原图像的尺寸相同,为。原创 2023-02-14 22:04:44 · 468 阅读 · 0 评论 -
十八、照片OCR和机器学习流水线
文章目录1、照片OCR1.1 滑动窗口分类器(Sliding Windows Classifier)1.2 获取大量训练数据-人工合成数据1.3 上限分析-ceiling analysisTHE END1、照片OCR\qquad 照片OCR(Optical Character Recognition)也称照片光学字符识别,照片OCR的流程包含以下三步:第一步是文本检测;第二步是字符分割;最后一步是字符分类;如下图所示:\qquad像上述这种系统,称之为机器学习流水线,指一个系统中包含许多阶段和组成部原创 2022-05-03 21:24:15 · 1097 阅读 · 0 评论 -
十七、大规模机器学习和随机梯度下降(SGD)
文章目录1、随机梯度下降-Stochastic Gradient Descent2、小批量梯度下降 - Mini-batch Gradient descent3、随机梯度下降算法的收敛性4、在线学习-Online Learning5、映射约减-map reduceTHE END1、随机梯度下降-Stochastic Gradient Descent\qquad 随机梯度下降是相对于批量梯度下降(batch gradient descent)提出的,目的在训练集数据非常大时,加快求解梯度的速度。不同于梯原创 2022-05-02 16:24:25 · 1079 阅读 · 0 评论 -
十六、推荐系统(Recommender systems)
文章目录1、引入2、基于内容的推荐3、协同过滤3.1 协同过滤算法-Collaborative Filtering optimization3.2 低秩分解3.3 均值规范化THE END1、引入\qquad电影评分问题是推荐系统的一个应用之一,根据不同用户对于不同电影的评分来判断用户的电影类型喜好,从而有选择地给用户推荐用户未曾观看过的电影。如下图所示:\qquad之后首先定义一系列符号,方便后续介绍:令nun_unu表示用户的数量;nmn_mnm表示影片的数量;r(i,j)=1r(i,j)=原创 2022-04-29 14:56:53 · 400 阅读 · 0 评论 -
一、序列模型-sequence model
文章目录1、符号定义2、构建循环神经网络-Recurrent Neural Network2.1 RNN中的反向传播2.2 不同架构的RNN3、语言模型的RNN架构3.1 架构3.2 序列采样4、RNN的梯度消失问题-vanishing gradients4.1 门控制单元-Gate Recurrent Unit4.2 长短期记忆单元-Long Short Term Memory5、双向RNN-Bidirectional RNN5、深度RNN-Deep RNN\qquad在生活中,有许多领域都用到了序列模原创 2022-04-22 18:04:56 · 2081 阅读 · 0 评论 -
十六、异常检测
文章目录1、异常检测(Anormly Detection)介绍2、异常检测算法1、异常检测(Anormly Detection)介绍\qquad异常检测是指在给定的一组无标签数据集{x(1),x(2),...,x(m)}\{x(1), x(2),..., x(m)\}{x(1),x(2),...,x(m)},针对这组数据集训练一个模型p(x)p(x)p(x),来判定某个数据和数据集中大多数数据之间的相似程度(某个数据落在给定数据集中心区域的概率),若某个数据xtestx_{test}xtest和大多数原创 2022-04-20 11:59:03 · 6514 阅读 · 1 评论 -
十五、非监督学习
\qquad监督学习和非监督学习的本质区别在于,数据集是否是带有“标签”的,当数据集是有标签的,则属于监督学习的范畴;当数据集没有标签,则属于非监督学习的范畴,如聚类算法就属于非监督学习的范畴。1、k-means聚类\qquadk-means聚类算法输入数据是一系列点,之后需要确定出聚类中心的个数,之后计算每一个数据点到每一个中心的距离,将所有数据点分配到里数据点最近的某个数据中心(Cluster Assignment);之后将数据中心进行移动(Cluster Moving),将每一个数据中心移动到分配原创 2022-04-04 16:45:07 · 3447 阅读 · 0 评论 -
十四、大间距分类器-SVM
文章目录1、支持向量机-Support Vector Machine2、大间距分类器3、SVM决策的理论依据1、支持向量机-Support Vector Machine\qquad首先从逻辑回归的成本函数入手说起:\qquad使用一个线性近似cost1(z)cost_1(z)cost1(z)来近似表示逻辑回归中成本函数的第一项;使用线性近似cost0(z)cost_0(z)cost0(z)来近似表示逻辑回归成本函数中的第二项。\qquad之后在SVM中,将成本函数中的常数项1/m1/m1/m去原创 2022-03-25 14:58:58 · 1348 阅读 · 0 评论 -
十三、机器学习算法构建技巧
文章目录1、构建训练数据集2、误差分析-error analysis3、偏斜类-skewed classes1、构建训练数据集\qquad在实践中,通常获取垃圾邮件中出现频率最高的前10000到50000个单词作为训练集。\qquad一个可以提高模型准确性的做法是:收集尽可能多的训练数据。\qquad可以根据邮件的发送路由来构建更复杂的特征;\qquad根据邮件内容构建更加复杂的特征,如字母大小写,有无感叹号等;\qquad检查邮件中的拼写错误,故意错误拼写常在垃圾邮件中出现;2、误差分析-e原创 2022-03-03 09:14:39 · 960 阅读 · 0 评论 -
十二、评估机器学习算法
文章目录1、过拟合/欠拟合问题1.1 线性回归问题1.2 逻辑回归问题2、模型选择和训练1、过拟合/欠拟合问题\qquad首先将原始数据按照70%训练数据,30%测试数据的比例进行随机划分,之后使用训练数据进行训练参数θ\thetaθ,最后使用训练出来的参数θ\thetaθ通过测试数据检验误差大小。1.1 线性回归问题\qquad线性回归问题的误差检验公式如下所示:1.2 逻辑回归问题\qquad逻辑回归问题的误差检验公式如下所示:\qquad其中,err(hθ(xtest(i)),&nb原创 2022-02-25 19:48:39 · 1159 阅读 · 0 评论 -
十一、神经网络的成本函数和误差反向传播算法
文章目录1、Cost Function2、反向传播算法-Backward Algorithm3、反向传播在实践中的应用1、Cost Function\qquad对于逻辑回归来说,归一化之后的成本函数形式如下所示:\qquad神经网络的成本函数是上述逻辑回归成本函数的一般泛化,其形式如下所示:\qquad其中LLL表示神经网络的层数,sls_lsl表示第lll层中的神经元的个数,KKK表示输出层神经元的个数,即分类的数量。注意归一化项中不包含偏置项的归一化处理。2、反向传播算法-Backwar原创 2022-01-14 20:38:12 · 656 阅读 · 0 评论 -
十、神经网络简介
文章目录1、神经网络的起源-Neural Networks2、神经网络模型的描述3、神经网络的应用3.1 逻辑与门(AND)3.2 逻辑或门(OR)3.3 逻辑非门(NOT)3.4 逻辑异或门(NOR)3.5 多元分类(Multi-class Classification)THE END1、神经网络的起源-Neural Networks\qquad神经网络起源于人们想要模仿大脑的功能。在80和90年代,神经网络收到广泛的应用,但是在90年代末,神经网络的流行度逐渐消失。但最近由于计算机运行速度的加快,能原创 2022-01-02 20:08:55 · 839 阅读 · 0 评论 -
九、吴恩达老师机器学习exam2答案
文章目录逻辑回归-ex2.m逻辑回归-plotData.m逻辑回归-costFunction.m逻辑回归-sigmoid .m逻辑回归-predict.m归一化逻辑回归-ex2_reg.m归一化逻辑回归-mapFeature.m归一化逻辑回归-costFunctionReg.m归一化逻辑回归-plotDecisionBoundary.mTHE END逻辑回归-ex2.m%% Machine Learning Online Class - Exercise 2: Logistic Regression%原创 2021-12-27 10:32:08 · 775 阅读 · 0 评论 -
八、过拟合问题
文章目录1、过拟合-overfitting定义2、怎样处理过拟合问题3、归一化1、过拟合-overfitting定义\qquad如果我们设置过多的特征,通过机器学习获得的假设函数将会和实验数据高度重合(成本函数的值将会十分接近于0),但是这样会使得获得的模型不能较好地预测新的样本数据值,这种问题叫做过拟合问题。通俗地说,就是学习出来的模型不具有良好的“推广”性(generalize),实用性很差。2、怎样处理过拟合问题方法一:\qquad减少特征数量,可以通过手动选择保留哪些特征,或者通过“模原创 2021-12-22 16:34:33 · 511 阅读 · 0 评论 -
七、逻辑回归模型
文章目录1、逻辑回归的监督学习模型2、成本函数-cost function3、简化的成本函数和梯度下降法4、高级优化算法1、逻辑回归的监督学习模型\qquad训练集:{(x(1),y(1)),(x(2),y(2)),..,(x(m),y(m))}\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),..,(x^{(m)},y^{(m)}) \}{(x(1),y(1)),(x(2),y(2)),..,(x(m),y(m))},共有m个训练个体数据\qquad每个训练数据包含n+1n原创 2021-12-17 14:53:08 · 766 阅读 · 0 评论 -
六、分类问题和逻辑回归
文章目录1、分类问题-classification2、 逻辑回归-Logistic Regression2.1 决策边界THE END1、分类问题-classification\qquad 区分垃圾邮件(0-1分类问题),网上交易是否诈骗(0-1分类问题),判断肿瘤是否为良性(0-1分类问题)都为简单的二元分类问题。用线性回归方式来解决分类问题的思路为:首先根据给定的训练数据来拟合一条线性函数,之后找到纵坐标为0.5的对应的横坐标的值valvalval,之后将小于valvalval的值标记为分类1,将大原创 2021-12-14 23:01:01 · 1165 阅读 · 0 评论 -
五、吴恩达老师机器学习exam1答案
文章目录1、单个特征的线性回归的梯度下降法2、多个特征的线性回归的梯度下降法THE END1、单个特征的线性回归的梯度下降法\qquad主调函数文件:%% Machine Learning Online Class - Exercise 1: Linear Regression% Instructions% ------------%% This file contains code that helps you get started on the% linear exercis原创 2021-12-14 20:36:20 · 951 阅读 · 0 评论 -
四、多元线性回归
文章目录1、多元线性回归的表示2、多变量梯度下降3、特征缩放3.1 除以范围内最大值3.2 均值归一化3.3 特征和多项式回归4、学习率α\alphaα5、正规方程THE END1、多元线性回归的表示\qquad从之前介绍过的房价预测问题说起,加入当前我们得到每一条训练样本中的特征不止一个,如下图所示:\qquad则我们可以针对上述所有特征进行更加准确的回归预测。下面定义一系列符号进行说明:xj(i)x_j^{(i)}xj(i)表示第i个训练样本中的第j的特征的值;x(i)x^{(i)}x(i)表原创 2021-12-02 14:38:14 · 470 阅读 · 0 评论 -
三、参数学习
文章目录1、梯度下降2、梯度下降算法怎样工作2.1 α\alphaα取值大小的影响2.2 应用梯度下降最小化双参数代价函数THE END1、梯度下降\qquad为了使得代价函数最小化,引入梯度下降算法来寻找使得代价函数最小化的参数取值。\qquad假设现在的代价函数为J(θ0, θ1)J(\theta_0,\ \theta_1)J(θ0, θ1),我们想要最小化代价函数minθ0, θ1J(θ0, θ1)\underset{\theta_0,\ \theta原创 2021-11-27 16:54:03 · 1244 阅读 · 0 评论 -
二、机器学习模型和代价函数
文章目录1、监督学习模型描述2、代价函数THE END1、监督学习模型描述\qquad为了构建模型,首先引入一系列符号进行表示:x(i)x^{(i)}x(i)表示第i个输入变量,也叫输入特征;y(i)y^{(i)}y(i)表示第i个输出变量,也叫目标变量;一个(x(i), y(i))(x^{(i)}, \ y^{(i)})(x(i), y(i))对称为一个训练样本,全部的训练样本集合(x(i), y(i)), i=1,...,m(x^{(i)}, \ y^{(i)原创 2021-11-27 11:16:14 · 2065 阅读 · 2 评论 -
一、机器学习简介
文章目录1、机器学习的应用案例2、机器学习的定义3、监督学习4、无监督学习THE END1、机器学习的应用案例\qquad1、数据挖掘: 自动化和网络提供了大量的源数据,如网页点击数据;电子医疗数据;生物数据;工程数据等;\qquad2、应用于不能手动编写的代码开发: 如无人直升机;手写字迹识别;大多数自然语言处理(NLP),和计算机视觉等\qquad3、私人订制程序: 如Amazon,Netflix,iTunes Genius的产品推荐等。2、机器学习的定义\qquadArthur Samue原创 2021-11-26 10:19:04 · 1355 阅读 · 4 评论