- 博客(28)
- 收藏
- 关注
RSS订阅
原创 【深度学习01】最优化算法
1 梯度下降方向若使用整个样本集进行求解，损失梯度会指向全局最优方向2. 若使用分批次样本进行求解，损失梯度会指向当前批次最优方向如ImageNet大型图像数据集，在实际应用中往往不可能一次性将所有数据载入内存（算力也不够），所以只能分批次（batch）训练2 优化器目的：为了使网络更快的收敛优化器(Optimizer)（SGD、Momentum、AdaGrad、RMSProp、Adam）优化器(Optimizer)许多优化算法的设计从梯度方向和学习率两个方面入手梯度方向入手：
2022-05-04 22:40:48
950
原创 【PyTorch】09深度体验之图像分类
9 PyTorch深度体验图像分类(Image Classification)【PyTorch】8.1 图像分类9.1 模型如何完成图像分类？图像分类的推理步骤：9.2 ResNet18模型实例【图像分类】ResNet网络结构程序：import osimport timeimport torch.nn as nnimport torchimport torchvision.transforms as transformsfrom PIL import Imagef
2022-05-21 18:57:03
288
原创 【PyTorch】08训练技巧
8 PyTorch训练技巧8.1 模型保存与加载模型保存与加载，就是序列化与反序列化，将模型持久化保存【PyTorch】7.1 模型保存与加载torch.save()功能：模型保存，即序列化参数说明：obj：对象f：输出路径torch.load()功能：模型加载，即反序列化参数说明：f：文件路径map_location：指定存放位置，cpu or gpu模型保存的两种方法：官方推荐方法2：方法2比方法1速度快，但方法2只保存了模型参数，加载时需将参数加
2022-05-21 18:42:44
352
原创 【PyTorch】07正则化
7 PyTorch的正则化7.1 正则化之weight_decayRegularization：减小方差的策略，从而解决过拟合问题，常见的方法有：L1正则化和L2正则化weight decay（权值衰减）= L2 Regularization在PyTorch的优化器中提供了 weight decay（权值衰减）的实现【PyTorch】6.1 正则化之weight_decay误差可分解为：偏差、方差与噪声之和，即误差=偏差+方差+噪声偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻
2022-05-21 18:32:09
653
原创 【PyTorch】06训练过程
6 PyTorch训练过程6.1 学习率调整学习率(learning rate)：控制更新的步伐，注意：学习率不宜设置过大，也不宜设置过小lr初始化：设置较小数：0.01、0.001、0.0001搜索最大学习率：《Cyclical Learning Rates for Training Neural Networks》lr调整策略：学习率前期需设置大，后期需设置小PyTorch 中常用的 lr_scheduler [学习率调整策略] PyTorch API：Doc —> torc
2022-05-21 18:23:03
439
原创 【PyTorch】05损失优化
5 PyTorch损失优化5.1 权值初始化【PyTorch】4.1 权值初始化梯度消失与梯度爆炸消失原因：深层网络、不合适的损失函数爆炸原因：权值初始化太大解决方法：梯度剪切、权值正则化、激活函数改进、使用BN(Batch Normalization)、ResNet等Xavier初始化方差一致性：保持网络层的输出数据尺度维持在恰当范围，通常方差为1激活函数：饱和函数，如Sigmoid、TanhKaiming初始化方差一致性：保持网络层的输出数据尺度维持在恰
2022-05-21 18:12:41
363
原创 【PyTorch】04模型搭建
4 PyTorch模型搭建4.1 网络模型创建【PyTorch】3.1 模型创建图像分类的经典网络模型：【可以查看使用torchvision.models里面实现的AlexNet、VGG、GoogleNet、ResNet、DenseNet等】alexnet=torchvision.models.AlexNet()densenet=torchvision.models.DenseNet()方法1：初始化（构建子模块）方法2：前向传播（拼接子模块）4.2 nn.Module所有网
2022-05-21 18:04:00
243
原创 【PyTorch】03数据处理
3 PyTorch数据处理3.1 数据读取机制DataLoader与Dataset【PyTorch】2.1 DataLoader与Datasetepoch：对训练集的全部数据进行一次完整的训练，即所有训练样本都已经输入到模型中，称为一次epochbatch：由于硬件算力有限，实际训练时将训练集分成多个批次训练batch_size：每批数据尺寸(大小)，决定一个epoch有多少个iteration或stepiteration或step：对一个batch的数据训练的过程称为一个iteratio
2022-05-21 17:46:31
873
原创 【PyTorch】02基础知识---张量与autograd
2 PyTorch基础知识官方文档：https://pytorch.org/docs/2.1 安装与配置人工智能工具库(Anaconda/Pytorch/PyCharm等)安装环境配置视频教程深度学习环境搭建（从卸载CUDA到安装，以及Pytorch与torchvision的安装）【PyTorch】1.1 PyTorch简介和安装重新创建并切换使用虚拟环境的步骤：退出当前虚拟环境：conda deactivate创建虚拟环境：conda create -n pytorch_1.7
2022-05-21 17:20:32
329
原创 【PyTorch】01深入浅出PyTorch
1 深入浅出PyTorchPyTorch定位：深度学习框架，实现深度学习模型算法PyTorch实现模型训练：数据如何把数据从硬盘读到内存？如何划分数据进行训练？图片如何预处理及数据增强？模型如何构建模型模块？如何组织复杂网络？如何初始化网络参数？如何定义网络层？损失函数如何创建损失函数？如何设置损失函数超参数？如何选择损失函数？优化器如何管理模型参数？如何管理多个参数组实现不同学习率？如何调整学习率？迭代训练如何观察训练效果？如何
2022-05-21 16:26:23
290
原创 【机器学习08】层次聚类
9 层次聚类9.1 简介层次聚类分为两种类型：聚合(agglomerative)或自下而上(bottom-up)聚类分裂(divisive)或自上而下(top-down)聚类凝聚层次聚类(AGNES)：属于聚合或自下而上聚类步骤：构造mmm个类，每个类包含一个样本，即有多少个样本就有多少个类计算类与类之间的距离dijd_{ij}dij，记作矩阵D=[dij]m∗mD=[d_{ij}]_{m*m}D=[dij]m∗m合并间距最小的两个类若达到聚类数KKK则退出重新计算类之间的
2022-05-13 23:41:57
931
原创 【机器学习07】K-Means聚类（聚类篇）
8 K-Means聚类（聚类篇）8.1 简介聚类(Clustering)：是一种无监督学习算法，即将无分类的数据分为K类K-Means(K-均值)聚类：选取K个初始聚类中心(质心)步骤：repeat：对每个样本点，计算得到距其最近的质心，将其类别标为该质心所对应的cluster重新计算K个cluster对应的质心until：质心不再发生变化8.2 距离计算公式（1）Minkowski（闵可夫斯基距离，若p=2，则成为欧式距离） d(x,y)=(∑
2022-05-08 23:37:29
1354
原创 【机器学习06】多项式回归
7 多项式回归若希望回归模型更好的拟合训练样本数据，可以使用多项式回归器一元多项式回归hθ(x)=θo+θ1x+θ2x2+θ3x3+…+θnxn将高次项看做对一次项特征(自变量)的扩展得到：hθ(x)=θo+θ1x1+θ2x2+θ3x3+…+θnxn那么一元多项式回归即可以看做为多元线性回归，可以使用LinearRegression模型对样本数据进行模型训练所以一元多项式回归的实现需要两个步骤：将一元多项式回归问题转换为多元线性回归问题(只需给出多项式最高次数即可)将步骤1得到多项式的结
2022-05-07 23:47:34
564
原创 【机器学习05】LASSO回归与ElasticNet(弹性网)
5 LASSO回归5.1 简介LASSO回归:在模型迭代过程所依据的代价函数中增加了正则惩罚项（L1范数正则化），以限制模型参数对异常样本的匹配程度，进而提高模型面对多数正常样本的拟合精度，解决过拟合问题代价函数：J(θ)=12m∑i=1m(hθ(x(i))−y(i))2+λ∥θ∥1=12m∑i=1m(hθ(x(i))−y(i))2+λ∑j=1n∣θj∣J(\theta)=\frac{1}{2m}\sum\limits_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2+\la
2022-05-06 23:03:18
1457
原创 【深度学习02】PyTorch之LeNet
LeNetCNN(Convolutional Neural Network)雏形：LeCun的LeNet(1998年)网络结构PyTorch tensor的通道排序：[batch_size, channel, height, width]官方Demo：Training a Classifier — PyTorch Tutorials 1.11.0+cu102 documentation3.1 网络结构说明：卷积运算后的特征图输出尺寸计算公式：其中，WWW为输入图像的尺寸(W)，FFF
2022-05-05 23:04:11
791
原创 【机器学习04】岭回归
4 岭回归4.1 简介普通线性回归模型使用基于梯度下降的最小二乘法，在最小化损失函数的前提下，寻找最优模型参数，在此过程中，包括少数异常样本在内的全部训练数据都会对最终模型参数造成程度相等的影响，异常值对模型所带来影响无法在训练过程中被识别出来岭回归:在模型迭代过程所依据的代价函数中增加了正则惩罚项（L2范数正则化），以限制模型参数对异常样本的匹配程度，进而提高模型面对多数正常样本的拟合精度，解决过拟合问题正则化：目的：防止过拟合本质：约束（限制）要优化的模型参数代价函数：J(θ)=12
2022-05-05 22:59:29
5204
6
原创 第10章 因子分析(FA)
1 简介2 基本思想3 数学模型3.1 公共因子及载荷矩阵3.2 因子旋转(正交变换)3.3 因子得分4 步骤因子分析(FA)1 简介原始的变量是可观测的显在变量，而假想变量是不可观测的潜在变量，称为因子因子分析是主成分分析的推广，它也是多元统计分析中常用的一种降维方式因子分析--->数据降维2 基本思想根据相关性大小把原始变量分组，使得同组内的变量之间相关性较高，而不同组的变量间的相关性则较低。每组变量代表一个基本结构，并用一个不可测的综合变量表示，这个基
2022-05-04 22:50:56
1740
原创 【机器学习03】线性回归（回归篇）
3 线性回归（回归篇）3.1 形式化定义假设函数（hypotheses function）hθ(x)=θ0+θ1x1+θ2x2+...+θnxn=∑i=0nθixi=θTxh_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n=\sum\limits_{i = 0}^n{{\theta_i}{x_i}}={\theta^T}xhθ(x)=θ0+θ1x1+θ2x2+...+θnxn=i=0∑nθixi=θTx其
2022-05-03 22:42:00
641
原创 【机器学习02】数据预处理
2 数据预处理数据预处理的过程：输入数据——>模型——>输出数据数据样本矩阵【一行一样本，一列一特征】年龄学历经验性别月薪25硕士2女1000020本科3男8000……………数据预处理相关库：# 解决机器学习问题的科学计算工具包---数据预处理库import sklearn.preprocessing as sp【机器学习基础】Python数据预处理：彻底理解标准化和归一化2.1 均值移除(标准化)由于一个样本
2022-05-03 22:37:59
588
原创 【机器学习01】概述
1 机器学习概述1.1 什么是机器学习机器学习是一门能够让编程计算机从数据中学习的计算机科学一个计算机程序在完成任务T之后，获得经验E，其表现效果为P，如果任务T的性能表现，也就是用以 衡量的P，随着E的增加而增加，那么这样计算机程序就被称为机器学习系统自我完善、自我增进、自我适应1.2 为什么需要机器学习自动化的升级和维护解决那些算法过于复杂甚至根本就没有已知算法的问题在机器学习的过程中协助人类获得对事物的洞见1.3 机器学习的问
2022-05-03 22:30:16
671
原创 第10章 聚类分析(CA)
1 概念2 两种类型3 相似性度量3.1 样本间的相似性度量3.2 指标间的相似性度量3.3 类间的相似性度量4 系统聚类法4.1 基本思想4.2 步骤4.3 最短距离法4.4 类平均法4.5 离差平方和法4.6 优缺点5 SPSS系统聚类法实例6 Matlab系统聚类法实例聚类分析1 概念聚类分析又称群分析，是根据“物以类聚”的道理，对样本或指标进行分类的一种多元统计分析方法，它讨论的对象是大量的样本，要求能合理地按照各自的特性来进行合理的分类，没有任何模式可供参考或依循，即在没有
2022-02-26 16:45:18
4094
原创 计算机视觉入门到实战教程
文章目录计算机视觉入门到实战教程1 机器学习流程2 什么是深度学习？3 特征如何提取？4 图像分类5 K近邻6 神经网络基础6.1 线性函数6.2 损失函数6.3 前向传播与反向传播7 卷积神经网络7.1 与传统神经网络区别7.2 卷积7.3 卷积特征值计算方法7.4 特征图(feature map)7.5 堆叠的卷积层7.6 卷积层参数7.7 特征图尺寸计算7.8 卷积参数共享7.9 池化层7.10 感受野7.11 整体网络架构计算机视觉入门到实战教程1 机器学习流程数据获取特征工程（重难点）
2022-02-23 18:07:51
658
原创 第2章 整数规划
2.1 整数规划2.2 0-1型整数规划2.2.1 相互排斥的约束条件2.2.2 指派问题2.3 整数线性规划模型2.4 Matlab软件求解——`intlinprog函数`第2章 整数规划【优化模型建立】2.1 整数规划决策变量（部分或者全部）限制为整数——【整数规划】目前求解整数规划的方法，往往只适用于整数线性规划【注】：如不加特殊说明，则一般指整数线性规划整数线性规划模型大致可分为两类：决策变量全限制为整数时，称为纯(完全)整数规划决策变量
2021-12-20 18:10:29
1031
原创 第1章 线性规划
第1章 线性规划【优化模型建立】文章目录第1章 线性规划【优化模型建立】1.1 线性规划问题1.2 线性规划的Matlab标准形式【min】1.3 线性规划的Matlab非标准形式【max】1.4 线性规划的Matlab非标准形式【带绝对值】1.5 Matlab软件求解-`linprog函数`线性规划(Linear Programming,LP)线性规划模型三要素：决策变量目标函数约束条件【不等式约束，等式约束，决策变量范围】1.1 线性规划问题上面的目标函数和约束条件均为线性函数
2021-12-20 18:05:23
862
原创 第12章 智能优化算法(ACO)
1 蚁群算法1.1 基本原理1.2 特点1.3 流程图1.4 步骤1.4.1 参数设置1.4.2 构建解空间(路径)1.4.3 更新信息素1.4.4 判断是否终止1.5 注意点1.6 优缺点2 蚁群算法Matlab求解TSP实例智能优化算法求解TSP启发式算法是搜素策略的一种，是可以利用问题自身的一些特征信息（启发式信息）来指导搜素的过程，从而可以缩小搜素范围，提高搜素效率，尽可能逼近最优解蚁群算法（ACO）模拟退火算法（SA）遗传算法（GA）神经网络1
2021-12-20 10:16:50
993
原创 第10章 主成分分析(PCA)
1 概念2 基本思想3 数学模型4 步骤5 主成分回归6 PCR之Matlab实例主成分分析(PCA)1 概念主成分是选出比原始变量个数少，能解释大部分资料中的变异的几个新变量主成分分析是考察多个变量间相关性一种多元统计方法，通过较少的变量(几个主成分)来解释多个变量间的内部结构，即从原始变量中导出少数几个主分量，使它们尽可能多地保留原始变量的信息，且彼此间相互独立（互不相关）主成分分析--->数据降维常被用来寻找判断事物或现象的综合指标，并对综合指标所包含的
2021-12-01 17:48:37
11538
原创 第9章 支持向量机(SVM)
1. 最优化问题1.1 拉格朗日乘子法1.2 KKT条件1.3 对偶问题2. SVM原理2.1 线性可分支持向量分类机2.2 线性支持向量分类机2.3 C-支持向量分类机3. 使用SVM的步骤4. Matlab中SVM的命令5. 总结6. SVM实例---螨虫的分类判别支持向量机(SVM)详解1. 最优化问题无约束条件：变量求导，令其为0，求得极值等式约束：拉格朗日乘子法等式约束和不等式约束：KKT条件1.1 拉格朗日乘子法等式约束时，需构建拉格朗日函数
2021-11-30 23:09:03
1729
1
原创 Markdown学习
Markdown学习文章目录Markdown学习1 标题2 字体3 引用4 分割线5 图片6 超链接7 列表8 表格9 代码10 数学公式Markdown是一种纯文本格式的标记语言。通过简单的标记语法，它可以使普通文本内容具有一定的格式。1 标题【注意：#和标题内容之间需加空格】# 这是一级标题 快捷键：Ctrl+1## 这是二级标题 快捷键：Ctrl+2### 这是三级标题 快捷键：Ctrl+3#### 这是四级标题 快捷键：Ctrl+4#####
2021-11-30 15:09:07
243
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人