- 博客(26)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 机器学习笔记8——抑制过拟合之Dropout、BN
过拟合：网络在训练数据上效果好，在测试数据上效果差。抑制过拟合的方法有以下几种：（1）dropout（2）正则化（3）图像增强本次主要谈论一下dropoutdropout定义：是一种在学习的过程中随机删除神经元的方法。训练时随机选取隐藏层的神经元，并将其删除。如图所示：主要作用：（1）取平均的作用（2）减少神经元之间复杂的共适应关系： 因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现。这样权值的更新不再依赖于有固定关系的隐含节点的共同作用，阻止了某些特征
2022-05-25 21:03:39
594
原创 Pytorch学习笔记4——总结
本文主要从以下5个方面对之前所学知识做出总结：1.创建模型的三种方法单层创建 nn.Linear多层创建 torch.nn.Sequential自定义类（继承自 nn.Module）2. 数据输入方式从 ndarray 创建 Tensor 直接切片输入使用 torch.utils.data.TensorDataset 创建dataset 使用 torchvision.datasets 的内置数据集使用torch.utils.data.DataLoader 封装3.模型训练的步骤
2022-05-25 16:08:40
126
原创 Pytorch学习笔记3——实例MNIST
torchvisiontorchvision是pytorch的一个图形库，它服务于PyTorch深度学习框架的，主要用来构建计算机视觉模型。以下是torchvision的构成：torchvision.datasets: 一些加载数据的函数及常用的数据集接口；torchvision.models:包含常用的模型结构（含预训练模型），例如AlexNet、VGG、ResNet等；torchvision.transforms:常用的图片变换，例如裁剪、旋转等torchvision.utils: 其他的一
2022-05-25 14:19:51
193
原创 Pytorch学习笔记2——dataset,DataLoader,sklearn添加验证
1.添加读热编码pd.get_dummies(data.salary)2.Datasetdataset进行重构PyTorch有一个抽象的Dataset类。Dataset可以是任何具有len函数和getitem作为对其进行索引的方法的函数。PyTorch的TensorDataset 是一个包装张量的Dataset。通过定义索引的长度和方式，这也为我们提供了沿张量的第一维进行迭代，索引和切片的方法。这将使我们在训练的同一行中更容易访问自变量和因变量。from torch.utils.data
2022-05-23 19:23:30
703
原创 Pytorch学习笔记实例1——二分类
#!/usr/bin/env python# coding: utf-8# In[1]:import matplotlib.pyplot as pltimport numpy as npimport pandas as pdimport torch# In[34]:# 读数据# In[2]:data = pd.read_csv('./dataset/credit-a.csv',header=None)# In[3]:data# In[35]:
2022-05-18 17:40:57
199
原创 机器学习笔记7——张量与数据类型
张量（Tensor）Pytorch最基本的操作对象是Tensor（张量），它表示一个多维矩阵，张量类似于NumPy的ndarrays，张量可以在GPU上使用以加速计算。构造一个随机初始化的矩阵: torch.rand;全 0 矩阵： torch.zeros;全 0 矩阵： torch.ones;直接从数据构造张量: torch.tensor;• 32位浮点型：torch.float32• 64位浮点型：torch.float64• 32位整型： torch.int32• 16位整型：
2022-05-18 15:09:18
594
原创 matplotlib和numpy的使用
matplotlibmatplotlib: 最流行的Python底层绘图库，主要做数据可视化图表,名字取材于MATLAB，模仿MATLAB构建1.设置图片大小2.调整X或者Y轴上的刻度numpy一个在Python中做科学计算的基础库，重在数值计算，也是大部分PYTHON科学计算库的基础库，多用于在大型、多维数组上执行数值运算1.轴(axis)对于一个一维数组,只有一个0轴,对于2维数...
2022-05-17 15:25:28
857
原创 机器学习6——CNN
常见的图片分类输入一张图片，把图片以同等的大小尺寸放入模型中，输出预测结果和真实结果进行比较。一张彩色图片分为3个channel（RGB），把图片通过Flatten拉直，放入全连接再经过softmax得到结果。但是整张图片放入全连接网络中容易增加过拟合的风险，因此可以采取看局部的特征，每一个神经元都看一些局部的特征信息来辨识物体。如果在不同区域但检测内容一样，如出现下图所示的内容采用参数共享的方式另一解释方式感受野扩大视野只需增大加深卷积。参数共享就是感受
2022-05-17 14:59:57
219
原创 机器学习笔记 5 —— 损失函数
1.把会归回当作分类来看在回归中把x输入到模型中得到一个预测的值y，使预测的值和真实值越接近越好。2. 分类分类在之前回归的基础上加了softmax。softmax的公式计算预测值与真实值之间的距离。通常有两种方法：1. 用均方误差（MSE）来求解；2. 交叉熵(Cross-entropy) 更适合求解，在pytorch中softmax被内置到了Cross-entropy中。在MSE中很难找到最优解。...
2022-05-17 12:31:38
269
原创 机器学习4——学习率
自动调节学习率在网络训练中不同的参数需要不同的学习率，如果对学习率不做任何调整可能在很大程度上都难以找到最优的解。如图所示因此有了如下三种方法来调整学习率1. Apagrad方法在平的方向需要学习率大一些，走的快一点。在一些陡的方向需要Lr小一些。越陡g越大，lr越小，走的越慢。然而，在同参数同方向上有时也需要不同的学习率，如图所示。为此提出了RMSProp的方法2. 通过控制α的大小来动态的调整学习率，α越大学习率就越小，前进的距离就小，α越小前进的距离就越大。3.
2022-05-17 10:54:09
1341
原创 机器学习笔记3——Batch和动量
Batch把训练数据分为几个批次为一组进行训练，而不是把所有数据都放在一起一次性进行。使用batch的优点Momentum 动量如果加入动量就会避免一些局部最小值或者鞍点的发生。
2022-05-16 17:14:51
209
原创 机器学习笔记2——optimization
在通常训练时经常会遇到上述几种问题；而优化时也会遇到如下图所示无法找见最优值。如图所示，局部最小值和鞍点都是梯度等于0的临界点loss函数可近似写为此公式：其中g代表了之间的差距在临界点时，g=0如果为鞍点如何调整?u是H的特征向量，入为H的特征值；沿u的方向做更新，loss变小。...
2022-05-16 16:16:06
194
原创 机器学习笔记1——主要过程和优化方法
一、机器学习基础1.创建模型2.输入一张带标签的图片3.使用模型对其进行预测4.将预测结果与实际标签比较，产生的差距为损失；5.以减少损失为优化目标，根据损失优化模型参数；6.循环重复上述第2—5步。二、Optimization 优化2.1优化步骤优化W和 b的值，使其找到最小的loss用梯度下降算法求解梯度 梯度：由全部变量的偏导数汇总而成的向量。 移动的大小由学习率η和计算的偏导数决定。 ...
2022-05-15 17:08:44
131
原创 用pytorch实现简单的线性回归
前言用pytorch,实现简单的线性回归。# 一、用torch中内置的方法进行：用pandas读取事先准备好的csv文件，这个csv文件主要包含以下内容：import matplotlib.pyplot as pltimport numpy as npimport pandas as pdimport torchdata = pd.read_csv('../Income1.csv')对数据进行可视化的操作2.对数据的类型进行转换，使其转换为tensor（这边我用了两种转换方式
2021-10-23 15:33:26
300
原创 2021-10-22
Pytorch中创建模型的三种方法一、单层创建 nn.Linear代码如下（示例）：from torch import nnmodel = nn.Linear(1,1)二、torch.nn.Sequential按顺序进行创建代码如下（示例）：import torchfrom torch import nn model = nn.Sequential( nn.Linear(15,1), nn.Sigmoid())三、自定义类（继承自
2021-10-22 20:40:57
82
翻译 如何读论文?（个人笔记）
一篇文章主要由以下部分组成： 1.title 2.abstract 3.introduction 4.method 5.experiments 6.conclusion使用三步法进行阅读：第一遍：查看标题、摘要、结论。看方法和实验中部分重要的图和表。这样可以花费十几分钟时间了解到论文是否适合你的研究方向。第二遍：确定论文值得读之后，可以快速浏览整篇论文，详细的了解重要的图和表，知道每一个部分在干什么，圈出相关的重...
2021-10-16 19:48:25
98
原创 torch.range()和torch.arange()的区别
1. torch.arange()方法可以通过输出一个值来进行创建随机数，而torch.range()不可以；2. torch.arange()不包含end的值。
2021-10-14 20:36:46
1771
原创 Pycharm 中运行代码出现ImportError: DLL load failed: 找不到指定的模块的问题解决
问题原因：在系统中没有设置好环境变量，具体解决如下：注意：我安装的虚拟环境的名称为pytorch,具体根据自己的虚拟环境的名称来定。
2021-10-12 11:16:36
613
原创 指定服务器中的特定GPU
如果服务器上有多块儿GPU可以供使用，但此时你希望在指定的服务器上跑，这个时候我们可以使用环境变量CUDA_VISIBLE_DEVICES来解决这个问题。watch -n 1 nvidia-smi #查看当前多块GPU的状态然后设置指定的GPU，例如设定在第二个GPU上运行，可设置为：os.environ['CUDA_VISIBLE_DEVICES'] = '1'...
2021-10-10 13:37:55
1429
原创 跨设备的模型保存和加载
GPU保存，CPU加载 PATH = './model.pth'torch.save(model.state_dict(), PATH)device = torch.device('cpu')model = Net()model.load_state_dict(torch.load(PATH, map_location=device)) 2.保存在GPU 上，在 GPU 上加载device = torch.devic...
2021-10-09 23:04:07
132
原创 在Pycharm中配置miniconda环境
一 ，Pytorch环境安装打开已经装好的miniconda,用conda env list命令查看有哪些已经配置好的环境。如图所示，目前显示有两个环境。创建虚拟环境conda create -n 环境名字（英文） python=x.x（python版本）如：conda create -n pytorch python=3.7用命令conda activate 虚拟环境名称，进入环境。安装pytorch环境，可以在官网查看相应的命令。这里选用的是cpu版本，命令如下：conda in
2021-09-28 18:44:33
4139
原创 tomcat目录结构介绍
1.bin:存放启动，停止服务器的脚本文件点击startup启动tomcat启动结果：点击shutdown关闭tomcat服务器或直接点右上角2. conf:存放服务器的配置文件主要有4个：sever.xml(tomcat主配文件)，web.xml，context.xml , tomcat-user.xml(授权和访问控制用户名，密码和角色的数据库)3.work:默认情况下把编译的...
2019-10-24 22:57:44
116
原创 java中对象的初始化过程
Java程序的初始执行化顺序： 父类静态变量----->父类静态代码块----->子类静态变量---->子类静态代码块--->父类非静态变量--->父类非静态代码块---->父类构造方法---->子类非静态变量--->子类非静态代码块--->子类构造方法静态代码块：随类的加载而执行，且只执行一次；public cla...
2019-05-12 22:47:27
117
原创 Java中接口和抽象类的异同点
相同点：两者都是不断向上抽取而来； 都需要在子类中实现具体的抽象方法； 都不能用new关键字来创建对象； 都定义了抽象方法；不同点：抽象类在其类前必须加abstract关键字，而接口需要在加interface； 在抽象类中除了有抽象方法还可以有其他非抽象方法和实例变量，子类继承后可以直接使用非抽象方法，而接口中，只能定义常量和抽象方法，必须由子类实现； 抽象类是需要被继承只能单...
2019-05-12 21:41:53
608
原创 Java坦克大战
只是用来做个人的学习笔记，也希望大神多指导，指导/*作者：Tim *功能：坦克大战 * 1. 画出坦克； * 2. 让坦克跑起来； * 3. 让坦克发出子弹； * 4. 当我的坦克击中敌人坦克时就消失爆炸； * 5.防止敌人坦克重合； * 5.1：决定把判断是否碰撞的函数写到EnemyTank类 * 6.可以分关； * 6.1：做一个开始...
2018-03-11 15:59:01
463
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人