- 博客(23)
- 收藏
- 关注
RSS订阅
原创 解决Google Colab - 上传数据集慢 - pytorch读取数据慢
解决Google Colab - 上传数据集慢 - pytorch读取数据慢上传数据集慢pytorch读取数据慢上传数据集慢许多小伙伴在白嫖GoogleColab时遇到上传数据集慢的问题，那么上传数据集慢是怎么回事呢，下面小编现在就… (不是营销号，划掉)解决方法：先将数据集压缩打包，然后传压缩包到谷歌云端，再Colab用解压，速度可以快很多。# 解压缩文件# (我不会 我百度的 但是能用 嘻嘻)import zipfilefile_dir = '/content/drive/My Drive
2020-05-24 21:19:42
6044
8
原创 街景字符编码识别 - Task5 - 模型集成
街景字符编码识别 - Task5 - 模型集成集成学习方法深度学习中的集成学习DropoutTTASnapshot结果后处理集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging和Boosting，同时这些集成学习方法与具体验证集划分联系紧密。由于深度学习模型一般需要较长的训练周期，如果硬件设备不允许建议选取留出法，如果需要追求精度可以使用交叉验证的方法。下面假设构建了10折交叉验证，训练得到10个CNN模型。那么在10个CNN模
2020-06-02 20:44:53
233
原创 街景字符编码识别 - Task4 - 模型训练与验证
街景字符编码识别 - Task4 - 模型训练与验证前言构造验证集验证集的划分模型训练与验证pytorch的交叉熵损失nn.CrossEntropy模型保存与加载模型调参流程数据增强 -- 椒盐噪声前言一个成熟合格的深度学习训练流程至少具备以下功能：在训练集上进行训练，并在验证集上进行验证；模型可以保存最优的权重，并读取权重；记录下训练集和验证集的精度，便于调参。构造验证集在机器学习模型（特别是深度学习模型）的训练过程中，模型是非常容易过拟合的。深度学习模型在不断的训练过程中训练误差会逐渐
2020-05-30 17:26:27
335
原创 街景字符编码识别 - Task3 - 字符识别模型
街景字符编码识别 - Task3 - 字符识别模型CNN卷积CNN发展Pytorch构建CNN模型CNN卷积神经网络（简称CNN）是一类特殊的人工神经网络，是深度学习中重要的一个分支。CNN在很多领域都表现优异，精度和速度比传统计算学习算法高很多。特别是在计算机视觉领域，CNN是解决图像分类、图像检索、物体检测和语义分割的主流模型。CNN每一层由众多的卷积核组成，每个卷积核对输入的像素进行卷积操作，得到下一次的输入。随着网络层的增加卷积核会逐渐扩大感受野，并缩减图像的尺寸。CNN是一种层次模型，输入
2020-05-26 21:57:24
296
原创 街景字符编码识别 - Task2 - 数据读取与数据扩增
街景字符编码识别 - Task2 - 数据读取与数据扩增图像读取OpenCV读取图片OpenCV显示图片数据扩增数据扩增方法常用的数据扩增库pytorch读取数据重载Dataset定义Dataset图像读取OpenCV读取图片import cv2# 导入Opencv库img = cv2.imread('cat.jpg')# Opencv默认颜色通道顺序是BRG，转换一下img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)使用cv.imread()函数读取
2020-05-23 16:53:37
346
原创 街景字符编码识别 - Task1 -赛题理解
街景字符编码识别 - Task1 -赛题理解赛题数据标签评价标准结果提交读取数据解题思路简单入门思路：定长字符识别专业字符识别思路：不定长字符识别专业分类思路：检测再识别本章小节赛题赛题来源自Google街景图像中的门牌号数据集（The Street View House Numbers Dataset, SVHN），并根据一定方式采样得到比赛数据集。该数据来自真实场景的门牌号。训练集数据包括3W张照片，验证集数据包括1W张照片，每张照片包括颜色图像和对应的编码类别和具体位置；为了保证比赛的公平性，测
2020-05-20 17:44:30
370
原创 用ELM极限学习机分类 - python实现
ELM极限学习机python实现ELMpython实现ELM实现随机获取数据ELM极限学习机（Extreme Learning Machine），是一种训练单隐层前馈神经网络的随机化算法。它不适用BP训练，像是求一种解析解。第一层可以看作Linear层，不过其中的参数w,bw,bw,b只需要随机初始化，不需要再训练。Linear后跟一个sigmoid。输出一个矩阵H，具体计算为：其中...
2020-03-12 16:02:53
6155
6
原创 [AutoEncoder]使用pytorch实现简单的欠完备自编码器
[AutoEncoder]使用pytorch实现简单的欠完备自编码器什么是AutoEncoder欠完备得自编码器实现网络结构读取数据实现网络训练什么是AutoEncoder自编码器(AutoEncoder)是神经网络的一种，传统的自编码器用于降维或特征学习。其中包含编码和解码两部分，简单地说编码器将原始数据进行改编，尽可能保留有用信息，去除或尽可能减少无用信息。解码器利用编码器编码后的结果，...
2020-03-05 16:45:21
1012
原创 [libsvm]使用默认的libsvm分类并可视化 (python)
使用默认的libsvm分类并可视化libsvmSVM使用流程读取数据随机生成数据libsvmLIBSVM是台湾大学林智仁(Lin Chih-Jen)教授等开发设计的一个简单、易于使用和快速有效的SVM分类与回归的软件包。LIBSVM软件包拥有目前各种常用编程语言的版本，如Python、Java、Matlab等。SVM使用流程· 转换数据格式；· 缩放数据，例如将其变换到[0,1]或者[-...
2020-03-03 17:52:53
2730
原创 《动手学深度学习》图像分类案例2；GAN；DCGAN
图像分类案例2；GAN；DCGAN图像分类案例2任务模型GAN损失函数判别器生成器DCGAN任务模型转置卷积层图像分类案例2任务Kaggle竞赛中的犬种识别挑战，比赛的网址是https://www.kaggle.com/c/dog-breed-identification在这项比赛中，我们尝试确定120种不同的狗。首先对数据集结构进行了整理，原数据集按train、test结构，修改后在tr...
2020-02-25 16:30:28
821
原创 《动手学深度学习》目标检测基础；图像风格迁移；图像分类案例1
目标检测基础；图像风格迁移；图像分类案例1目标检测基础锚框交并比标注训练集的锚框图像风格迁移模型损失函数内容损失样式损失总变差损失总损失函数图像分类案例1任务模型目标检测基础在图像中标出目标图像的位置，成为目标检测。锚框以每个像素为中心，生成多个大小和宽高比不用的边界框，这些边界框就是锚框。设输入图像高为hhh，宽为www，锚框大小为s∈(0,1]s\in (0,1]s∈(0,1]且宽...
2020-02-25 10:23:37
372
原创 《动手学深度学习》批量归一化和残差网络；凸优化；梯度下降
批量归一化和残差网络；凸优化；梯度下降批量归一化和残差网络对全连接层做批量归一化对卷积层做批量归一化残差网络（ResNet）ResNet模型稠密连接网络（DenseNet）过渡层DenseNet模型批量归一化和残差网络对全连接层做批量归一化归一化增加在全连接层激活函数之前，全连接层输入为uuu，批量归一化运算符BNBNBN，那么使用批量归一化的全连接层的输出为：ϕ(BN(x))\phi(\...
2020-02-21 17:03:39
349
原创 《动手学深度学习》机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer
机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer机器翻译及其相关技术编码器和解码器编码器解码器束搜索贪婪搜索束搜索注意力机制与Seq2Seq模型计算背景变量机器翻译及其相关技术机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同...
2020-02-18 15:47:47
212
原创 《动手学深度学习》卷积神经网络基础；leNet；卷积神经网络进阶
卷积神经网络基础；leNet；卷积神经网络进阶卷积神经网络基础二位互相关运算二维卷积层互相关运算与卷积运算特征图与感受野填充和步幅**填充**：在输入的高宽两侧填充元素，通常填充0。**步幅**：卷积核在输入数组上每次滑动的行数列数。多输入通道和多输出通道1×11×11×1卷积层池化LeNetLeNet模型卷积神经网络进阶卷积神经网络基础介绍的是最常见的二维卷积层，常用于处理图像数据。二位互...
2020-02-17 15:20:27
268
原创 《动手学深度学习》过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶
过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶过拟合欠拟合及其解决方案模型选择、过拟合和欠拟合模型选择验证数据集K折交叉验证过拟合和欠拟合模型复杂度训练集大小权重衰减L2L_2L2范数正则化丢弃法过拟合欠拟合及其解决方案模型选择、过拟合和欠拟合首先要区分训练误差和泛化误差。训练误差：模型在训练数据集上表现出的误差泛化误差：模型在任意一个测试数据样本上表现出的误差的期望...
2020-02-15 15:05:46
278
原创 《动手学深度学习》文本预处理、语言模型、循环神经网络基础
文本预处理、语言模型、循环神经网络基础文本预处理读入文本文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：1.读入文本2.分词3.建立字典，将每个词映射到一个唯一的索引（index）4.将文本从词的序列转换为索引的序列，方便输入模型读入文本在此用H. G. Well的英文小说Time Machine作为示例...
2020-02-14 15:33:49
310
原创 《动手学深度学习》线性回归、Softmax与分类模型、多层感知机
线性回归、Softmax与分类模型、多层感知机线性回归任务目标数据集损失函数优化函数 - 随机梯度下降Softmax与分类模型任务目标神经网络图SoftMax损失函数多层感知机任务目标隐藏层激活函数ReLUSigmoidtanh激活函数的选择线性回归任务目标我们假设房屋价格取决于房屋面积与房屋年龄，则假设他服从一个线性关系：price=warea⋅area+wage⋅age+b\mathr...
2020-02-14 10:32:30
337
原创 《动手学深度学习》线性回归 -- 2/11
线性回归import packages and modules生成数据集import packages and modulesimport torchfrom IPython import displayfrom matplotlib import pyplot as pltimport numpy as npimport random生成数据集自己生成一个带噪声的线性数据集，线性...
2020-02-11 22:32:51
338
1
原创 [python函数学习]机器学习实战 - ID3决策树（1）
ID3决策树实现代码from math import logimport operator# 计算香农熵def calcShannonEnt(dataSet): numEntries = len(dataSet) labelCounts = {} for featVec in dataSet: currentLabel = featVec[-1] ...
2019-10-11 14:15:37
175
转载 转载CSDN博客步骤
在参考“如何快速转载CSDN中的博客”后，由于自己不懂html以及markdown相关知识，所以花了一些时间来弄明白怎么转载博客，以下为转载CSDN博客步骤和一些知识小笔记。 参考博客原址：http://blog.csdn.net/bolu1234/article/details/5186...
2019-10-07 16:21:00
90
原创 [python函数学习]机器学习实战 - 手写数字识别的测试代码
[python函数学习]机器学习实战 - 手写数字识别的测试代码os.listdir(path)返回指定路径下的文件和文件夹列表path – 是目录路径eg：from os import listdir# 打开文件path = ""dirs = os.listdir(path)# 输出所有文件和文件夹for file in dirs print file输出结果：tes...
2019-10-06 16:37:13
228
原创 [python函数学习]机器学习实战 - Matplotlib散点图
import matplotlibimport matplotlib.pyplot as pltfig = plt.figure() # 创建图例ax1 = fig.add_subplot(211) # 新增子图ax2 = fig.add_subplot(212) # 新增子图ax1.scatter(datingDataMat[:,1], datingDataMat[:, 2])...
2019-09-29 15:27:32
270
原创 [python函数学习]机器学习实战 - k近邻
[python函数学习]机器学习实战 - k近邻tile(A,(repsM, repsN))将A重复repsM维，repsN次A和reps都是array_likeA的类型众多，几乎所有类型都可以：array, list, tuple, dict, matrix以及基本数据类型int, string, float以及bool类型。reps的类型也很多，可以是tuple，list, dict...
2019-09-29 11:46:27
177
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人