人工智能
文章平均质量分 92
suredied
这个作者很懒,什么都没留下…
展开
-
第2篇 Fast AI深度学习课程——图像分类网络调优
在第一节课中,在Dogs vs. Cats数据集上,设置了一个ResNet34的网络,并通过学习速率选取方法,以及设置数据遍历次数为2,获得了一个准确率如下的网络: Epoch trn_loss val_loss accuracy 0 0.052014 0.028396 0.99 1 0.049761 0.028705 0.9885...原创 2018-06-27 22:14:29 · 6899 阅读 · 0 评论 -
CS231n-2017 第11讲 目标检测与图像分割
一、语义分割将一张图片中的像素按类别区分。示例如下:图 1. 语义分割示例语义分割不区分同类事物的不同实例。语义分割的思路:使用滑动窗方法,每次取图像的一部分,使用神经网络判断此部分的中心像素属于哪一类。缺点:低效,未能复用重叠窗口之间的共有特征。使用全卷积(Fully Convolutional)网络:使用补零方法保证卷积的输出结果的尺寸与源图像尺寸一致,不使用...原创 2018-11-06 23:07:37 · 2312 阅读 · 0 评论 -
第8篇 Fast AI深度学习课程——单目标识别与定位
一、前情回顾与课程展望本系列课程的第一部分——神经网络入门与实践已结束,在该部分的1-7课中,我们通过图像分类网络(包括多类别分类)、时间序列处理、影评数据情感分析(包括构建语言模型、协同滤波)等实例,学习了Fast.AI的API,熟悉了使用神经网络解决实际问题的流程,掌握了网络调参中的常用技巧,要点如下:1. 迁移学习要得到一个可用的模型,其实并不需要从零开始,可以利用已在其他数据集上训练...原创 2018-12-05 22:36:33 · 2340 阅读 · 0 评论 -
第9篇 Fast AI深度学习课程——多目标识别与定位
一、一个模型同时实现单目标识别与定位在上一节中,我们先构建了一个分类网络,用于图片中最大目标的类别划分;然后构建了一个用于输出目标坐标的网络。我们尚未将两个网络联系起来。但事实上,两个网络的架构十分相似(都是基于resnet34)。那么能否去除这种冗余,使用一个网络同时实现目标分类与定位呢?本部分将按照:准备数据—构建网络—定义优化目标这一分解步骤,来展示针对应用场景进行建模的通用流程。1. ...原创 2018-12-05 22:57:50 · 8110 阅读 · 2 评论 -
第11篇 Fast AI深度学习课程——机器翻译
在上节课程中,我们使用语言模型对IMDB影评进行了情感分析。对于语言模型而言,使用的神经网络是一个seq2seq的网络,即输入和输出均为序列;每输入一个单词,就需输出一个单词,因此输入输出的序列长度是一致的。对于影评分析,是一个由字词序列得到单一分类结果的网络,即为seq2one的网络。本节将介绍由法语到英语的机器翻译,该类型网络也是seq2seq,但与语言模型不同之处在于,其在读入整个字符序列后...原创 2019-01-05 08:28:50 · 1269 阅读 · 0 评论 -
第10篇 Fast AI深度学习课程——构建语言模型及文本情感分析
在学习了目标识别的网络构建与训练之后,我们总结一个模型的三元素为:数据、网络架构、损失函数。而采用的一般策略为迁移学习,即在已有的网络基础上,增加附加层;训练时首先冻结已有的网络的参数,训练附加层的系数;然后使用阶梯化的学习速率,训练整个网络。在本节及下节课程中,我们将学习神经网络在自然语言处理方面的应用,包括构建语言模型、文本的情感分析、机器翻译等。在这一部分,我们所使用的技术策略同目标识别的...原创 2019-01-05 08:29:52 · 2936 阅读 · 7 评论 -
第12篇 Fast AI深度学习课程——DarkNet、GAN
本节课程将介绍很火的对抗生成网络。由于这一网络结构很新,目前(课程发布时,18年4月份)Fast.AI尚未提供相应的封装,因此需要使用Pytorch的数据结构来构建。在构建GAN之前,我们将在CIFAR10数据上,仅使用Pytorch的数据结构,构建结构较简单的Darknet,以展示利用Pytorch搭建网络的思路。一、Darknet1. 数据准备下载后解压。由于train文件夹下各类数据都...原创 2019-01-05 08:30:25 · 1930 阅读 · 2 评论 -
第13篇 Fast AI深度学习课程——风格迁移
一、阶梯化学习速率在前述课程中,我们使用了重启学习速率、三角化学习速率等技巧,以实现更快的收敛、更稳定的泛化。上述技巧均是通过设置相应参数,来实现整个训练过程的学习速率的变化。事实上,一个更通用的方法,是在不同的训练阶段(训练阶段由epoch序列指明)使用指定的学习速率。(这一想法可通过调用多次fit()函数,每次使用不同的学习速率来达到;但更便捷的方式是提供一套API。)Fast.AI提供了实...原创 2019-01-05 08:31:03 · 1488 阅读 · 0 评论 -
第14篇 Fast AI深度学习课程——超分辨与图像分割
一、超分辨超分辨指的是由低分辨率的图片获得高分辨率的图片。1. 准备数据集数据集无需标注,将图像进行降采样即可获得配对的高低分辨率的图像。同样不需数据标注的应用场景还有:图像旋转、图像去噪、黑白图像着色等。为定义合适的Dataset,我们去fastai.dataset.py中找到一个和需求相接近的。其中有一个FilesDataset,其接受文件名,数据集的输入x为图像。我们继承该类,并覆写...原创 2019-01-05 08:31:32 · 4267 阅读 · 2 评论 -
CS231n-2017 第6讲 训练网络(上)
训练网络模型所需要做的功课有:训练过程能够正常启动前置条件:设定激活函数、数据预处理、权重系数初始化、网络正则化策略、梯度校验等。训练过程动态监测:学习曲线监测、参数更新、超参数的优化选择。模型评估与改进:模型集成。本节与下一节将描述如上内容。一. 激活函数1. sigmoid表达式为σ(x)=1/(1+e−x)\sigma(x) = 1/(1+e^{-x})σ(x)=1/(1...原创 2018-09-22 13:40:21 · 351 阅读 · 0 评论 -
CS231n-2017 第5讲 卷积神经网络简介
1. 神经网络发展历史1957, Frank Rosenblatt:神经元,其实就是简单的线性分类器,用于字母识别。1960,Widow & Hoff,Adaline/Madaline,多层感知器网络。1986,Rumelhart,反向传播算法。2006,Hinton & Salakhutdinov,深层神经网络可被高效训练:通过受限玻尔兹曼机来初始化网络参数,然后利用...原创 2018-09-02 22:36:57 · 308 阅读 · 0 评论 -
CS231n-2017 第4讲 反向传播算法与神经网络
一. 反向传播算法计算图模型设有算式f(W,x)=11+e−(ω0x0+ω1x1+ω2)f(W,x)=11+e−(ω0x0+ω1x1+ω2)f(W, x) = \frac{1}{1+e^{-(\omega_0 x_0 + \omega_1 x_1 + \omega_2)}} 使用计算图模型展示其前向计算过程,以及梯度的后向传播过程如下图所示:图 1. 计算图模型...原创 2018-09-02 22:34:26 · 525 阅读 · 0 评论 -
第3篇 Fast AI深度学习课程——卷积神经网络结构概论与多标签图像分类
第二节课中,讲述了提高图像分类网络准确率的若干手段,如数据修饰、学习速率重置、参数微调等。本节课将介绍卷积神经网络的基本架构,多标签图像分类,并演示如何将结果提交到Kaggle上。主要内容如下:如何悄没声儿地把自己挂在Kaggle竞赛的leader board上。如何对单一图像进行分类。卷积网络基本结构。多标签卫星遥感图像分类。向Kaggle提交结果1. 生成测试集的各类...原创 2018-06-27 22:56:51 · 4092 阅读 · 1 评论 -
第5篇 Fast AI深度学习课程——推荐算法之协同滤波
本节课的主要内容是针对使用协同滤波算法进行电影评分预测的应用场景,分别使用Excel、Fast.AI、Pytorch、自主构建的网络,来实现相应功能。所用数据为MovieLens数据,其中中的评分表存储了用户id,电影id,以及5星制的评分。数据格式如下:图 1. 电影评分数据组织形式一. 使用Excel与矩阵分解算法实现推荐系统整理为以用户id为索引的评分表,格...原创 2018-08-14 22:00:29 · 1953 阅读 · 0 评论 -
第7篇 Fast AI深度学习课程——卷积神经网络的实现与改进
本节将基于CIFAR-10数据,阐述卷积神经网络的构建过程。之所以选择CIFAR-10数据,是因为其数据集很小,而且其中的图片也很小,方便开发阶段的快捷测试。...原创 2018-08-17 23:23:08 · 1498 阅读 · 0 评论 -
第4篇 Fast AI深度学习课程——深度学习在回归预测、NLP等领域的应用
前面几节叙述了卷积神经网络在图像分类中的应用,本节将描述深度学习网络在诸如回归预测、自然语言处理等领域的应用。主要内容如下:Drop Out策略,以及Fast.AI附加层架构分析。结构化时间序列的处理与预测。IMDB影评倾向性分析。Drop Out策略,以及Fast.AI附加层架构分析Drop Out策略是一种避免过拟合的有效手段。在Fast.AI框架下,通过设置分类器构...原创 2018-08-13 23:35:26 · 9019 阅读 · 1 评论 -
第6篇 Fast AI深度学习课程——循环神经网络
本节将继续就前面课程中的应用实例介绍Fast.AI的具体实现,并深入介绍相关原理。主要内容包括:类型变量的内置矩阵含义分析。随机梯度算法的实现。循环神经网络(RNN)的原理与实现。一. 使用PCA对类型变量的内置矩阵进行分析前面课程讲述了如何将类型变量映射为连续型向量。那么这些连续型向量又都表征了数据的什么特征呢?这可通过可视化技术进行分析。但由于向量维度可能太高,而我...原创 2018-08-16 22:52:25 · 1499 阅读 · 0 评论 -
CS231n-2017 第1讲 课程简介
一. 一些前导和同步课程CS131:Computer Vision: Foundations and ApplicationsCS231a: Computer Vision, from 3D Reconstruction to RecognitionCS 224n: Natural Language Processing with Deep LearningCS 230: Deep L...原创 2018-08-30 19:17:40 · 796 阅读 · 0 评论 -
CS231n-2017 第2讲 图像分类:KNN与线性分类
一. 图像分类概述难点(1) ViewPoint Variation: 拍摄视角。(2) Illumination: 光照。(3) Deformation: 变形。(4) Occlusion: 遮挡。(5) Background Clutter: 背景干扰。(6) Intraclass Variation: 同类事物的差异化。上述困难导致无法通过硬编码规则对图像达到良好的...原创 2018-08-30 19:22:51 · 1213 阅读 · 0 评论 -
CS231n-2017 第3讲 损失函数与优化
一. 损失函数1. 基本概念为了评估现有的模型的好坏,需要一个定量指标。这就是损失函数起作用之处。 对于由NNN个样本组成的数据集{(xi,yi)}Ni=1{(xi,yi)}i=1N\{(x_i, y_i)\}_{i=1}^N,定义总体损失函数为各个样本造成的损失的平均L=1N∑iLi(f(xi,W),yi)L=1N∑iLi(f(xi,W),yi)L = \frac{1}{...原创 2018-08-30 19:27:50 · 650 阅读 · 0 评论 -
第一篇 从PyTorch到FastAI
一、使用PyTorch的ResNet18网络,在MNIST数据集上实现手写数字的分类MNIST数据集下载地址。数据读取代码如下:import pickle, gzipimport numpy as npdef load_data(data_pkl): with gzip.open(data_pkl, "rb") as fp: training_data, vali...原创 2019-07-16 08:33:15 · 3538 阅读 · 4 评论