关注
分享
深度学习类文章
SpaceAutomation
研究方向：深度学习，迁移学习，AutoDL，工业设备健康管理
让深度玄学再auto一点
展开
-
MobileNet系列
MobileNet是用在移动端的轻量级CNN，本文简单介绍MobileNet V1到V3的版本。MobileNet V1主要特点：把卷积拆分为Depthwise和Pointwise两部分（深度可分离卷积Separable convolution），用步长为2的卷积代替池化。Depthwise和Pointwise图解：假设有N×H×W×CN \times H \times W \t...原创 2019-12-13 22:05:21 · 621 阅读 · 0 评论 -
读AutoDL论文——SCARLET-NAS
概述本文要解决的问题是在文献[1]和[2]中都提到过的跳跃连接聚集的问题。虽然跳跃连接可以使超网络的长度可以收缩，但它使超网络的训练便得不稳定，进而使评估模型变得困难。本文首先深入讨论了跳跃连接给训练带来的不稳定性，给出了造成这种现象的根本原因；然后提出了一种可学习的稳定子，使超网络在可变深度的情况下训练也变得稳定；最后利用这种稳定子在ImageNet上训练达到了76.9%的SOTA，且相比于E...原创 2019-12-10 15:51:26 · 475 阅读 · 0 评论 -
Tensorlayer学习笔记——卷积神经网络
一、先看代码import tensorflow as tfimport tensorlayer as tlsess = tf.InteractiveSession()# 导入数据X_train, y_train, X_val, y_val, X_test, y_test = tl.files.load_mnist_dataset(shape=(-1, 28, 28, 1))# 定原创 2017-12-13 21:17:37 · 5523 阅读 · 4 评论 -
Tensorlayer学习笔记——多层神经网络
一、简单粗暴，先看代码import tensorflow as tfimport tensorlayer as tlsess = tf.InteractiveSession()# 导入数据X_train, y_train, X_val, y_val, X_test, y_test = tl.files.load_mnist_dataset(shape=(-1,784))# 定原创 2017-12-11 22:01:12 · 6678 阅读 · 6 评论 -
迁移学习理论
本文解读的是迁移学习的第一篇理论性的文章：《Analysis of Representation for Domain Adaptation》。笔者水平有限，对于解读有错误或不合理的地方还请批评指正！一般的机器学习都假设训练集和测试集来自同一分布，但实际上在大多数情况下，我们有带标签的源域数据集（目标域不带标签，或者很少部分带标签），希望能训练一个分类器在一个分布不同的目标域上也能取得很好的...原创 2019-08-16 16:37:21 · 2564 阅读 · 1 评论 -
深度学习调参经验汇总
此篇文章是在原创教程这个栏目下，但实际上是一篇汇总整理文章。相信大家在做深度学习时对调参尤为无奈，经验不足乱调一通，或者参数太多无从下手，我也如此。希望通过此文汇总网上一些调参的经验方法，供大家参考。此文会对网上每一篇调参文章做简练的总结与提炼，以此为此文的组成单元，并附上原文的链接。如果遇到不对的地方，欢迎指正~本文也将不定期更新，最后祝大家调参（炼金）顺利！有多少人工，就有多少智能！（笑...原创 2019-08-16 18:10:54 · 5505 阅读 · 0 评论 -
生成星辰大海——变分自编码器（VAE）实践
相信大家对浩瀚的宇宙、漫天繁星都充满过极大的兴趣，我们对夜晚漫天眨眼的星星充满了无限的向往，在某个夏日夜晚里，我们也是那个“数星星的孩子”。在本文中，我们将使用变分自编码器（VAE）这项深度学习技术，生成星系的图片，生成我们的“星辰大海”。一、变分自编码器自编码器（AutoEncoder）是一种表示学习技术，是深度学习中的一个重要分支，也是无监督学习的重要技术之一。一个典型的自编码器结构如...原创 2019-08-16 19:02:14 · 805 阅读 · 0 评论 -
Tensorlayer学习笔记——LSTM
一、完整代码import tensorflow as tfimport tensorlayer as tlimport numpy as npimport pandas as pdfrom statsmodels.tsa.tsatools import lagmatfrom sklearn.preprocessing import MinMaxScalerimport matplo原创 2017-12-14 21:33:12 · 3327 阅读 · 1 评论 -
【deeplearning.ai】第二门课：提升深层神经网络——权重初始化
一、初始化合理的权重初始化可以防止梯度爆炸和消失。对于ReLu激活函数，权重可初始化为：也叫作“He初始化”。对于tanh激活函数，权重初始化为：也称为“Xavier初始化”。也可以使用下面这个公式进行初始化：上述公式中的l指当前处在神经网络的第几层，l-1为上一层。二、编程作业有如下二维数据：训练网络正确分类红点和蓝点。原创 2017-10-11 18:48:28 · 2279 阅读 · 0 评论 -
Tensorflow在windows7下的安装
折腾了一天，终于把Tensorflow装好了。参照多篇教程，走了一些弯路，也是不容易。经过这次安装，得到的启示就是，还是用Linux吧说一下我的安装过程吧，我的电脑是windows7系统，64位。1、安装Python3.5和pip9.0.1python安装就不用多说了，下载安装3.5版本然后设置环境变量。pip9.0.1需要get-pip.py文件，点这里下载。下载后打开文件即可自动下原创 2017-02-09 16:16:49 · 4032 阅读 · 0 评论 -
TensorFlow及深度学习相关资料积累汇总【不定期更新】
此为学习TensorFlow及深度学习方面时收集到的一些资料，不定期汇总到这里，与大家一起学习、交流、讨论。1、文档、书籍TF官方文档中文版首本中文教程：TensorFlow实战（京东）TF入门教程集合TensorFlow For Machine IntelligenceDeep Learning Tutorial李宏毅ppt原创 2017-02-17 14:00:38 · 2669 阅读 · 0 评论 -
【deeplearning.ai】Neural Networks and Deep Learning——逻辑斯特回归
吴恩达的deeplearning.ai公开课，第二周内容的学习笔记。一、基础知识1、训练样本：矩阵大小为nx行m列，即样本数为m个，特征数为nx标签：权重：nx行1列偏置：一个实数输出：激活函数：2、loss函数：表征期望输出与实际输出之间的差异Cost函数：整个训练集上loss函数的平均值，最小化cost函数以找到参数w原创 2017-08-28 15:19:06 · 3412 阅读 · 8 评论 -
【deeplearning.ai】Neural Networks and Deep Learning——深层神经网络
吴恩达的deeplearning.ai公开课学习笔记。最近忙忘了整理，课程已被锁定，没能把编程作业保留下来……所以只把之前的笔记、公式整理了一下。水平有限，如有错误欢迎指出~一、多层神经网络1、神经网络结构以四层网络为例：一些符号说明：上一篇博文介绍了浅层网络（一个隐藏层）的前向传播和反向传播公式，了解了浅层网络的传播方式后，很容易将其扩展到多层网络。上片博原创 2017-09-23 10:11:39 · 457 阅读 · 0 评论 -
【deeplearning.ai】第二门课：提升深层神经网络——偏差和方差
吴恩达deeplearning.ai课程第二门：提升深层神经网络的笔记。水平有限，欢迎提出错误、交流讨论~一、偏差和方差通过训练集和验证集来看偏差和方差。偏差可以理解为训练集的表现，方差可以理解为验证集的表现。训练集的误差大（欠拟合）则偏差高，训练集的误差低但验证集误差大（欠拟合）则方差高。如下例所示：↓欠拟合：没能很好地拟合训练集，高偏差（high bias）↓适原创 2017-09-23 16:42:32 · 1675 阅读 · 0 评论 -
【deeplearning.ai】Neural Networks and Deep Learning——浅层神经网络
吴恩达的deeplearning.ai公开课，第二周内容的学习笔记。一、基础知识1、浅层神经网络结构此网络为2层。在说神经网络的层数时，不包括输入层。2、前向传播训练时循环每个样本：可以设：将其向量化，去掉for循环：3、激活函数（1）tanh函数（2）ReLu函数（3）Leaky ReLu原创 2017-08-30 15:14:19 · 2434 阅读 · 0 评论 -
【deeplearning.ai】第二门课：提升深层神经网络——正则化的编程作业
正则化的编程作业，包括无正则化情况、L2正则化、Dropout的编程实现，编程中用到的相关理论和公式请参考上一篇博文。问题描述：原问题是判断足球运动员是否头球，在此省略问题背景，其实就是二分类问题。有以下类型的数据，蓝点为一类，红点为一类导入需要的扩展包，reg_utils.py及数据集在此下载import numpy as npimport matplotlib.pyp原创 2017-10-10 09:59:00 · 1666 阅读 · 0 评论 -
【deeplearning.ai】第二门课：提升深层神经网络——正则化
一、逻辑斯特回归的正则化在损失函数后面加上L2正则化项：其中正则化项：不对b使用正则化是因为w已经是高维参数矢量，几乎涵盖了所有的参数，而b只是一个标量，可以忽略。当然也可以对b进行正则化，不会产生什么影响。也可以使用L1正则化：L1正则化使w是稀疏的，即w中有很多0。目前更倾向于使用L2正则化。二、神经网络的正则化Feo原创 2017-10-09 18:38:10 · 481 阅读 · 0 评论