深度学习系统学习教程与实战案列
关注
分享
扫一扫
入手深度学习的系统学习教程，搭配9大实战案例与源码讲解。
_Summer tree
这个作者很懒，什么都没留下…
展开
-
深度学习 | 机器学习基础
机器学习基础1 学习算法1.1 任务，T1.2 性能度量，P1.3 经验，E1.4 实例：线性回归2 容量、过拟合和欠拟合2.1 没有免费午餐定理2.2 正则化3 超参数和验证集4 估计、偏差和方差5 最大似然估计6 贝叶斯统计7 监督学习算法8 无监督学习算法9 随机梯度下降10 构建机器学习算法11 推动深度学习的挑战深度学习是机器学习的一个特定分支。首先，我们将介绍学习算法的定义，并介绍...原创 2019-08-06 16:32:26 · 782 阅读 · 0 评论 -
深度学习 | 应用
应用1 大规模深度学习1.1 快速的CPU实现1.2 GPU实现1.3 大规模的分布式实现1.4 模型压缩1.5 动态结构1.6 深度网络的专用硬件实现2 计算机视觉2.1 预处理2.2 数据集增强3 语音识别4 自然语言处理4.1 n-gram4.2 神经语言模型4.3 高维输出4.4 结合n-gram和神经语言模型4.5 神经机器翻译1 大规模深度学习深度学习的基本思想是建立在连接机制上的...原创 2019-08-05 18:46:46 · 626 阅读 · 0 评论 -
深度学习 | 实践方法论
实践方法论实践设计流程街景地址号码转录系统1 性能度量2 默认的基准模型3 决定是否收集更多数据4 选择超参数4.1 手动调整超参数4.2 自动超参数优化算法4.3 网格搜索4.4 随机搜索4.5 基于模型的超参数优化5 调试策略6 示例：多为数字识别在机器学习系统的日常开发中，实践者需要决定是否收集更多的数据，增加或减少模型容量，添加或删除正则化功能，改进模型的优化，改进模型的近似推断，或调试...原创 2019-08-03 19:32:46 · 1592 阅读 · 0 评论 -
深度学习 | 实战9- 参数正则化
Github源码要求参数正则化（一）要求：训练MNIST分类模型，比较不同学习率情况下，loss的收敛情况和实际精度acc的变化情况。比较添加参数正则化方法防止模型过拟合的效果。模型结构要求：使用如下全连接网络：def model(x): w1=tf.Variable(dtype=tf.float32, initial_value=np.random.rand(784,1500)...原创 2019-07-17 20:26:41 · 638 阅读 · 0 评论 -
深度学习 | 实战8 - 梯度截断
Github源码要求要求：在lenet MNIST分类中，应用梯度截断，使得梯度更新时，让每个变量的梯度分量保持在 min=-0.001, max=0.001的范围内。比较使用如上要求的梯度截断，和不使用梯度截断时，训练过程中，loss的变化情况。网络采用 lenet,batch size=8，iter=1000，每隔10步打印一次 mnist.validation.next_batch...原创 2019-07-17 19:06:59 · 1396 阅读 · 0 评论 -
深度学习 | 实战7- 连体网络MINIST优化
Github源码要求输入为两个MNIST图片，以及两者是否为相同数字的标签(0为相同数字，1为不同数字)，输出为网络给出两者是否为同一数字的预测结果。网络结构可以自己设计。比如两层网络：hidden1：784(28x28)->500; hidden2: 500->10，使用relu。也可以尝试Lenet网络或其他结构。要求：1. 构建平衡测试集：（1）正例（同一数字对）、反例（...原创 2019-07-17 19:01:36 · 726 阅读 · 0 评论 -
深度学习 | 实战6-利用tensorboard实现卷积可视化
Github源码要求卷积可视化：在Lenet中，分别使用ReLU及sigmoid激活函数，观察不同情况下，Lenet学习MNIST分类时，参数的变化。并在最终训练好Lenet的情况下，观察分类操作前的最后一个全连接层fc2的84位特征向量，比较不同类型样本的fc2特征图。要求：提交代码，文档。文档包括可视化截图。（1）tensorboard可视化包括：loss， acc， w、b参数的...原创 2019-07-17 18:54:23 · 1363 阅读 · 0 评论 -
深度学习 | 实战5-用slim 定义Lenet网络，并训练测试
Github源码要求Slim Lenet用slim 定义Lenet网络，并训练测试。要求：将Lenet 单独定义到Lenet.py 文件可以定义为一个函数，例如：def lenet(images):用with slim.arg_scope …: 去管理 lenet中所有操作的默认参数， 例如activation_fn, weights_initializer, 等。。。...原创 2019-07-17 18:44:14 · 873 阅读 · 0 评论 -
深度学习 | 实战4-将LENET封装为class，并进行分类
Github源码要求将LENET封装为class，并用此封装好的lenet对minist进行分类。有关lenet定义请参考卷积网络课件最后2页；class封装的内容，请参考class封装课件1. lenet 结构如附件描述。注意：（1）lenet 输入为32x32，而minist为28x28，故需要先对数据进行填充，例如：import numpy as np#Pad images ...原创 2019-07-17 18:35:23 · 635 阅读 · 0 评论 -
深度学习 | 实战3-设计变量共享网络进行MNIST分类
Github源码要求设计变量共享网络进行MNIST分类：网络结构如图所示：其将图片样本分为上下两半X1,X2；分别送入input1,input2。后续的两个路径的线性加权模块 X_W=X*W 共享一个变量 name=‘w’整个分类模型可描述为 softmax( X_W(X1)+X_W(X2)+b)模型及流程可以参考我们课件part1上最后的那个一层全连接分MNIST的代码例子要求：...原创 2019-07-17 16:57:00 · 863 阅读 · 0 评论 -
深度学习 | 实战2-TensorFlow基础
GitHub源码要求假设有函数y = cos(ax + b), 其中a为学号前两位，b为学号最后两位。首先从此函数中以相同步长（点与点之间在x轴上距离相同），在0<(ax+b)<2pi范围内，采样出2000个点，然后利用采样的2000个点作为特征点进行三次函数拟合(三次函数形式为 y = w1 * x + w2 * x^2 + w3 * x^3 + b, 其中wi为可训练的权值，b...原创 2019-07-17 16:49:20 · 668 阅读 · 0 评论 -
深度学习| 实战1-python基本操作
GitHub源码要求设计python程序，首先安装并导入opencv库：例如：conda install opencvimport cv2然后使用cv2.imread()读取任意彩色图片为numpy矩阵，然后进行以下操作：(1) 将图片的三个通道顺序进行改变，由RGB变为BRG，并用imshow()或者matplotlib中的有关函数显示图片(2) 利用Numpy给改变通道顺序的图片...原创 2019-07-17 16:28:36 · 478 阅读 · 0 评论 -
深度学习 | 物体检测
授课内容和预期效果• 内容• 回顾物体检测的发展历程• 介绍基于深度学习方法的物体检测算法 • 分析典型算法• 回顾前面提及的深度学习方法的特点• 介绍物体检测算法的评测过程• 效果• 深入了解计算机视觉发展历史• 加深对深度学习特点的记忆和理解• 掌握使用深度学习解决计算机视觉问题的思想、建模过程、具体工具 • 理解学术研究中数据集、评价指标的影响1、物体检测1、物体检测...原创 2019-06-30 09:03:35 · 2296 阅读 · 1 评论 -
深度学习 | 模型评估与梯度下降优化
模型评估与梯度下降优化机器学习与模型优化选择机器学习是一个怎样的过程?形式化机器学习过程机器学习是一个模型选择过程机器学习要素学习优化对象:模型假设空间的元素模型选择评估方法和评估指标梯度优化机器学习与模型优化选择机器学习是一个怎样的过程?形式化机器学习过程机器学习是一个模型选择过程机器学习:通过算法 A，在假设空间 H 中，根据样本集 D，选择最优假设 g。选择标准: g 近似于 f...原创 2019-06-30 09:02:40 · 1047 阅读 · 0 评论 -
深度学习 | 训练及优化方法
训练及优化方法深度网络优化方法优化及调试策略:实践流程梯度消失与梯度爆炸Sigmoid 激活函数问题ReLU参数初始化学习率迭代次数batch sizeBatch 方差与 learning rate 关系Large-batch 魔咒正则化正则化技术概述数据增强技术数据集规范化目标函数及正则化深度网络优化方法优化及调试策略:实践流程确定目标:误差度量及期望目标建立端到端流程:数据读取、预...原创 2019-06-17 21:03:23 · 6079 阅读 · 2 评论 -
深度学习 | TensorFlow 可视化
TensorFlow 可视化TensorBoard简介什么是TensoBoardTensorboard 能帮助我们看到什么怎样启动 Tensorboard?Tensorboard 基础TF 程序中添加 Tensorboard 日志记录方法通过TensorBoard查找编程错误输出中间数据添加代码以查看中间数据TensorBoard进行超参数搜索梯度、特征可视化数据分布可视化TensorBoard...原创 2019-06-17 21:00:36 · 707 阅读 · 0 评论 -
深度学习 | TFSlim介绍
TFSlim介绍TFSlim 简介TFSlim 中包含的独立组件模型定义变量TFSlim变量分类TFSlim变量管理TFSlim LayersTFSlim Layers 搭建网络TFSlim arg_scopeTFSlim VGG-16模型训练TF-Slim 基本编程框架TF-Slim 基本编程框架:LossTF-Slim 基本编程框架:Training LoopTF-Slim 基本编程框架:VG...原创 2019-05-21 09:57:39 · 639 阅读 · 0 评论 -
深度学习 | TensorFlow 命名机制和变量共享、变量赋值与模型封装
TensorFlow 命名机制、变量赋值与模型封装命名机制与变量共享TF 中的命名机制tf.name_scope, tf.variable_scope 管理方式的异同案例:RNN 中的共享变量名字空间、变量重用简单总结案例:训练测试模型共享变量赋值与更新变量初始化变量更新变量更新案例 1: 不用 assign变量更新案例 2:assign 与数据驱动的机制变量更新案例 3class 封装命名机制...原创 2019-05-14 10:46:37 · 946 阅读 · 0 评论 -
深度学习 | 工具及实践（TensorFlow）
工具及实践（TensorFlow）tensorFlow 基础：概念与编程魔心深度学习工具包TensorFlow 简介TensorFlow易于学习TensorFlow与pythonTensorFlow 机器学习编程框架TensorFlow线性回归Eager Execution总结tensorFlow 基础：概念与编程魔心深度学习工具包手写深度学习：编程难度大对非科研人员不友好标注无法统一...原创 2019-05-05 19:57:47 · 819 阅读 · 1 评论 -
深度学习 | 安装conda、opencv、pycharm以及相关问题
Python课后作业安装 conda安装 conda参考链接：conda的安装与使用（最新版)下载conda：下载所需版本的conda在下载文件目录下执行：chmod 777 Miniconda3-latest-Linux-x86_64.sh #给执行权限bash Miniconda3-latest-Linux-x86_64.sh #运行见如上图所示，即安装成功。启动...原创 2019-04-23 21:11:38 · 696 阅读 · 0 评论 -
深度学习 | 线性代数基础
线性代数基础标量、向量、矩阵和张量矩阵和向量相乘单位矩阵和逆矩阵线性相关和生成子空间范数特殊类型的矩阵和向量特征分解奇异值分解Moore-Penrose伪逆迹运算行列式主成分分析标量、向量、矩阵和张量矩阵和向量相乘单位矩阵和逆矩阵线性相关和生成子空间范数特殊类型的矩阵和向量特征分解奇异值分解Moore-Penrose伪逆迹运算行列式主成分分析...原创 2019-04-20 21:00:23 · 651 阅读 · 0 评论 -
深度学习 | 绪论
深度学习 | 绪论深度学习简介应用深度学习基本原理深度学习本质深度学习vs传统机器学习深度学习基本原理深度学习发展的原因深度学习小结Python 基础Python特性使用python的知名项目搭建python编程环境集成开发环境安装PythonPython数据类型Python基本数据类型数字类型和布尔类型字符串类型Python 容器类型列表（List）和元组（Tuple）字典集合Python 函数...原创 2019-04-22 20:10:24 · 1154 阅读 · 1 评论