学习笔记（2）Deep Learning

最新推荐文章于 2023-12-15 01:47:50 发布
最新推荐文章于 2023-12-15 01:47:50 发布
阅读量419 收藏
点赞数
分类专栏： 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010670316/article/details/41254035
版权


Deep learning的基本思想

假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为： I =>S1=>S2=>…..=>Sn => O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失（这是不可能的。信息论中有个“信息逐层丢失”的说法（信息处理不等式），设处理a信息得到b，再对b处理得到c，那么可以证明：a和c的互信息不会超过a和b的互信息。这表明信息处理不会增加信息，大部分处理会丢失信息）。那么每一层的输出就是原来信息的一种抽象表示，所以如果说输入是一幅图像，那么通过中间的N层，我们就可以得到N种图像的抽象特征。

Deep learning与neural network

Deep learning本身是machine learning的一个分支，可以理解为neural network的发展。neural network曾经是ML领域特别火热的一个方向，像我们之前接触到的感知器网络，径向基网络，自适应网络，霍普菲尔德网络等等。这些神经网络的算法有一个共同的特点，就是在训练的时候都使用的是误差反向传播的方法，首先由一个正向的误差传播的过程，反过来运用梯度下降法减小误差，所以在层数比较多的时候，误差的反向传播方法就会失效，因为这时候的梯度基本已经等于0了，所以对于多层次的神经网络是没有办法训练的。其次，神经网络的训练需要大量的经验，网络参数非常难以优化，还记得老师曾经在课堂上讲过，我们初学没有经验，所以一个简单的网络调个三五天都是正常的，而对他来讲，打眼一瞧就知道该怎么调试了。最后，就是i训练速度比较慢，层数比较少的时候训练结果也并不比其他的结果好。但是事情发展起来就是有太多的意外。Hinton和Bengio、Yann.lecun等提成了一个实际可行的deep learning框架。


深度学习的模型解释如上图所示

用计算机来理解粗略的输入数据是很困难的，比如讲这幅像素值集合而成的图像。将一系列像素映射到相应的语义物体的函数是非常的复杂的，那么学习或者是估计这种映射就几乎是不可能的，深度学习就是一种打破这种理想的复杂映射的方法，它将这种映射分为很多内嵌的小映射，而每一个映射都是由不同的层来描述的。所谓的可视层（visiblelayer）就是输入的数据，然后一系列逐渐增加的隐藏层用来提取抽象的特征。这里的这幅图像视为由隐藏层所代表的特征组成。给出一些像素，第一层就可以很容易的定义边缘，给出第一层隐藏单元所描述的边缘，第二层就可以很容易的定义corners和外延的轮廓（extended contours）。而这种corners以及extended contour可以视为边缘的集合。同样的，给出第二层隐藏单元所描述的 corners和extended contours，第三层就能够通过找到特定的corners and extended cntour来检测特定的语义物体的一整个部分，最终，形成一幅图像的描述。


（1）Deep Learning

http://deeplearning.net/

（2）Deep Learning Methods for Vision

http://cs.nyu.edu/~fergus/tutorials/deep_learning_cvpr12/

（3）Neural Network for Recognition of Handwritten Digits[Project]

http://www.codeproject.com/Articles/16650/Neural-Network-for-Recognition-of-Handwritten-Digi

（4）Training a deep autoencoder or a classifier on MNIST digits

http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html

（5）Ersatz：deep neural networks in the cloud

http://www.ersatz1.com/

（6）Deep Learning

http://www.cs.nyu.edu/~yann/research/deep/

（7）Invited talk "A Tutorial on Deep Learning" by Dr. Kai Yu (余凯)

http://vipl.ict.ac.cn/News/academic-report-tutorial-deep-learning-dr-kai-yu

（8）CNN - Convolutional neural network class

http://www.mathworks.cn/matlabcentral/fileexchange/24291

（9）Yann LeCun's Publications

http://yann.lecun.com/exdb/publis/index.html#lecun-98

（10） LeNet-5, convolutional neural networks

http://yann.lecun.com/exdb/lenet/index.html

（11） Deep Learning 大牛Geoffrey E. Hinton's HomePage

http://www.cs.toronto.edu/~hinton/

（12）Sparse coding simulation software[Project]

http://redwood.berkeley.edu/bruno/sparsenet/

（13）Andrew Ng's homepage

http://robotics.stanford.edu/~ang/

（14）stanford deep learning tutorial

http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial

（15）「深度神经网络」（deep neural network）具体是怎样工作的

http://www.zhihu.com/question/19833708?group_id=15019075#1657279

（16）A shallow understanding on deep learning

http://blog.sina.com.cn/s/blog_6ae183910101dw2z.html

（17）Bengio's Learning Deep Architectures for AI

 http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf

（18）andrew ng's talk video:

http://techtalks.tv/talks/machine-learning-and-ai-via-brain-simulations/57862/

（19）cvpr 2012 tutorial：

http://cs.nyu.edu/~fergus/tutorials/deep_learning_cvpr12/tutorial_p2_nnets_ranzato_short.pdf

（20）Andrew ng清华报告听后感

http://blog.sina.com.cn/s/blog_593af2a70101bqyo.html

（21）Kai Yu：CVPR12 Tutorial on Deep Learning Sparse Coding

（22）Honglak Lee：Deep Learning Methods for Vision

（23）Andrew Ng ：Machine Learning and AI via Brain simulations

（24）Deep Learning 【2,3】

http://blog.sina.com.cn/s/blog_46d0a3930101gs5h.html

（25）deep learning这件小事……

http://blog.sina.com.cn/s/blog_67fcf49e0101etab.html

（26）Yoshua Bengio, U. Montreal：Learning Deep Architectures

（27）Kai Yu：A Tutorial on Deep Learning

（28）Marc'Aurelio Ranzato：NEURAL NETS FOR VISION

（29）Unsupervised feature learning and deep learning

http://blog.csdn.net/abcjennifer/article/details/7804962

（30）机器学习前沿热点–Deep Learning

http://elevencitys.com/?p=1854

（31）机器学习——深度学习(Deep Learning)

http://blog.csdn.net/abcjennifer/article/details/7826917

（32）卷积神经网络

http://wenku.baidu.com/view/cd16fb8302d276a200292e22.html

（33）浅谈Deep Learning的基本思想和方法

http://blog.csdn.net/xianlingmao/article/details/8478562

（34）深度神经网络

http://blog.csdn.net/txdb/article/details/6766373

（35）Google的猫脸识别:人工智能的新突破

http://www.36kr.com/p/122132.html

（36）余凯，深度学习-机器学习的新浪潮，Technical News程序天下事

http://blog.csdn.net/datoubo/article/details/8577366

（37）Geoffrey Hinton：UCLTutorial on: Deep Belief Nets

（38）Learning Deep Boltzmann Machines

http://web.mit.edu/~rsalakhu/www/DBM.html

（39）Efficient Sparse Coding Algorithm

http://blog.sina.com.cn/s/blog_62af19190100gux1.html

（40）Itamar Arel, Derek C. Rose, and Thomas P. Karnowski： Deep Machine Learning—A New Frontier in Artificial Intelligence Research

（41）Francis Quintal Lauzon：An introduction to deep learning

（42）Tutorial on Deep Learning and Applications

（43）Boltzmann神经网络模型与学习算法

http://wenku.baidu.com/view/490dcf748e9951e79b892785.html

（44）Deep Learning 和 Knowledge Graph 引爆大数据革命

http://blog.sina.com.cn/s/blog_46d0a3930101fswl.html



anruo12138
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
互信息（Mutual Information）
weixin_30311605的博客
10-27 6124
　　本文根据以下参考资料进行整理： 　　1.维基百科：https://zh.wikipedia.org/wiki/%E4%BA%92%E4%BF%A1%E6%81%AF 　　2.新浪博客：http://blog.sina.com.cn/s/blog_6255d20d0100ex51.html 　　在概率论和信息论中，两个随机变量的互信息（Mutual Informatio...
完结撒花！吴恩达DeepLearning.ai《深度学习》课程笔记目录总集
大树先生的博客
04-12 11万+
吴恩达 Coursera DeepLearning.ai《深度学习》系列课程笔记目录总集
Deep Learning（深度学习）学习笔记整理系列之（三）
热门推荐
zouxy09的专栏
04-09 66万+
Deep Learning（深度学习）学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者：Zouxy version 1.0 2013-04-08 声明： 1）该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。 2）本文仅供学
深度学习（Deep Learning）概述
chlele0105的专栏
12-26 9491
一、Deep Learning的基本思想 假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为： I =>S1=>S2=>…..=>Sn => O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失（呵呵，大牛说，这是不可能的。信息论中有个“信息逐层丢失”的说法（信息处理不等式），设处理a信息得到b，再对b处理得到c，那么可以证明：a和c的互信息
深度学习——核心思想
zchang81的博客
04-19 7060
深度学习的思想就是堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式实现对输入信 息进行分级表达了。深度学习是无监督学习的一种。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或 特征，以发现数据的分布式特征表示。
DeepLab V2学习笔记
passer__的博客
11-21 975
论文作者通过对于先下采样然后空洞卷积再上采样和直接通过空洞卷积计算，对比了两者的差距。作者的主要是的意思还是为了阐述第一个问题，在图像分辨率降低的同时会造成信息丢失的情况。
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Deep Learning Introduction
知不足而奋进，望远山而前行
12-10 2万+
这一步骤在 Deep Learning 中通常表现为建立Model。比如，建立了一个3层的全连接网络，每一层是由线性层+ReLu激活函数构成的，这就是我们定义的函数表达式。在每一个线性层中，都有未知的参数 w 和 b损失函数的值代表了真实值与预测值之间的差距，通常来说，损失函数值越小，代表模型的预测就越接近真实值。常用的损失函数如下图所示：MAE、MSE 等案例介绍已知2017年-2020年的播放量数据，通过已知的数据，训练一个模型（拟合一个函数），预测未来的播放量思路分析建立参数未知的函数表达式。
MIT 6.S191: Evidential Deep Learning学习笔记
Rad1ant_up的博客
12-15 2293
MIT公开课——Evidential Deep Learning
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Deep Learning Task Tips
知不足而奋进，望远山而前行
12-11 2万+
如下图所示，我们会把原始训练资料分为训练集和验证集，其中假设验证集占原始训练资料的三分之一，那么就可以进行三折交叉验证，根据将原始训练数据分为三个不同的验证集和训练集，可以训练出三个模型，我们最终会选择这三个模型中，在验证集上Loss最小的作为最终模型。还是看上一节课讲的案例，2/26是星期五，按照以往的规律，星期五一般学习Deep Learning的人数都是比较少的，所以模型也认为2/26日播放量应该比较少，然而事实是，2/26反而是播放量最多的一天。尝试不同的模型，对比不同模型下，训练过程的Loss。
吴恩达深度学习工程师系列课程笔记（Deep Learning Specialization - deeplearning.ai）
亦梦亦醒乐逍遥的博客
02-02 3533
我的笔记不同于一般的笔记，我的笔记更加凝练，除了结论以及公式，更多的是对知识的理解，结合课程可以加速理解，省去很多时间，但是请注意，笔记不能替代课程，应该结合使用。
Deeplearning深度学习笔记v5.571
08-03
黄海广博士及其团队的努力使得这些深度学习课程的中文笔记得以持续更新，为中国的学生和AI爱好者提供了便利的学习资源。这些笔记有助于加深对课程内容的理解，尤其是在没有完整字幕的情况下。 通过这个深度学习课程...
Deeplearning深度学习笔记v5.53
08-31
Deeplearning深度学习笔记v5.53 吴恩达机器学习笔记更新--在这 5 堂课中，学生将可以学习到深度学习的基础，学会构建神经网络，并用在包括吴 恩达本人在内的多位业界顶尖专家指导下创建自己的机器学习项目。...
deeplearning-ai-books-深度学习资源包
05-10
深度学习（Deep Learning，简称DL）是机器学习（Machine Learning，简称ML）的一个子集，也是人工智能（Artificial Intelligence，简称AI）领域的一个重要分支。它被引入机器学习，旨在使机器更接近于实现人工智能的...
deeplearning深度学习笔记
12-26
" Deeplearning深度学习笔记" 本文档是吴恩达老师深度学习课程(deeplearning.ai)的笔记，旨在帮助已有一定基础的计算机专业人士掌握深度学习技术。课程涵盖深度学习的基础知识，神经网络构建，卷积神经网络(CNN)、...
程序设计竞赛题册生成.zip
09-11
1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。
海康威视SDK实例QtDemo显示NVR视频窗口(Linux+Qt)
09-11
在《海康威视客户端iVMS-4200连接NVR》 https://blog.csdn.net/chentuo2000/article/details/119298486 一文中我们通过海康威视客户端iVMS-4200连接NVR。 本文我们通过海康SDK连接NVR。
Proteus是英国Lab Center Electronics公司出版的EDA工具软件，是一款功能强大的电子电路仿真和物理特性
09-11
proteusProteus是英国Lab Center Electronics公司出版的EDA工具软件，是一款功能强大的电子电路仿真和物理特性模拟软件，广泛应用于电子工程师和教育者之间。以下是关于Proteus的详细介绍： 一、功能特点 原理图设计：Proteus提供了智能原理图设计功能，拥有丰富的器件库，包含超过27000种元器件，可方便地创建新元件，并通过模糊搜索快速定位所需器件。 电路仿真：该软件支持从原理图布图到代码调试，再到单片机与外围电路协同仿真的全过程。其混合仿真功能基于工业标准SPICE3F5，可实现数字/模拟电路的混合仿真，拥有超过27000个仿真器件，并可通过内部原型或使用厂家的SPICE文件自行设计仿真器件。 单片机协同仿真：Proteus支持多种主流 文心大模型3.5生成
springboot基于大数据的音乐数据可视化分析系统毕业论文.docx
最新发布
09-11
springboot基于大数据的音乐数据可视化分析系统毕业论文.docx
吴恩达深度学习课程笔记：Coursera Deeplearning.ai 实战解析
"Deeplearning深度学习笔记v5.54是针对吴恩达老师在Coursera上的深度学习课程(deeplearning.ai)编写的中文笔记，旨在帮助已具备编程基础和机器学习知识的学员进入人工智能领域。笔记涵盖了课程的全部内容，包括深度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值