Deep Learning（wu--46）神经网络和深度学习基础

已于 2023-12-05 09:51:21 修改
阅读量212 收藏
点赞数 1
分类专栏： Deep Learning 文章标签： 深度学习 人工智能
于 2023-11-27 09:03:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qihshe/article/details/134618767
版权

文章目录

Contents

Begin

Basic

逻辑回归





SGD


导数



计算图（反向传播）




向量化



广播



numpy

Neural Network




[1]上标表示第几层
(i)上标表示第几个样本


向量化


激活函数




隐层使用的激活函数必须是非线性的（除机器学习中的回归问题），否则毫无意义，因为多层线性操作等价于一层线性操作


梯度下降






深层表示

反向传播


怎么全是重名
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ECA-Net:深度卷积神经网络的高效通道注意力
冲出仁川，走出马德里，故事还会再继续
08-21 1657
  注意力机制的核心重点就是让网络关注到它更需要关注的地方。当我们使用卷积神经网络去处理图片的时候，我们会更希望卷积神经网络去注意应该注意的地方，而不是什么都关注，我们不可能手动去调节需要注意的地方，这个时候，如何让卷积神经网络去自适应的注意重要的物体变得极为重要。注意力机制就是实现网络自适应注意的一个方式。  注意力机制能够从大量的信息中筛选出重要的信息。在神经网络中引入注意力机制有很多种方法，以卷积神经网络为例，可以在空间维度增加引入注意力机制，也可以在通道维度增加注意力机制（SENet），当然也有
信息论与神经网络：深度学习的理论基础
程序员光剑
01-01 687
1.背景介绍 深度学习是人工智能领域的一个热门研究方向，它主要通过模拟人类大脑中的神经网络来实现智能化的计算和决策。信息论是一门研究信息的理论学科，它在深度学习中发挥着至关重要的作用。本文将从信息论的角度来探讨深度学习的理论基础，并详细介绍信息论在深度学习中的应用和特点。 1.1 深度学习的发展历程
Deep Learning（wu--84）调参、正则化、优化--改进深度神经网络
qihshe的博客
11-29 435
我们结合概率论的知识来具体看一下：假设一个神经元的输出激活值为a，在不使用dropout的情况下，其输出期望值为a，如果使用了dropout，神经元就可能有保留和关闭两种状态，把它看作一个离散型随机变量，它就符合概率论中的0-1分布，其输出激活值的期望变为 p*a+(1-p)*0=pa，此时若要保持期望和不使用dropout时一致，就要除以 p。dropout随机失活，消除一些节点的影响，但为了不影响整体得 / keep-prob，补偿归零带来的损失，确保a3期望值不变。
【Deep Learning】Self-Supervised Learning：自监督学习
Deep_Thinking的博客
06-22 983
本文首先介绍了表征学习（Representation Learning）在无监督学习领域的重要性，而后大致介绍了自监督学习领域的一系列重要模型，主要由2类构成： 1. 基于预测的自监督框架：即人工设计数据的标签。 2. 对比学习框架：将匹配好的数据作为正样例，其他的数据作为负样例，扩大正样例的响应占比，从而在特征空间中学习到好的表征。
Deep Learning 学习笔记1：神经元、神经网络与深度学习
WPR1991的博客
09-22 987
    深度学习是机器学习的一个重要分支，而神经网络则是其理论基础。神经网络的设计来源于神经科学，很早之前科学家就研究了神经元的组成结构。而这种神经元结构也就是神经网络的原型。     神经元模型是一个包括一个输入、输出以及计算功能的模型，如下图：     在每一个连接上都会有一个参数，叫做权重。一个神经网络的算法就是让权重值调整到最佳，以使得整个网络的预测效果达到最好。在初端，传递的信号...
Deep Learning 学习笔记5：神经网络汇总
WPR1991的博客
09-29 2130
本篇文章整理自FJODOR VAN VEEN的论文：The Neural Network Zoo。本文介绍了神经网络大家族，但不是所有的神经网络都能涵盖，毕竟新的网络结构在不断被发展出来。以下是神经网络的图谱。 介绍神经网络之前，先介绍神经元的分类，这部分内容来自博友的文章。 基本的人工神经网络神经元（basic neural network cell）： 这种简单的类型可以在常规的前馈...
吴恩达老师deeplearning.ai-第三课和第四课作业
04-23
深度学习是通过模拟人脑神经网络的工作方式，构建多层的神经网络模型来解决复杂的学习任务，如图像识别、语音识别和自然语言处理等。 第三课“结构化机器学习项目”主要聚焦于如何处理和利用结构化的数据进行预测。...
吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记（5-1）-- 循环神经网络
大树先生的博客
03-04 1万+
序列模型 --- 循环神经网络
【ChatGPT】大模型深度学习系统科学的视角——“大模型”深度学习是结构与组合的艺术 Deep learning is the art of architecture and composition
热门推荐
程序员光剑
03-22 2万+
按照“涌现”的方法来研究这样的系统，就是要在计算机上实现一个模拟的交易市场，并且创造若干相互买卖的虚拟“人”，每个“人”都用计算机编好的规则进行买卖的决策，虽然现实中的人用到的决策规则远远比计算机模型中的“人”的模型复杂的多，但是这样的近似还是有意义的，因为当若干这样的个体组合在一起构成系统的时候，宏观经济系统的一些现象就会自下而上的“涌现”出来，这些涌现出来的现象在很多方面还是客观反映真实经济系统的。系统表现出来的整体性质是各个基础神经元并不具备的新的属性，也不是所有基础神经元特性的简单叠加。
【Python机器学习】循环神经网络（RNN）——审察模型内部情况
最新发布
weixin_39407597的博客
09-10 534
Keras附带了一些工具，比如model.summary()，用于审察模型内部情况。随着模型变得越来越复杂，我们需要经常使用model.summary()，否则在调整超参数时跟踪模型内部的内容的变化情况会变得非常费力。
【大模型专栏—入门篇】机器学习与深度学习基础测试
文艺倾年的博客
09-10 1480
在前向传播过程中，模型各个层的参数w和层的输入输出都是fp16，但是fp16的精度不够，无法表示特别小的数值，这会导致在进行梯度更新的时候，梯度值下溢，导致被调整参数没有变化。因此，合理选择缩放因子和监测训练过程中梯度的变化是非常重要的。，当GPU显存不够充足的情况下，较大的Batch size会导致OOM，因此，需要针对实际的硬件情况，设置合理的Batch size取值。对于所有wi都是一样的，xi是i-1层的激活函数的输出，如果像sigmoid一样，输出值只有正值，那么对于第i层的所有wi，其。
深度学习：怎么看pth文件的参数
weixin_59815450的博客
09-07 383
你需要有创建这个.pth文件时所用的模型的代码。这意味着你需要有模型的类定义和架构。
如何将卷积神经网络（CNN）应用于医学图像分析：从分类到分割和检测的实用指南
loveting99的博客
09-07 851
U-Net：U-Net是一种用于生物医学图像分割的卷积网络。它的关键特点是具有对称的编码器-解码器结构和跳跃连接（skip connections），可以更好地保留和利用图像的空间信息。DeepLab：DeepLab使用空洞卷积（dilated convolutions）来扩展卷积核的感受野，同时保持图像的分辨率，并结合条件随机场（CRFs）进一步精细化分割结果。：YOLO通过将图像划分为网格，并在每个网格中预测边界框和类别，具有实时检测的优势。
强推！创新直发核心！时序分解+优化组合+模型对比！VMD-SSA-Transformer-BiLSTM多变量时间序列预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
09-04 981
强推！创新直发核心！时序分解+优化组合+模型对比！VMD-SSA-Transformer-BiLSTM多变量时间序列预测
构建并训练卷积神经网络（CNN）对CIFAR-10数据集进行分类
异构算力老群群（在读985计算机博士生）的技术博客
09-06 1410
接下来，我们定义一个简单的卷积神经网络。该网络包含三个卷积层，两个池化层，以及两个全连接层。self.fc1 = nn.Linear(64 * 8 * 8, 64) # 考虑到池化层后的尺寸return x。
深度学习速通系列:如何生成句向量？
Ven%的博客
09-07 394
生成句向量时，通常需要考虑句子的语义信息和上下文信息。预训练模型如BERT和其变体因其强大的上下文捕捉能力而广泛用于生成高质量的句向量。在实际应用中，可能需要根据具体任务和资源限制选择合适的方法。生成句向量（Sentence Embedding）是自然语言处理（NLP）中的一项重要技术，它将文本句子转换为固定长度的数值向量，这些向量能够捕捉句子的语义信息。
基于BiLSTM-CRF的医学命名实体识别研究（下）模型构建
s44359487yad的博客
09-05 1501
写到这里，这篇文章就介绍结束了，希望对您有所帮助。文章虽然很冗余，但还是能学到知识，尤其是数据预处理和BiLSTM构建知识，后续随着作者深入，会分享更简洁的命名实体识别代码，继续加油~
torch.nn 与 torch.nn.functional的区别？
weixin_56054625的博客
09-07 922
可以在其基础上定义出自己想要的功能参考博文：【pytorch】torch.nn 与 torch.nn.functional 的区别_torch.nn和torch.nn.function的区别-CSDN博客文章浏览阅读554次。今天在看pytorch的代码时，看到了torch.nn 和 torch.nn.functional，然后查了两个模块的官方doc，也没有看明白有啥区别，然后就查了一下资料，这里记录一下，方便以后查阅。_torch.nn和torch.nn.function的区别。
多光谱神经网络：深度学习的谱方法
作者Ling Shao、Di Wu和Xuelong Li三位专家提出了一个多列深度神经网络（Multi-column Deep Neural Networks, MDNNs）的学习框架，其核心是通过谱方法（Spectral Method）来整合和优化不同深度层的特征表示。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值