[学习日志]自然语言处理-斯坦福 反向传播

最新推荐文章于 2024-09-14 19:18:15 发布
最新推荐文章于 2024-09-14 19:18:15 发布
阅读量76 收藏
点赞数
文章标签： 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gjh1716718326/article/details/113849647
版权

过完年之后发现前面学的也忘得差不多了，那正好换一个有字幕的课程看。。。。

第一种解释：矩阵求导

  • 已经忘记矩阵乘法是怎么个算法了，在这补上
    在这里插入图片描述

  • 网络结构
    在这里插入图片描述

  • 求导W2
    在这里插入图片描述
    这里是先对W2的一个元素进行求导，然后过渡推导出对W2的矩阵求导
    关键词：Hadamard积

  • 求导W1
    这里的推导被老师跳过了，我试着自己推了一遍
    矩阵求导还是比较绕。。。推了一遍发现其实很多地方不是很明白（大概也是老师跳过的原因吧）
    但是大致上能推出来是和W2的σ部分相关的
    那么就能得到一个很重要的地推关系
    在这里插入图片描述

第二种解释：直觉法

在这里插入图片描述
每个节点都是一层函数，那么在求导的时候，根据链式法则
链式法则的每个因子，都会是一个“局部梯度”，而且这些局部梯度是自后向前的
而且节点越靠近输出端，链式越短
在这里插入图片描述

第三种解释：流动图

  • 这个是李宏毅老师选择的方法
    在这里插入图片描述
    可以去李宏毅老师的课上看，这个老师好懒都没展开讲。。。

第四种解释：我觉得够了。。。下课

烫烫烫烫的若愚
关注
大语言模型应用指南：机器学习的过程
程序员光剑
06-27 255
在过去的几年里,自然语言处理(NLP)领域取得了长足的进步,很大程度上要归功于大型语言模型(Large Language Models, LLMs)的出现和发展。LLMs是一种基于深度学习的技术,能够从大量文本数据中学习语言模式和语义关系,从而生成看似人类编写的自然语言输出。随着计算能力的不断提高和海量数据的积累,训练大规模语言模型成为可能。这些模型在广泛的自然语言处理任务中表现出色,包括机器翻译、文本摘要、问答系统、内容生成等,展现出令人惊叹的语言理解和生成能力。
深度学习NLP笔记（五）：反向传播
weixin_39527549的博客
01-22 364
最近要开题了，可能无法及时更新（反正也没人看╮(╯▽╰)╭ 　　关于反向传播，这篇博客写的相当详细：http://www.cnblogs.com/charlotte77/p/5629865.html 但还是要自己写一篇才能明白自己是否真的懂了。 一、链式求导与计算图 设有一实数变量xxx，fff与ggg是两个函数，假设y=g(x)y=g(x)y=g(x)同时z=f(g(x))=f(y)z=f(g(...
学习笔记(01):Ai工程师-自然语言处理实战课程-反向传播
qq_27481099的博客
03-23 196
AI工程师-自然语言处理实战课程旨在用最接地气的方式讲解复杂的算法原理，基于真实数据集，通过实际案例进行项目实战。整个体系内容包括200+课时，20个项目实战，完美覆盖当下热门技术与经典框架实战。学习路线主要包括三大阶段：1.掌握Python在自然语言处理领域必备工具包使用方法 2.机器学习与深度学习在NLP领域常用算法原理与应用实践&...
2.2 梯度下降和反向传播
m0_47880481的博客
05-16 548
梯度下降和反向传播 目标 知道什么是梯度下降 知道什么是反向传播 1. 梯度是什么? 梯度：是一个向量，导数+变化最快的方向(学习的前进方向) 回顾机器学习 收集数据，构建机器学习模型，得到 判断模型好坏的方法： 目标：通过调整(学习)参数，尽可能的降低，那么我们该如何调整呢？ 随机选择一个起始点,通过调整，让loss函数取到最小值 的更新方法： 计算的梯度（导数） 更新 其中： <0 ,意味着w将增大 &..
Ai工程师-自然语言处理实战课程
03-13
购买课程后，添加小助手微信（微信号：csdn108）回复【唐宇迪】 进入学习群，获取唐宇迪老师答疑AI工程师-自然语言处理实战课程旨在用最接地气的方式讲解复杂的算法原理，基于真实数据集，通过实际案例进行项目实战。整个体系内容包括200+课时，20个项目实战，完美覆盖当下热门技术与经典框架实战。学习路线主要包括三大阶段：1.掌握Python在自然语言处理领域必备工具包使用方法 2.机器学习与深度学习在NLP领域常用算法原理与应用实践 3.基于经典框架展开项目实战(Tensorflow,Keras)。课程整体风格通俗易懂，实战案例驱动，提供全部课程所需数据，代码，课件。
【ML】斯坦福Machine Learning反向传播（Backpropagation）的数学推导
u013541048的博客
07-05 1260
疫情在家闲着没事把斯坦福Andrew Ng的机器学习里面的数学公式都推导了一遍。其中我发现视频中反向传播的数学跳过了一些步骤且所用的数学符号跟其他地方不太一样。今天来分享一下视频中反向传播的数学推导。 如果你喜欢看更直观的视频推导，请移步这里： B站: Youtube: 原视频中介绍反向传播的有这两页： 有没有一种好像看懂又好像有点迷糊的感觉？我反正是的。。于是经过仔细看了之后我把我的纠结总结成了下面5个问题： 1. 为什么? 2. 为什么下面一个视频内容说，但是却从...
自然语言处理复习
一个努力生活的人的博客
12-30 1597
国科大自然语言处理复习
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
热门推荐
结构之法 算法之道
03-22 7万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
BERT: 理解上下文的语言模型
weixin_43937759的博客
10-15 1685
BERT 全名为 Bidrectional Encoder Representations from Transformers, 是 Google 以无监督的方式利用大量无标注文本生成的语言代表模型，起架构为 Transforer 中的 Encoder. BERT 是 Transformer 中的 Encoder, 只是有很多层 (图片来源] 以前在处理不同的 NLP 任务通常需要不同的 Language Model (LM)，而设计这些模型并测试其性能需要不少的人力，时间
九章算法: 深度学习、强化学习、机器学习、推荐系统、图像处理、文本处理、序列处理、搜索引擎、数据分析等
程序员光剑
09-11 3563
随着计算机技术的飞速发展，人工智能和机器学习领域迎来蓬勃发展的时代，从“知识图谱”到“零售系统自动化”，人工智能技术正在改变着社会生活的方方面面。传统的人工智能技术都依赖于硬件上的复杂计算能力，如神经网络、决策树等，但对于实际生产场景来说，由于工程量、成本、可靠性等限制，这些方法无法满足需求。2017年1月，百度开源了一套基于TensorFlow框架的AI开发工具包，称之为PaddlePaddle。这一工具包提供多种高级API接口，支持主流机器学习算法，在人工智能领域崭露头角。
大语言模型应用指南：从人工智能的起源到大语言模型
程序员光剑
06-27 852
人工智能（Artificial Intelligence，AI）自诞生以来，一直是计算机科学领域的重要研究方向。早期的AI系统主要依赖于专家知识和规则库，通过逻辑推理和符号计算来解决问题。然而，这种基于规则的系统在处理复杂和多变的现实世界时，表现出了明显的局限性。随着数据量的爆炸式增长和计算能力的提升，研究者们开始探索基于数据驱动的机器学习方法，尤其是深度学习（Deep Learning），从而引发了AI领域的革命性进展。
大语言模型原理基础与前沿 Scaling Law 规模法则（扩大尺度法则）
程序员光剑
07-06 980
近年来，大语言模型（Large Language Models，LLMs）在自然语言处理（Natural Language Processing，NLP）领域取得了突破性进展。从GPT（Generative Pre-trained Transformer）系列到BERT（Bidirectional Encoder Representations from Transformers），再到最近的ChatGPT，大语言模型不断刷新着我们对人工智能能力的认知。这些模型之所以能够在各种NLP任务中表现出色，很大程度
大语言模型在金融风控中的应用
程序员光剑
03-09 482
金融风控是金融机构确保其资产安全和业务稳定的重要手段。随着金融市场的复杂性和交易量的增加，传统的风控方法已难以应对日益增长的风险。近年来，随着大数据和人工智能技术的快速发展，金融风控领域逐渐引入了新的技术手段，其中大语言模型的应用尤为引人注目。大语言模型（Large Language Models, LLMs）通过在大规模文本数据上进行预训练，具备了强大的语言理解和生成能力。这些模型不仅能够处理结构化数据，还能从非结构化文本中提取有价值的信息，从而为金融风控提供了新的解决方案。
每天五分钟玩转深度学习PyTorch：获取神经网络模型的子网络模型
huanfeng_AI的博客
09-09 367
本文主要为第二步（模型搭建）和第六步（优化器）服务，因为子网络是网络模型的一部分，我们如何获取自网络，需要了解网络的模型结构，然后再优化器部分我们需要获取指定网络模型部分的模型参数，所以本节课程很重要。
机器学习与深度学习的区别
最新发布
警警的博客
09-14 1095
机器学习与深度学习
机器学习和深度学习的区别
jun778895的博客
09-10 858
机器学习：是人工智能的一个分支，它让计算机能够在没有明确编程的情况下，通过观察和分析大量数据来学习并做出预测或决策。机器学习起源于20世纪50年代，随着算法的不断发展，逐渐形成了多种经典算法，如决策树、支持向量机、随机森林等。深度学习：则是机器学习的一个子领域，它主要依赖于深度神经网络模型进行学习和预测。深度学习在21世纪初开始兴起，特别是随着计算能力的提升和大数据的普及，深度学习算法得以广泛应用，并取得了显著成效。
如何理解深度学习的训练过程
qq_61033357的博客
09-11 401
这是模型在训练过程中通过数据自动学习的参数，主要是卷积层的权重和偏置。比如卷积核内部的权重（Conv2d中的weights和bias）会随着训练数据的输入和误差的反馈不断更新。以yolov5为例子，训练的目的是把一组输入猫狗图像放到神经网络中，得到一个输出模型，这个模型下次可以直接用来识别哪个是猫，哪个是狗。这些参数是在反向传播过程中由优化器（如Adam、SGD等）自动调整的，目的是使模型更好地拟合训练数据。步长（stride）：决定卷积操作在输入特征图上的移动幅度，影响输出的特征图大小。
基础GAN生成式对抗网络（pytorch实验）
weixin_47696370的博客
09-10 393
采用MNIST数据集，如下是训练集中的一张图片。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值