Andrej Karpathy | 详解神经网络和反向传播（基于micrograd）

VIP文章 已于 2022-09-23 10:29:46 修改
阅读量717 收藏 2
点赞数
分类专栏： 机器学习 文章标签： 神经网络 深度学习 人工智能 python
于 2022-09-16 16:49:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45793851/article/details/126893559
版权

只要你懂 Python，大概记得高中学过的求导知识，看完这个视频你还不理解反向传播和神经网络核心要点的话，那我就吃鞋:D

Andrej Karpathy，前特斯拉 AI 高级总监、曾设计并担任斯坦福深度学习课程 CS231n 讲师、OpenAI 创始成员和研究科学家。在 7 月离职特斯拉后，Andrej 在家录制了一个详解反向传播的课程，自信表示“这是 8 年来领域内对神经网络和反向传播的最佳讲解”，并在推特打赌“看不懂就吃鞋”。

在这里插入图片描述

虽然很想看 Andrej 直播吃鞋，但实话实说，作为小白的我，好像真的看懂了。

课程视频

在这里插入图片描述

【中英字幕】Andrej Karpathy | 详解神经网络和反向传播（基于micrograd）

字幕由矩池云翻译制作

课程介绍

课程时长 2 小时 25 分钟，基于 micrograd 详细介绍并演示了神经网络的搭建和反向传播的过程。Micrograd 是 Andrej 于

最低0.47元/天 解锁文章
矩池云Matpool
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
micrograd:一个微型标量值的autograd引擎和一个类似PyTorch的API之上的神经网络库
03-19
微毕业 微型Autograd引擎（咬一口！：））。通过类似PyTorch的API，在动态构建的DAG和位于其之上的小型神经网络库上实现反向传播（反向模式autodiff）。两者都很小，分别有大约100行和50行代码。 DAG仅在标量值上运行，因此，例如，我们将每个神经元切成其所有单独的微小加法和乘法。但是，这足以构成进行二进制分类的整个深度神经网络，如演示笔记本所示。潜在地用于教育目的。 安装 pip install micrograd 用法示例 以下是一个稍作设计的示例，显示了许多可能的受支持的操作： from micrograd . engine import Value a = Value ( - 4.0 ) b = Value ( 2.0 ) c = a + b d = a * b + b ** 3 c += c + 1 c += 1 + c + ( - a ) d += d *
“远见者”特斯拉AI主管Karpathy｜深度学习崛起十年
热门推荐
OneFlow深度学习框架
03-31 1万+
在天时地利人和兼具的情况下，这门课成为斯坦福大学最受欢迎的课程之一，并且在网络上爆火，成为最早、最具权威的深度学习课程。这也让他名声大噪，成为一名深度学习和计算机视觉领域的“网红”，不止于此，他还成长为一名AI领域顶尖的远见者和领导者。
Andrej Karpathy的炼丹技巧
Enjoy Coding
04-28 1039
1、先别着急写代码 训练神经网络前，别管代码，先从预处理数据集开始。我们先花几个小时的时间，了解数据的分布并找出其中的规律。 Andrej有一次在整理数据时发现了重复的样本，还有一次发现了图像和标签中的错误。所以先看一眼数据能避免我们走很多弯路。 由于神经网络实际上是数据集的压缩版本，因此您将能够查看网络（错误）预测并了解它们的来源。如果你的网络给你的预测看起来与你在数据中看到的内容不一致，...
微型神经网络库MicroGrad-基于标量自动微分的类pytorch接口的深度学习框架
SHIDACSDN的博客
07-03 217
一、MicroGrad MicroGrad是大牛Andrej Karpathy写的一个非常轻量级别的神经网络库(框架)，其基本构成为一个90行python代码的标量反向传播(自动微分)引擎，以及在此基础上实现的神经网络层。 其介绍如下： A tiny scalar-valued autograd engine and a neural net library on top of it with...
这个模型，让前特斯拉AI总监Andrej Karpathy沉迷了整整3天！
深度学习技术前沿
08-26 268
来源：新智元最近，一个叫Xander Steenbrugge的AI研究员兼数码艺术家，上传了一段非常震撼的视频《跨越时间之旅》。地球上的生物大进化，从原始海洋起始，到远古蜥蜴、恐龙、哺乳动物，再到猴子、猩猩、猿人、智人……最后出现了科幻中的未来世界。而Steenbrugge也激动地评论道：我们正在跨越一个门槛，生成式人工智能不再只是关于新颖的美学，而是演变成了一个惊人的工具，可以构建强大的、以人为...
【人工智能行业大师访谈6】吴恩达采访 Andrej Karpathy
csdn_xmj的博客
08-30 735
来源：Coursera吴恩达深度学习课程 作为deeplearning.ai课程的一部分，Andrew希望除了教授技术理念之外，同时介绍一些深度学习的先驱给大家认识。在这个视频中，Andrew也希望问问这些先驱们，能不能给一些工作上的建议，关于如何入门深度学习，如何做课题研究或者如何在深度学习领域找一份工作。【人工智能行业大师访谈5】吴恩达采访林元庆。接下来，采访Andrej Karpathy，文章末尾有总结。 吴恩达：欢迎Andrej，今天你能来我很高兴。 Andrej：是的，谢谢你的采访.
【中英字幕】Andrej Karpathy | 详解神经网络和反向传播（基于micrograd）- 知识点目录
墨门
03-02 202
【中英字幕】Andrej Karpathy | 详解神经网络和反向传播（基于micrograd）- 知识点目录
大模型综述来了！一文带你理清全球AI巨头的大模型进化史
夕小瑶科技说
05-16 6362
大模型的训练数据包括书籍、文章、网站信息、代码信息等等，这些数据输入到大模型中的目的，实质在于全面准确的反应“人类”这个东西，通过告诉大模型单词、语法、句法和语义的信息，让模型获得识别上下文并生成连贯响应的能力，以捕捉人类的知识、语言、文化等等方面。：不夸张的说，GPT-4 的算术与推理判断的能力超过了以往的任何模型，在 GSM8k、SVAMP 和 AQuA 上大模型都具有突破性的能力，值得指出的是，通过思维链（CoT）的提示方式，可以显著的增强 LLMs 的计算能力；
PyTorch机器学习之反向传播
心升明月的博客
03-05 2895
代码 如题： 意思是利用这个二次模型来预测数据，减小损失函数(MSE)的值。 代码如下： import torch import matplotlib.pyplot as plt import os os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE" # 数据集 x_data = [1.0,2.0,3.0] y_data = [2.0,4.0,6.0] # 权重参数初始值均为1 w = torch.tensor([1.0,1.0,1.0]) w.requires_gr
Pytorch 自定义激活函数前向与反向传播 Tanh
jasneik的博客
04-04 2774
看完这篇，你基本上可以自定义前向与反向传播，可以自己定义自己的算子 文章目录Tanh公式求导过程优点：缺点：自定义Tanh与Torch定义的比较可视化 import matplotlib import matplotlib.pyplot as plt import numpy as np import torch import torch.nn as nn import torch.nn.functional as F %matplotlib inline plt.rcParams['figure.fi
CS231N-演讲笔记：我对Andrej Karpathy的CS231N的演讲笔记
02-04
cs231n-演讲笔记 我的Andrej Karpathy的CS231N和作业解决方案的讲义。 笔记 :notebook: 第1课只是介绍，所以我在那里没有做任何记录 解决方案 :microscope: 作业1 完成 DONE 完成 完成 完成 作业2 进展
从零创建一个最简单的GPT，minGPT by Andrej karpathy
最新发布
03-08
自己从头做一个最简单的GPT，minGPT by Andrej karpathy https://github.com/karpathy/minGPT
具有递归神经网络的文本生成：使用基于特征的RNN进行文本生成。 我们使用安德烈·卡帕蒂（Andrej Karpathy）的莎士比亚著作数据集。从该数据中获得一个字符序列（“莎士比亚”），训练模型以预测序列中的下一个字符。 通过重复调用模型可以生成更长的文本序列
02-13
具有递归神经网络的文本生成 使用基于特征的RNN进行文本生成。 我们使用安德烈·卡帕蒂（Andrej Karpathy）的莎士比亚作品集。 给定来自此数据的字符序列（“莎士比亚”），训练模型以预测序列中的下一个字符。 通过...
CS231n课程笔记翻译：反向传播笔记
08-14
译自斯坦福CS231n课程笔记Backprop Note，课程教师Andrej Karpathy授权翻译。本篇教程由杜客翻译完成，堃堃和巩子嘉进行校对修改。 侵删
CS231n课程笔记翻译：卷积神经网络笔记.pdf
05-18
CS231n课程笔记翻译：卷积神经网络笔记，Andrej Karpathy授课，由杜客和猴子翻译完成，堃堃和李艺颖进行校对修改
矩池云｜Python生态下用GPU进行数据科学计算加速的实践经验&案例
矩池云的博客
06-08 1782
在数据科学计算的实践中，会时常面临着数据计算加速的场景，分享基于实践者自己的实际经验出发，阐述实践中GPU加速数据科学计算的适用性及其判断依据，并以案例展示GPU优化计算任务的一些方案。...
在矩池云使用Disco Diffusion生成AI艺术图
矩池云的博客
07-12 1401
在 Disco Diffusion 官方说明的第一段，其对自身是这样定义： AI Image generating technique called CLIP-Guided Diffusion。DD 是通过 CLIP 来进行图文匹配，引导 AI 进行图像生成的技术，通过 Diffusion 持续去噪去生成图像的，而在整个过程中，CLIP 不断地评估图像和文本之间的距离，来为生成图像的整体方向进行指导，最终就体现为“输入文字-生成图画”，因此我们便可以通过文字来引导AI生成艺术风格图片。 启动矩池云快速使用D
神经网络 - 前馈神经网络概要简述
矩池云的博客
12-09 1384
神经网络 - 前馈神经网络 人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。神经网络是个非常大的科目。今天我们就介绍下最简单的模型前馈神经网络。 从神经元细胞说起 人的大脑拥有数以亿计的神经元细胞。他们彼此互相相连，来给大脑传递信息，帮助人类做出决策，分类事物，以及各种运算等。 神...
矩池云 | Tony老师解读Kaggle Twitter情感分析案例
矩池云的博客
04-10 994
今天Tony老师给大家带来的案例是Kaggle上的Twitter的情感分析竞赛。在这个案例中，将使用预训练的模型BERT来完成对整个竞赛的数据分析。 导入需要的库 import numpy as np import pandas as pd from math import ceil, floor import tensorflow as tf import tensorflow.keras.l...
Andrej Karpathy在CS231n论文中，主题是什么？
02-07
我不了解你所提到的CS231n论文的细节，但是我知道Andrej Karpathy是一位著名的计算机科学家，擅长深度学习和计算机视觉领域。他曾在著名的论文"The Unreasonable Effectiveness of Recurrent Neural Networks"中提出...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值