Jax 中的 Autograd 和 PyTorch 中的 Autograd 有何联系？

最新推荐文章于 2024-06-09 09:54:12 发布
最新推荐文章于 2024-06-09 09:54:12 发布
阅读量464 收藏
点赞数 1
分类专栏： AI PyTorch AI Platform
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chansonzhang/article/details/127081835
版权
AI 同时被 3 个专栏收录
68 篇文章 2 订阅
订阅专栏
AI Platform
4 篇文章 5 订阅
订阅专栏
PyTorch
1 篇文章 0 订阅
订阅专栏

昨天看到一篇营销软文，说 Jax 支持 Autograd 和 JIT.
我立即在群里直呼厉害！
群里一个小伙子立即说：torch.autograd 不是早就有了吗？
那么问题来了，这二者是不是一回事呢？
今天早早起来，翻阅了二者 github 主页，发现以下说法：

What is JAX?
JAX is Autograd and XLA, brought together for high-performance machine learning research.
From: https://github.com/google/jax#what-is-jax

我于是顺藤摸瓜，发现 Autograd 的超链接指向 HIPS/autograd 这个项目
在 HIPS/autograd 这个项目的 github 主页，我又发现了一段话：

Note: Autograd is still being maintained but is no longer actively developed. The main developers (Dougal Maclaurin, David Duvenaud, Matt Johnson, and Jamie Townsend) are now working on

chansonzhang
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python-JAX支持GPUTPU的NumPy包AutogradXLA面向高性能机器学习
08-11
JAX：支持GPU/TPU的NumPy包(Autograd/XLA)，面向高性能机器学习
JAX是Autograd和XLA的结合，用于高性能机器学习研究。-Python开发
05-24
Python + NumPy程序的可组合转换：区分，矢量化，JIT到GPU / TPU，以及更多JAX：Autograd和XLA 转型| 安装指南| 神经网络库| 变更记录| 参考文档| 代码搜索新闻：JAX突破了最大规模的MLPerf Training 0.7基准测试！ 什么是JAX？ JAX是Autograd和XLA的结合，用于高性能机器学习研究。 借助其Autograd的更新版本，JAX可以自动区分本机Python和NumPy函数。 它可以通过循环，分支，递归和闭包来区分，并且可以用d
探索新边界：将PyTorch无缝转换至JAX的torch2jax库
最新发布
gitblog_00012的博客
06-09 277
探索新边界：将PyTorch无缝转换至JAX的torch2jax库 项目地址:https://gitcode.com/samuela/torch2jax 在这个充满无限可能的深度学习领域，我们不断寻求优化模型性能的方法。最近，一个名为torch2jax的开源项目引起了我们的注意。这个创新性的工具允许你在JAX环境中运行PyTorch代码，为混合使用两种框架和充分利用它们的优势打开了新的大门。 项目...
TensorFlow会被JAX代替吗，使用JAX训练第一个机器学习模型
人工智能研究所的博客
04-29 742
虽然JAX并不是一个神经网络框架，但是随着JAX的发展，很多深度学习相关的研究也可以使用JAX来实现，本来tensorflow与pytorch 2个主流框架已经争的热火朝天，现在Google又加了一把火，让JAX进军深度学习。然后我们建立一个y=ax+b的一个线性函数，其中参数a是直线的一个斜率，b是直线在Y轴方向的移动参数，并使用random随机函数生成一个随机的X数据，这样我们就得到了一个完成的y=ax+b线性函数，我们可以使用matplotlib来显示此函数的曲线。使用JAX训练第一个机器学习模型。
Pytorch,Tensorflow Autograd/AutoDiff nutshells: Jacobian,Gradient,Hessian,JVP,VJP,etc
apache的专栏
02-21 1761
Autograd 和Jacobians,JVP,VJP,etc 详解Pytorch Autograd（vector-Jacobian product） https://zhuanlan.zhihu.com/p/65609544 矩阵求导术(上)(下) https://zhuanlan.zhihu.com/p/24709748 https://zhuanlan.zhihu.com/p/24863977 矩阵求导、几种重要的矩阵及常用的矩阵求导公式 https://blog.csdn...
JavaWeb服务:Axis2中的JAXB和JAX-WS
02-27
本文内容包括：Axis2中的JAXB在Axis2中使用JAX-WS结束语下载参考资料ApacheAxis2支持各种数据绑定技术，包括官方Java:trade_mark:标准JAXB2.x。Axis2还支持针对Web服务配置的Java标准JAX-WS2.x，作为其自有的配置...
madam:Madam优化器的Pytorch和Jax代码
05-23
Pytorch：获取并将其放置在您的项目目录中。 然后输入： from madam import Madam optimizer = Madam ( net . parameters (), lr = 0.01 , p_scale = 3.0 , g_bound = 10.0 ) 要了解不同的超参数的作用，请注意，...
JAX基本用法以及GCN实现
qq_45780715的博客
04-26 3201
JAX定位 JAX 不是一个深度学习框架或深度学习库，其设计初衷也不是成为一个深度学习框架或深度学习库。 JAX 的定位科学计算（Scientific Computing）和函数转换（Function Transformations）的交叉融合。深度学习只是 JAX 功能的一小部分。特色功能如下： 即时编译（Just-in-Time Compilation） 自动并行化（Automatic Parallelization） 自动向量化（Automatic Vectorization） 自动微分（A
只知道TF和PyTorch还不够，快来看看怎么从PyTorch转向自动微分神器JAX
zandaoguang的博客
05-16 488
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达本文转载自：机器之心说到当前的深度学习框架，我们往往绕不开 TensorFlow 和 PyTorch。...
jax安装
热门推荐
jacke121的专栏
02-14 1万+
jax安装 linux版本： https://github.com/google/jax To install a CPU-only version, which might be useful for doing local development on a laptop, you can run pip install --upgrade pip pip install --upgrade jax jaxlib # CPU-only version ...
『JAX中文文档』JAX快速入门
简明AI工作室
04-25 1万+
JAX快速入门 JAX是CPU，GPU和TPU上的NumPy，具有出色的自动区分功能，可用于高性能机器学习研究。 通过其更新版本的Autograd，JAX可以自动区分本机Python和NumPy代码。它可以通过Python的大部分功能（包括循环，if，递归和闭包）进行区分，甚至可以采用派生类的派生类。它支持反向模式和正向模式差分，并且两者可以任意顺序组成。 新功能是JAX使用XLA在诸如GPU和TPU的加速器上编译和运行您的NumPy代码。默认情况下，编译是在后台进...
arXiv 2015深度学习年度十大论文
weixin_34025151的博客
01-10 194
由康奈尔大学运营维护着的arXiv网站，是一个在学术论文还未被出版时就将之向所有人开放的地方。这里汇聚了无数科学领域中最前沿的研究，机器学习也包括在内。它反映了学术界当前的整体趋势，我们看到，近来发布的机器学习研究有许多都与深度学习有关。 Huho Larochelle博士是加拿大舍布鲁克大学（Université de Sherbrooke）机器学习教授，Twitter的研...
PyTorch 的 Autograd详解
zandaoguang的博客
09-28 714
↑ 点击蓝字关注视学算法作者丨xiaopl@知乎来源丨https://zhuanlan.zhihu.com/p/69294347编辑丨极市平台PyTorch 作为一个深度学习平台，在深...
AUTOGRAD: AUTOMATIC DIFFERENTIATION
u013049912的博客
03-09 741
PyTorch中所有神经网络的核心是autograd包。让我们先简单地看一下这个，然后我们来训练我们的第一个神经网络。 autograd包为张量上的所有操作提供自动微分。它是一个按运行定义的框架，这意味着您的反向传播是由代码的运行方式定义的，并且每个迭代都可以是不同的。 让我们用更简单的术语和一些例子来看看。 Tensor torch.Tensor是包的中心类。如果将其属性.require...
谷歌开源 TensorFlow 的简化库 JAX
cpongo5
12-15 183
开发四年只会写业务代码，分布式高并发都不会还做程序员？ >>> 谷歌开源了一个 TensorFlow...
二元交叉熵损失梯度推导
Young, Simple, Naive
12-01 1万+
二元交叉熵损失（logistic 损失）定义如下： Llogistic(y^,y)=−ylogy^−(1−y)log(1−y^) L_{\text{logistic}}(\hat{y},y) =-ylog\hat{y}-(1-y)log(1-\hat{y}) Llogistic​(y^​,y)=−ylogy^​−(1−y)log(1−y^​) 其中 y∈{0,1}y\in\{0,1\}y∈{0,1...
人类历史上第一个推荐系统
Young, Simple, Naive
12-27 6937
让我们把时间推回到28年前那个风雨交加的夜晚，在一个小破屋里，几个老男人捣鼓出了人类历史上第一个推荐系统——Tapestry
使用NLTK将自然语言查询转化为SQL查询
Young, Simple, Naive
11-21 6163
文章目录 假设我们有一个sql表，如下所示： City Country Population athens greece 1368 bangkok thailand 1178 barcelona spain 1280 berlin east_germany 3481 birmingham united_kingdom 1112 当我们要查找某个athens在哪个...
pycharm中如何安装JAX
06-04
在 PyCharm 中安装 JAX 有两种方式，以下是具体的步骤： 1. 在 PyCharm 中使用 pip 安装 JAX 在 PyCharm 的 Terminal 中运行以下命令，使用 pip 安装 JAX： ``` pip install jax jaxlib ``` 2. 在 PyCharm 中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值