GitHub 热榜:天才黑客开源新项目,不到 1000 行代码,1400 Star!

满足对神经网络的需求

一个不错的 autograd 张量库可以满足你对神经网络 90%的需求。从 tinygrad.optim 添加优化器(SGD、RMSprop、Adam),再编写一些 minibatching 样板代码,就可以实现你的需求。

示例如下:

from tinygrad.tensor import Tensorimport tinygrad.optim as optimfrom tinygrad.utils import layer_init_uniform

class TinyBobNet: def init(self): self.l1 = Tensor(layer_init_uniform(784, 128)) self.l2 = Tensor(layer_init_uniform(128, 10))

def forward(self, x): return x.dot(self.l1).relu().dot(self.l2).logsoftmax()

model = TinyBobNet()optim = optim.SGD([model.l1, model.l2], lr=0.001)

… and complete like pytorch, with (x,y) data

out = model.forward(x)loss = out.mul(y).mean()loss.backward()optim.step()

支持 GPU

tinygrad 通过 PyOpenCL 支持 GPU。但后向传播暂时无法支持所有 ops。

from tinygrad.tensor import Tensor(Tensor.one

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值