Tinygrad是hacker大佬GeoHorz开源的深度学习框架。然而,它特别的地方在于,George分享了很多他在编写TInygra过程中的相关视频,真的可以让大家知其然,知其所以然。并且,在每一个视频中,George都实现了一些清晰的milestone。
我们来缕一下每个视频他所做的工作
1.MNIST classifier from numpy scratch!_哔哩哔哩_bilibili
在该视频里,他尝试了使用pytorch和自己写的基于numpy的推理框架,用于MNIST字体识别。
2.tinygrad and more neural networks from scratch_哔哩哔哩_bilibili
在该视频里,也就是上次直播的一天后,他已经写好了tinygrad的初版代码。在该视频里,他手写了adam,进一步优化和重构代码。最后的gradient check没有完成haha
3.tiny efficientnet is recognize cat_哔哩哔哩_bilibili
在该视频里,他首先尝试了一下efficientnet用于识别物体的效果(看起来非常准确)。然后,他又开始使用尝试基于opencl利用GPU进行运算加速。
4.investigating voter fruad_哔哩哔哩_bilibili
待续。。。