算法研究员-CSDN博客

原创【随笔】自己看的... 保存

视频：https://www.youtube.com/watch?优秀的博主，讲深度学习： https://www.youtube.com/watch?课程：https://www.pair.toronto.edu/csc2547-w21/从点云到NeRF，多伦多大学CSC 2547课程全面讲解3D计算机视觉。youtube上有许多比较优秀的视频。........................

2022-08-10 14:07:58 699

原创【李宏毅2022 机器学习春】汇总

李宏毅2022 机器学习春课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2022-spring.php

2022-02-21 19:25:59 2432

原创【李宏毅2021机器学习深度学习】作业讲解 & 笔记收藏 & 课程主页

文章目录大佬代码参考

2021-12-08 20:48:02 6776

原创炼丹琐碎知识点

文章目录pin_memorypin_memory

2021-12-06 00:09:15 336

文章目录2018awesome-point-cloud-analysis – 从2017年到现在的点云论文点云相关资料收集 – 相关课程？2018[CVPR] FoldingNet: Point Cloud Auto-encoder via Deep Grid Deformation. [code] [cls.]In this work, a novel end-to-end deep auto-encoder is proposed to address unsupervised lear

2021-10-21 06:51:51 388

原创【PyTorch官方教程】QUICKSTART

import torchfrom torch import nnfrom torch.utils.data import DataLoaderfrom torchvision import datasetsfrom torchvision.transforms import ToTensor, Lambda, Composeimport matplotlib.pyplot as plt# Download training data from open datasets.training_d

2021-04-19 15:54:25 471

原创【学位论文写作】参考文献格式问题

我的问题什么时候引用格式，硕士论文不是会议[C] 就是期刊 [J]举例

2024-08-19 15:11:37 191

原创【代码片段】混合精度训练，免费提升你的训练速度 | Automatic Mixed Precision

文档：https://pytorch.org/docs/stable/amp.html。

2024-08-19 00:44:49 114

原创【深度学习教程】

https://datawhalechina.github.io/thorough-pytorch

2024-08-19 00:32:07 398

原创【代码片段】理解[自回归]注意力

视频from： https://www.youtube.com/watch?标准化 a，实现了前1，2，3,…Softmax 之后，变回来了。将变量注册到缓存区，更快，不想那么 one-hot。访问：self.tril。自回归，生成掩码方式。

2024-08-19 00:00:00 342

原创【常用软件】

2024/08/18，破解成功。

2024-08-18 23:14:41 214

原创【LLM入门】Let‘s reproduce GPT-2 (124M)【完结，重新回顾一下，伟大！】

保存模型，不止模型参数。

2024-08-18 14:11:52 294

原创【LLM入门】Let‘s reproduce GPT-2 (124M) |Section3 训练和评估你的大模型【大模型训练技巧！！超参数，学习率，batchsize，梯度累计，DDP，评估】

from视频：https://www.youtube.com/watch?记住：每个进程知道的只有 ddp_rank,ddp_world_size, ddp_rank==0是主进程！gpu ddp全用上就是快，1.5 million tokens / sec。听Andrej Karpathy讲优化过程，有点哲学！初始化：你必须考虑同时8个节点运行这一段逻辑！468,654次观看 2024年6月10日。8个节点拥有的不同，只是ddp_rank。改变 dataloader。手写学习率改变函数。

2024-08-18 13:54:30 500

原创【LLM入门】Let‘s reproduce GPT-2 (124M) | Section2 加快你的模型训练【混合精度训练，模型编译，flash attention，2的幂】

视频from：https://www.youtube.com/watch?gpu默认，时间：1000ms【第一次比较慢，初始化一些】一行代码就可以加速/启用！【tf32，提升3倍！不同数据类型所能获得的计算量。每秒处理多少个token？

2024-08-17 03:09:52 267

原创【LLM入门】Let‘s reproduce GPT-2 (124M) | 从零复现GPT2（Section 1） | Andrej Karpathy

使用hugging face 的transformer库，pytorch【学习代码，参考hugging face，非常多模型！用jupyter调试，然后再把code搬到py文件中！openai的gpt2 是 tensorflow写的。465,246次观看 2024年6月10日。forward 顺便返回 loss。随机初始化的损失，

2024-08-16 17:50:41 832

原创【扩散模型入门教程】

improved-diffusion，openai代码：https://github.com/openai/improved-diffusion。Stable Diffusion: Prompt Guide and Examples【Stable Diffusion：提示指南和示例】DDPM 从零实现代码：https://huggingface.co/blog/annotated-diffusion。

2024-08-15 18:46:49 143

原创【LLM入门】Building makemore Part 5: Building a WaveNet

from视频： https://www.youtube.com/watch?但是在pytorch中，C是第1维度！

2024-08-12 23:49:52 319

原创【LLM入门】Building makemore Part 3: Activations & Gradients, BatchNorm

对神经网络参数进行初始化，损失函数不再是曲棍球棒【参数初始化的重要性！检查值的分布，梯度的感知！【神经元激活，死亡？282,558次观看 2022年10月5日。加上 bngain和偏移bnbias。只在训练时用，测试不用。

2024-08-12 00:10:32 464

原创【教程-时间序列预测】PyTorch 时间序列预测入门

from博客: https://zhajiman.github.io/post/pytorch_time_series_tutorial/#%E9%AB%98%E7%BA%A7%E6%96%B9%E6%B3%95%E8%87%AA%E5%9B%9E%E5%BD%92%E6%A8%A1%E5%9E%8B。数据集产生窗口也是难点！

2024-08-05 22:30:52 304

原创【论文收集】

CVPR 2024 论文分类：https://github.com/52CV/CVPR-2024-Papers#25。

2024-08-04 23:42:19 125

原创【目标检测】2020 ECCV， detr，端到端目标检测，36行代码完成目标检测

视频讲解 DETR 论文精读【论文精读】:https://www.bilibili.com/video/BV1GB4y1X72R。github提供教程: https://github.com/facebookresearch/detr。

2024-08-01 00:33:52 209

原创【3D 重建】NeRF，3D Gaussian Splatting

3,372次观看 2023年10月17日 #ai繪圖 #ai #assassinscreed來開一個新系列，講講一個computer vision 中很經典而且重要的題目，3D 重建 (3D reconstruction)。這幾年3D reconstruction技術上有革命性的進展，這個技術就是 Neural Radiance Field ，簡稱 NeRF。

2024-07-25 12:02:31 435

原创【论文速读#190】最新AI方向BiFormer做了什么？如何改进Transformer？【分块，降低计算量和内存占用量】

from: https://www.youtube.com/watch?v=EsQba3t7Qnk

2024-07-22 17:56:00 219

原创【论文速读#189】Clip DIY？不用训练的AI，2024最新趋势！【For-Free，拼凑其他人的模型完成某任务！】

消融实验：objectness最重要。Found的其他方法。

2024-07-22 17:41:17 339

原创【深度学习教程】

文章目录李宏毅-机器学习/深度学习https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.phphttps://speech.ee.ntu.edu.tw/~hylee/ml/2022-spring.phphttps://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phphttps://speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.php李宏毅-机器学习/深度学习https

2024-07-17 18:06:18 308

原创【Diffusion学习】李宏毅2023 HW6 Diffusion Model【未完】

hw6解析：https://blog.csdn.net/weixin_42426841/article/details/139814219。课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.php。

2024-07-16 17:51:27 121

原创【Hugging Face系列教程】Train a diffusion model 训练扩散模型【DDPM，最原始的diffusion版本】

,),

2024-07-16 16:12:05 329

原创【Diffusion学习】【生成式AI】Diffusion Model 原理剖析 (2/4) (optional)【公式推导】

文章目录影像生成模型本质上的共同目标【拟合分布】Maximum Likelihood EstimationVAE影像生成模型本质上的共同目标【拟合分布】Maximum Likelihood EstimationVAE

2024-07-15 23:53:24 220

原创【Diffusion学习】【生成式AI】Diffusion Model 原理剖析 (1/4) (optional)【Training 和 Inference详细流程】

from: https://www.youtube.com/watch?v=ifCDXFdeaaM&list=PLJV_el3uVTsNi7PgekEUFsyVllAJXRsP-&index=4

2024-07-15 23:36:13 116

原创【Diffusion学习】【生成式AI】淺談圖像生成模型 Diffusion Model 原理

86,530次观看 2023年3月25日【機器學習 2023】(生成式 AI)感謝黃敬峰先生提供字幕。

2024-07-15 23:19:54 298

原创【Diffusion学习】【生成式AI】Stable Diffusion、DALL-E、Imagen 背後共同的套路

from: https://www.youtube.com/watch?v=JbfcAaBT66U&list=PLJV_el3uVTsNi7PgekEUFsyVllAJXRsP-&index=5简介：

2024-07-15 16:34:09 537

原创【深度学习李宏毅】【機器學習2021】概述增強式學習 (Reinforcement Learning, RL) (一) – 增強式學習跟機器學習一樣都是三個步驟

from视频: https://www.youtube.com/watch?

2024-07-15 00:54:46 381

原创【深度学习教程】元学习教程，meta learning

https://cs330.stanford.edu/

2024-07-14 16:30:38 88

原创【论文视频速度】phD. vlog

文章目录生物信息的文章好发吗？是不是一个好专业？专业解读！【好发，模型简单，但是需要专业的领域知识，可以找人合作】ChatGPT AI做高考题，能打败多少人？能考上一本吗？这篇论文告诉你！【GAOKAO Benchmark，文科属性的文章，直接看结论就可以了（让chatGPT给你总结）】世界上最简单水论文思路！学不会无法毕业！UNet怎么玩出花？【UNet+transformer双分支拼起来就可以了，需要局部和全局信息，改进Unet分割性能！】把AI模型套娃会怎样？效果拔群！精细图片分割算法U2Net是什么

2024-07-10 17:16:34 384

2020蓝桥杯A组省赛第十一届蓝桥杯大赛软件类省赛第三场C/C++ 大学 A 组.pdf

空空如也