深度学习-理论与实战
文章平均质量分 68
ichdream
这个作者很懒,什么都没留下…
展开
-
【GPT系列-从理论到实践】Improving Language Understanding by Generative Pre-Training
为什么要有这片研究成果呢?之前的方法有什么困难,在NLP领域的各个任务上有什么不足?这段文字强调了从原始文本中有效地学习的能力对于减轻自然语言处理(NLP)中对监督学习依赖的重要性。大多数深度学习方法需要大量手动标注的数据,这限制了它们在许多因缺乏标注资源而受限的领域的适用性。在这些情况下,能够利用无标签数据中的语言信息的模型为收集更多标注提供了一种有价值的替代方案,因为收集标注可能既耗时又昂贵。此外,即使在监督较多的情况下,以无监督的方式学习良好的表示也可以显著提高性能。原创 2023-04-07 15:00:40 · 346 阅读 · 0 评论 -
【GPGPU编程】GPGPU架构剖析之谓词寄存器
我们知道CPU可以控制程序的条件执行,GPGPU也支持线程的条件执行,但是条件执行语句等对整体的计算性能影响比较大,为了尽可能提升GPGPU整体的计算吞吐量,在GPGPU内部集成了谓词寄存器。原创 2023-04-06 10:00:35 · 809 阅读 · 1 评论 -
【GPGPU编程】GPGPU内部的可编程处理器,可编程体现在哪里?
综上所述,GPGPU内部的可编程多处理器(SM)具有高度可编程性,允许开发者编写自定义的并行程序,实现各种图形渲染和通用计算任务。这种可编程性体现在支持可编程着色器、并行编程模型、动态调度和高级功能支持等方面。我们一般称GPGPU的核心是可编程多处理器,在NVDIA中称为流处理器,即Streaming Multiprocessor, SM,在AMD的架构中称之为计算单元,即Compute Unit, CU。可编程着色器:现代GPU架构支持可编程着色器,如顶点着色器、几何着色器、片段着色器和计算着色器等。原创 2023-04-05 22:07:34 · 224 阅读 · 0 评论 -
【GPGPU编程】核心概念blockIdx和blockDim区别和联系
而线程网格是由线程块组成,其数量有gridDim来指定。线程块是线程的集合,其数量由blockDim来指定。我们在编程时会通过blockIdx和blockDim和数据的索引index来建立映射。线程网格是最大的线程范围,它包含了主机代码在启动内核函数时所涉及到的所有线程。在GPGPU的架构中,有两个核心概念:blockIdx和blockDim。这两个有什么区别和联系呢?原创 2023-04-04 13:33:21 · 389 阅读 · 0 评论 -
【工具强化】Jupyter Notebook插件
这一篇,我们来争强jupyter notebook的功能,使得这个工具可以帮我们更加高效地工作。在前一章,我们已经安装好了jupyter noteboo,并且配置了远程访问的功能。再次在服务器上启动jupyter notebook。在客户端重新刷新页面,就可以看到很多插件选项了。需要在服务区上启动某些插件。通过运行以上三个命令安装。原创 2023-03-25 19:29:52 · 148 阅读 · 0 评论 -
【实战debug】jupyter notebook远程访问设置
服务器上配置jupyter notebook以后台服务进程方式启动,默认启动时不调用服务器端的浏览器。在客户端浏览器中输入服务器ip+port来登陆jupyter notebook服务。以上设置完成后,就可以在服务器上启动 jupyter notebook。设置为True,默认时False,且被#注释了。,设置启动notebook时默认不打开浏览器。设置为’*',默认是"localhost"的交互式shell中,输入命令。环境中生成的密码hash值。原创 2023-03-25 18:01:37 · 556 阅读 · 0 评论 -
深度学习,从理论到实践
笔者从2015年就开始入局机器学习,深度学习,那时候,基于机器学习的各项比赛如火如荼,2015年,AplhaGo大战李世石,揭开了人工智能走向大众的序幕。如果,2023年,OpenAI的ChatGPT,尤其是GPT3.5之后的大模型技术能力更是惊人,写代码,写文章,给建议,翻译等各项任务无所不能。原创 2023-03-25 17:14:55 · 57 阅读 · 0 评论