windows上配置本地深度学习工作站 安装Anaconda、创建python环境、安装Jetbrains Toolbox、安装Pycharm、Professional/Community、安装cuda、安装cudnn、安装pytorch、配置环境变量、激活powershell的base环境
【代码学习】批量提取论文(pdf)的第一页 使用场景软件学报论文录用的收尾工作中,需要提交所有参考文献首页的电子版压缩包(以文献序号作为文件名),也就是说,我一篇综述论文90+篇文献,需要逐一找到这些文献的pdf原版(现存电脑中的已经被我批注过了),然后逐一提取出pdf的第一页,这两件事情中,第一件事情较为复杂(因为所需论文的发表期刊/会议需要与引用一致),而第二件更简单且更耗时,所以付诸于程序python批量提取pdf的第一页from PyPDF2 import PdfFileReader, PdfFileWriterimport os
【论文阅读】机器学习中原型学习研究进展 阅读目标寻找原型与偏差之间的关系了解原型学习的方法然后pick one阅后回答摘要动机:消除数据冗余、发现数据结构、提高数据质量方法:通过寻找一个原型集来表示目标集,以从样本空间进行数据约简分类:按照监督方式):分为无监督、半监督和全监督;按照模型设计,分为基于相似度、行列式点过程、数据重构和低秩逼近概念和意义概念:设有源集XXX和目标集YYY,目标是从XXX中找到一个原型集Ω\OmegaΩ,使得Ω\OmegaΩ能够最大程度地保持目标集YYY所蕴含的信息,如下图:直接看概念
【直觉建设】Transformer合辑 引言研究深度学习也有两年了,之前看transformer的论文,感觉完全看不懂,因此对transformer的理解都来自于网上的资源,印象比较深的是李宏毅-Transformer和Transformer 详解这两个资源,前者构建了我对自注意力的初始直觉,后者构建了我对整个模型架构的初步理解。然而,这些资源,学完之后总会有种隔靴搔痒的感觉,理解总是有些朦胧。这段时间佛系科研,又遇到了这些模型,准备重新从原文出发,构建出对transformer较为深入的直觉Transformer来自文章:2017-NIP
【直觉建设】归纳偏差与选择性偏差 文章目录归纳偏差选择性偏差两者区别适用情况常见的归纳偏差1. 正则项2. Batch Normalization和Layer Normalization3. 常见深度学习网络中的归纳偏差牢骚归纳偏差归纳偏差(Inductive biases)可以理解为一种先验或约束,他能够帮助我们在多个可能的模型中选择出一个。比如奥卡姆剃刀原则,他指示我们,在多个模型都符合条件时,我们选择最简单的那个正则项(regularization term)可以看作是在奥卡姆剃刀原则下指导的一个表现,我们想要选择最简单的那个模