![](https://img-blog.csdnimg.cn/20190927151124774.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
笔记
人工智能笔记
andeyeluguo
这个作者很懒,什么都没留下…
展开
-
解释文本向量化的原理
4. 特征向量标准化(Feature Vector Normalization):在某些情况下,可以对特征向量进行标准化处理,以消除不同文本长度和特征尺度之间的差异。首先,对于给定的文本样本,计算每个单词在文本中的出现次数(词频)。通过将文本转换为向量表示,我们可以将其输入到机器学习模型或其他算法中进行进一步的分析和处理,如文本分类、情感分析、信息检索等。然后,将文本样本中出现的单词对应的索引位置设置为 1。在自然语言处理(NLP)中,文本向量化是一种常用的技术,用于将文本表示为计算机可以处理的形式。原创 2024-01-09 22:29:44 · 829 阅读 · 0 评论 -
gradient_checkpointing
在训练深度神经网络时,反向传播算法需要在前向传播和反向传播之间存储中间计算结果,以便计算梯度并更新模型参数。需要注意的是,梯度检查点技术在减少内存消耗的同时,会导致额外的计算开销。因此,在决定使用梯度检查点时,需要权衡内存消耗和计算开销之间的折衷。梯度检查点技术通过在前向传播期间临时丢弃一些中间结果,仅保留必要的信息,以减少内存使用量。在反向传播过程中,只需要重新计算被丢弃的中间结果,而不需要存储所有的中间结果,从而节省内存空间。然后,在反向传播过程中,这些层将重新计算其所需的中间结果,以便计算梯度。原创 2024-01-09 21:54:21 · 1109 阅读 · 0 评论 -
什么是OOM error
当程序尝试使用超过其可用内存的量时,操作系统会发送OOM信号,通知程序无法继续分配所需的内存。它通常发生在计算机程序执行过程中,当程序需要更多内存空间来执行操作,但系统没有足够的可用内存时,就会触发OOM错误。3. 调整程序的内存限制:对于某些应用程序,可以通过配置参数或设置环境变量来调整程序所允许使用的内存限制。1. 优化程序的内存使用:检查程序是否存在内存泄漏或不必要的大内存分配,确保及时释放不再使用的内存。4. 使用更高效的算法或数据结构:优化程序的算法和数据结构,以减少内存使用量。原创 2024-01-09 21:48:08 · 402 阅读 · 0 评论 -
lean的一些资源
国内研究lean的相对也少,介绍一下。原创 2022-12-30 16:18:19 · 652 阅读 · 0 评论 -
isabelle官网
现在是下载完之后不知道怎么运行,也不知道是什么语言写的,打算转lean了,国内这方面资料太少了,有空写个中文的。isabelle不知道是干嘛的,做atp的,官网为。原创 2022-12-30 11:00:52 · 222 阅读 · 0 评论 -
arm的架构和其他
add_compile_definitions(a)类似于define a-march= armv7-a-mfloat-abi=softfp (soft, softfp,hard)-mfpu=neon-vfpv4 (fpa, fpe2, fpe3, maverick,...neon, neon-fp16)参考资料ARMCC和GCC编译ARM代码的软浮点和硬浮点问题原创 2021-07-20 18:33:33 · 94 阅读 · 0 评论 -
如何轻量化深度学习模型
概述卷积神经网络依靠神经网络中数以千万计的网络参数共同参与计算,存在网络结构复杂,运算量大,速度慢的缺点,并且很难移植到嵌入式设备中。随着网络模型层数越来越深,参数越来越多,减少他们的大小和计算损耗至关重要,特别是对于在线学习和增强学习这样的实时应用来说。不仅如此,近年来 VR,AR 以及智能可穿戴设备的高速发展,需要研究者们解决将大规模学习系统部署到移动设备上的问题。而达到这个目标需要从很多方面获取整合的解决方案,包括但不限于机器学习,优化方法,计算机结构,数据压缩,索引和硬件设计。这是一个重要且十分活.原创 2020-05-25 10:33:37 · 5787 阅读 · 1 评论 -
2020-05-25
加微信获取更多论文地址:http://arxiv.org/pdf/1904.06373v3.pdf代码:https://github.com/cccorn/ap-loss.来源:上海交通大学论文名称:Towards Accurate One-Stage Object Detection with AP-Loss原文作者:Kean Chen单阶段目标检测器存在严重的前、后目标不平衡问题,主要是由于单阶段目标检测器通过同时优化分类-损失和定位-损失来训练,而anchor的数量很大造成的。为解决这一问原创 2020-05-25 10:30:26 · 104 阅读 · 0 评论