走向星辰大海
文章平均质量分 62
风不过是摇摆的迟疑
一个有梦想的赎罪者
展开
-
车间流水线调度算法——模拟退火
【代码】车间流水线调度算法——模拟退火。原创 2023-12-11 10:17:37 · 527 阅读 · 1 评论 -
Continual learning of context-dependent processing in neural networks
OWM本质是一种正则化方法,是在新的学习任务与旧的学习任务之间的一个平衡,因为总的模型复杂度是固定的所以在学习新任务的时候用来保存旧的学习的知识的资源是固定的有上限的。假设所有学习任务的样本数据是一个输入空间,则在一个新的学习任务时,将误差都到已经学过的那部分数据所在的子空间,那么投影后的误差用来更新网络参数时不影响这么参数在已完成的学习任务的应用。深度神经网络能够学习出输入输出之间的复杂的映射规则,但是这个规则是固定的,不能够学习出多种场景下的不同的映射规则并根据场景的采用这些规则。原创 2023-10-04 18:15:46 · 141 阅读 · 1 评论 -
《A Survey of Large Language Models》notes
与自然语言生成不同,生成的代码可以通过相应的编译器或解释器执行来直接检查,现有的工作主要通过计算测试用例的通过率来评估LLM生成代码的质量,即pass@k. (给定 LLM 生成的 k 个程序,当至少一个程序通过所有测试用例时,pass@k 计算为 1,否则0)大型语言模型(LLM):在大型的PLM的基础上,其通常会表现出和一般的PLM不同的性能,在任务上展现出不同的能力。基于统计的过滤:可以利用语料库的统计特征,例如标点分布、符号与词语的比率以及句子长度,来衡量文本的质量,并过滤低质量的数据。原创 2023-09-15 16:14:18 · 223 阅读 · 0 评论