机器学习深度学习
文章平均质量分 71
keith_VV
这个作者很懒,什么都没留下…
展开
-
论文阅读/中文记录,材料机器学习:Data-driven based phase constitution prediction in high entropy alloys
【背景】高熵合金(HEA)因其优异的材料性能和近乎无限的设计空间而吸引了越来越多的研究。开发有效的相组成预测方法对于新型 HEA 设计非常重要。【机器学习作用】机器学习(ML)作为一种有效的数据驱动方法,为 HEA 的相位预测提供了一种可能的方法,【本文目的】但是,缺乏对各种 ML 模型的有效性和差异的澄清。【主要内容】本文收集了800多个HEAs物相数据,总结了16个特征。使用各种机器学习模型来训练和预测相组成。结果表明,【结果1】原创 2023-12-09 15:37:55 · 1115 阅读 · 1 评论 -
B站视频“多模态大模型,科大讯飞前NLP专家串讲”记录
融合文本和图像的特征 --》 最后做二分类任务,此处的二分类需要输入的负样本较难(即与正样本难以区分),所以此处的负样本是在第一个中对比学习中分类分错的。对于文本生成模型,也将正确的样本传入进行再训练,然后对未知文本的图像进行生成文本,然后扔到匹配模型里判断是否匹配,如果不匹配则扔掉,最后的数据集里包括的则是原来的正确数据集和预测后的匹配图像文本对。对于图文匹配的模型,将正对的文本对传入再进行训练,使模型更正确,然后将弱监督对传入,判断是不是匹配,如果不匹配,则抛弃。表示人工标注好的,正确匹配的,原创 2023-10-13 22:20:49 · 716 阅读 · 0 评论 -
Diffusion Model论文/DALL E 2
Diffusion Model – 扩散模型21火爆了能做什么?去噪、基于文字生成图像DALL·E 2:输入文字描述,能够生产图像GAN – 生成式对抗网络。原创 2023-10-13 15:09:15 · 186 阅读 · 0 评论 -
大模型/LLM的涌现能力
涌现: 许多小实体相互作用产生了大实体,大实体展现了组成它的小实体所不具有的特性大语言模型的规模效应:下游任务表现-伸缩法则&&涌现能力左侧任务:随着参数规模增大,知识的增长,效果越来越好右侧任务:涌现能力的一种体现,在参数规模小的时候体现一种随机性,看不出来有没有效果。大部分是由多步构成的一个复杂任务随着模型推大,效果一开始下降,当规模再增大时会上升,原因未知,但是这类任务加入COT就会转化为伸缩法则,效果持续上升。大模型的涌现,很多任务在小规模上不能实现,但是大规模上能做。原创 2023-10-11 13:28:22 · 646 阅读 · 0 评论 -
Post-LN, Pre-LN, Sandwich-LN
文章目录Post-LN, Pre-LN, Sandwich-LN层之间的信息流动 & 层之间的耦合区别Post-LN, Pre-LN, Sandwich-LNPost-LN(后归一化):在Post-LN中,归一化操作是在每个层的计算之后进行的。具体而言,输入首先通过一个层,然后进行归一化操作,最后再传递到下一个层。这种方式可以保持层之间的信息流动,并且在训练过程中可以更好地控制梯度的传播。Pre-LN(前归一化):与Post-LN相反,Pre-LN中的归一化操作是在每个层的计算之前进行的。在原创 2023-09-17 19:43:22 · 1001 阅读 · 0 评论 -
梯度消失解释及简单举例
梯度消失原创 2023-09-11 17:48:09 · 1380 阅读 · 0 评论 -
UC irvine ML新版网站数据集使用/pd.read_csv读取数据/openml网站数据集
UC Irvine Machine Learning 网站数据集如何使用pd.read_csv()读取,openml网站数据集读取原创 2023-08-18 22:17:28 · 803 阅读 · 0 评论 -
文本分析,特征提取:停用词、jieba分词、使用提取的特征进行训练
文本分析,特征提取原创 2023-08-11 18:13:39 · 96 阅读 · 0 评论 -
数据维度和样本数量,当二者关系发生变化时的影响,数据维度过高时造成的问题
然而,如果维度太低,可能会导致过拟合,模型在训练数据上表现良好,但在新数据上表现不佳。在高维数据中,模型可能更容易过拟合训练数据,即在训练数据上表现得很好,但在新数据上表现不佳。在实际应用中,应根据数据集的特点和问题的需求来确定合适的数据维度和样本数量。高维数据会导致计算复杂性的显著增加。例如,计算特征之间的距离、相似性或相关性时,随着维度的增加,计算量呈指数级增加,从而导致效率下降。高维数据中的样本分布可能变得非常稀疏,这意味着相同数量的样本在高维空间中会变得稀疏,从而使数据分析和模型训练变得更加困难。原创 2023-08-05 21:39:56 · 2007 阅读 · 1 评论 -
K-近邻算法(knn算法)API参数介绍
方法是sklearn库中K近邻算法的分类器实现,它有一些可调参数用于调整模型的行为。原创 2023-08-05 19:43:48 · 553 阅读 · 1 评论 -
学习记录【GPT\自然语言\强化学习\diffusion技术\小样本\零样本\持续学习】
GPT是Generative Pre-trained Transformer的缩写,是一种基于Transformer的神经网络模型,由OpenAI开发。它是一种语言模型,可以自动生成自然语言文本,如文章、对话等。GPT模型的训练采用了预训练和微调两个阶段。在预训练阶段,GPT使用了大量的未标记数据,例如互联网上的文字内容,来训练模型。这使得模型能够学习到一些常见的语言模式、词汇、句法和语义知识等。原创 2023-06-27 15:54:53 · 252 阅读 · 0 评论