人工智能
文章平均质量分 70
机器学习,深度学习,大模型
玖玖玖_violet
某985在读研究生,学习ing
展开
-
Few-Shot, Zero-Shot & One-shot
效果没有超过 bert,又想发 paper,就把自己的卖点定义为 zero-shot(方法创新),即完全的无监督学习,论文的题目:Language Models are Unsupervised Multitask Learners。效果比 bert 好,不用找学术方法的卖点了,而且,zero-shot 做产品的性价比确实不高,换成了 few-shot,也就是找了一些人做标注。Few-Shot, Zero-Shot & One-shot 的通俗理解 - JackonYang的文章 - 知乎。原创 2024-04-18 14:31:16 · 733 阅读 · 0 评论 -
大模型概述
AI大模型是通过深度学习算法和人工神经网络训练出的具有庞大规模参数的人工智能模型。这些模型使用大量的多媒体数据资源作为输入,并通过复杂的数学运算和优化算法来完成大规模的训练,以学习和理解到输入数据的模式和特征。这些模式和特征最终通过大模型中庞大的参数进行表征,以获得与输入数据和模型设计相匹配的能力,最终来实现更复杂、更广泛的任务,如语音识别、自然语言处理、计算机视觉等。大模型的训练过程是根据大量的输入数据,通过算法调整模型中庞大的参数来优化模型性能。原创 2023-12-04 11:58:16 · 1715 阅读 · 0 评论 -
深度学习的数值问题
山峰的顶点就是一个局部最大值点,而山谷的底部则是一个局部最小值点。然而,在山谷的侧面,有一个点既不是山峰的顶点,也不是山谷的底部。这个点就类似于一个鞍点,因为从这个点出发,一个方向上是山谷的底部,而另一个方向上是山峰的顶点。在顶点处,函数的导数为零,并且二阶导数为负(对于最高点)或正(对于最低点)。在鞍点处,函数的一阶导数为零,但二阶导数既不为零也不是正负。临界点:在数学中,临界点是指函数的导数为零或者不存在的点。拐点:拐点是指函数的曲线在该点处由凹变凸或由凸变凹的点。驻点:驻点是指函数的导数为零的点。原创 2023-09-09 14:04:03 · 401 阅读 · 0 评论 -
基于V100下Llama2-Atom大模型微调
本文–include localhost:0,1,2,3,4,5,6,7。原子大模型Atom在Llama2的基础上,采用大规模的中文数据进行持续预训练,包含百科、书籍、博客、新闻、公告、小说、金融数据、法律数据、医疗数据、代码数据、专业论文数据、中文自然语言处理竞赛数据集等,详见📝 数据来源。通过PEFT加载预训练模型参数和微调模型参数,以下示例代码中,base_model_name_or_path为预训练模型参数保存路径,finetune_model_path为微调模型参数保存路径。原创 2023-11-21 11:44:42 · 1049 阅读 · 0 评论 -
谈谈召回率(R值),准确率(P值)及F值
https://zhuanlan.zhihu.com/p/93586831原创 2023-08-16 15:23:59 · 1371 阅读 · 0 评论 -
机器学习部分知识点总结
线性回归是用来预测连续变量的,其取值范围(-∞,+∞),而逻辑回归模型是用于预测类别的,例如,用逻辑回归模型预测某物品是属于A类还是B类,在本质上预测的是该物品属于A类或B类的概率,而概率的取值范围是0~1,因此不能直接用线性回归方程来预测概率,此时就涉及到Sigmoid函数,可将取值范围为(-∞,+∞)的数转换到(0,1)之间。这里,已知的属性称之为特征,未知的属性称之为目标。学习的目的是学到隐含在数据背后的规律,对具有同一规律的学习集以外的数据,经过训练的网络也能给出合适的输出,该能力称为泛化能力。原创 2023-09-04 10:52:51 · 680 阅读 · 0 评论 -
L0,L1,L2范数(双竖线,有下标)
概念:”范数是具有“长度”概念的函数。在向量空间内,为所有的向量的赋予非零的增长度或者大小。不同的范数,所求的向量的长度或者大小是不同的。举个例子,2维空间中,向量(3,4)的长度是5,那么5就是这个向量的一个范数的值,更确切的说,是欧式范数或者L2范数的值。||w||带一个下标2 的意思是这个该向量的范数为欧几里得范数,设w=, ||w||_2=x1。2+x3^2 的开根号。(||w||_2)^2 的意思是w的欧几里得范数的平方,也就是(||w||_2)原创 2023-08-23 15:29:59 · 743 阅读 · 0 评论 -
机器学习——归纳学习
概念从多个具体的事实出发,很好的说明这些知识的学习。股票的预测(归纳学习的实现方法)学习数据:十个公司股价对此公司股价的影响,1上升,0下降.教师数据:此公司的股票上升或下降.基于生成和测试的方法求得模式:采用某种方法生成问题的候补解,本例中就是生成随机的学习数据 教师数据,eg.0 0 1 0 1 1 0 1 0 1 1 ,将之与问题的条件对照起来选取良好的解。然后...原创 2019-03-28 23:21:08 · 1618 阅读 · 1 评论