- 博客(12)
- 收藏
- 关注
原创 Datawhale AI 夏令营 AI+逻辑推理 Task04总结
规划部分,主要涉及到推理的内容,而推理可以通过多种提示方法来引发和增强LLM的推理能力。总体来说,一个好的模型比微调做的很多努力要好很多,不过对于接下来的比赛而言,更重要的是学会对模型进行微调(Docker不允许提交参数过多的模型,同时也不允许调用模型的API)。Docker是一个开源的应用引擎,可以用来管理自己的应用部署,其可以支持很多种应用例如Web应用、大数据应用、数据库应用等。A.使用另外一个Agent训练对结果的打分,原来的Agent需要同时给出理由,根据Agent的反馈结果给到最高分。
2024-08-03 21:37:10
686
原创 Datawhale AI 夏令营 AI+逻辑推理 Task03总结
这是一个通过时间换空间的优化措施,它将多个Batch训练数据的梯度进行累积,在达到指定累积次数后,使用累积梯度统一更新一次模型参数,以达到一个较大Batch Size的模型训练效果。在深度学习中,其在模型训练过程中更新权重的速度与方向。由于在模型微调的过程中,很可能会出现模型的参数量过多,导致超过平台的最大内存,因此,我们需要在运行过程中手动清理内存(采用逐个cell运行的方式)。引入一个低秩矩阵,让模型能够进行增量微调,在不改变原有梯度的情况下,引入AB两个参数,通过调节其学习率从而实现微调的效果。
2024-08-02 17:27:30
748
原创 我的创作纪念日(512天)
这一个学期,经过了算法竞赛的拷打,从华为软件精英挑战赛 ,到蓝桥杯,有过挫折,也有过喜悦(更多的还是在没有AC题目中的状态)。蓝桥杯的国三,也算是见证我有一定的实力(虽然还远远不足以和ICPC区域赛甚至Final的大佬们来比)然而,面对大学生就业难的问题,当前的技术水平仍然不足以应对市场上的需求。目前还是0项目经验,这也是在求职上比较占劣势的地方。毕竟,计算机这一个行业,真的蛮卷的。
2024-08-01 09:28:53
187
原创 Datawhale AI 夏令营 AI+逻辑推理 Task02 总结
于是,找到了代码的这一行。由于是第一次使用大模型,关于token之类的没有太多的关注。从模型上来看,带有instruct的模型,或者说标明的参数越多的服务会更加的好,参数多的表现性能可能会更好(好模型还是要留在最后上分时使用滴!在一个时刻,我们如果有太多的指令需求要处理,如果还是按照单线程(正常指令的处理方式,即一个一个去处理),那么就会降低处理效率,导致处理速度过于缓慢。因为在答案的填写过程中,有一部分题目的答案是缺失的(即大模型也不清楚答案),所以这个时候需要用蒙的策略(毕竟是选择题),填入答案。
2024-07-30 10:24:59
974
原创 Datawhale AI 夏令营 AI+逻辑推理 Task01总结
4.推理阶段: 在测试或应用阶段,模型接收新的问题和选项,将其转换为相应的向量表示,然后通过模型进行预测,得到每个选项的得分或概率分布,最后选择得分最高的选项作为答案。【注:①词袋模型:将文章以词为基础进行切分,将每一篇文章看成一袋子的单词(即单词集合,忽略顺序),将文章表示为一个向量,每一维代表一个单词,权重为重要程度。对于给的Baseline而言,我们发现它并不需要给的训练数据而是直接输出,是因为它所背后的做题逻辑为通义千问给的大模型训练模型,因此直接调用相关模型即可。
2024-07-26 10:50:27
474
原创 Datawhale AI 夏令营 自然语言处理 Task03总结
作为对他即将出版的著作的一个预览,他给出了从自己一身经历总结出的几个忠告 -- 告诫我们奇迹和创造力是科学生活的中心。(摄于 TEDMED)经过上一次的Task02的Baseline代码之后,我们得到的得分为3.9088(比原来要好很多,但还有不足)。②此外,在原数据中,我们能够看到有比较隐性的脏数据(括号内加以注释的),这一些也会对机器翻译造成干扰,这直接的方法是保留原有的专业名词。③而且,有一些数据翻译结果并不是我们想要得到的(比如“The world is sound”--世界是充满声音的)
2024-07-20 22:24:53
858
原创 Datawhale-AI 夏令营 自然语言处理实战营 总结(Task01-Task02)
③构建词汇表,根据英文和中文数据的词汇内容,增加索引的内容,对于一些陌生的词汇,我们给予其“未知”的标签。缺点:通过代码实操发现,在翻译领域的BLEU评价指标基本得分很低,直接原因是翻译出来的语句较生硬,基本都是通过映射方式,语句块之间没有任何的逻辑联系。由于模型仅仅只是确定翻译的某个数学关系,而翻译的执行函数主要是通过张量来实现,因此,通过把构建的张量输入到模型可以得到反馈的结果。②读取相关的训练数据,由于数据中不乏有脏数据,因此需要做一步数据的处理,使模型的训练效率更加的高。
2024-07-17 22:51:44
927
1
原创 我的创作纪念日256天(补发)
也算是在应用能力以及解决问题上面的能力有所收获吧,收获了一次通宵的体验,以及志同道合的队友。算法赛虽然没有达到要求,在这期间也有长足进步。被模拟电子技术以及算法弄得头昏脑涨,参加数模感觉自己在能力上面又进了一步。未来斩获更多的竞赛奖项,在简历中能添加浓墨重彩的一笔。过去的128天里,我有一阵迷茫,竞赛没有获奖,也不知往何处走。
2024-02-20 10:24:15
174
原创 关于人工智能的入手研究方式的一种思考
人工智能这一技术研究的过程或者会很抽象,但如果将这样的一个问题进行分解,或者说归类,从如何有可能实现这一项出发,或许能够找到学习或者研究的方向。
2023-09-29 11:52:05
27
空空如也
编译器与编译环境的概念理解
2023-09-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人