- 博客(12)
- 收藏
- 关注
RSS订阅原创 Datawhale AI 夏令营 AI+逻辑推理 Task04总结
规划部分，主要涉及到推理的内容，而推理可以通过多种提示方法来引发和增强LLM的推理能力。总体来说，一个好的模型比微调做的很多努力要好很多，不过对于接下来的比赛而言，更重要的是学会对模型进行微调（Docker不允许提交参数过多的模型，同时也不允许调用模型的API）。Docker是一个开源的应用引擎，可以用来管理自己的应用部署，其可以支持很多种应用例如Web应用、大数据应用、数据库应用等。A.使用另外一个Agent训练对结果的打分，原来的Agent需要同时给出理由，根据Agent的反馈结果给到最高分。
2024-08-03 21:37:10
686
原创 Datawhale AI 夏令营 AI+逻辑推理 Task03总结
这是一个通过时间换空间的优化措施，它将多个Batch训练数据的梯度进行累积，在达到指定累积次数后，使用累积梯度统一更新一次模型参数，以达到一个较大Batch Size的模型训练效果。在深度学习中，其在模型训练过程中更新权重的速度与方向。由于在模型微调的过程中，很可能会出现模型的参数量过多，导致超过平台的最大内存，因此，我们需要在运行过程中手动清理内存（采用逐个cell运行的方式）。引入一个低秩矩阵，让模型能够进行增量微调，在不改变原有梯度的情况下，引入AB两个参数，通过调节其学习率从而实现微调的效果。
2024-08-02 17:27:30
748
原创 我的创作纪念日（512天）
这一个学期，经过了算法竞赛的拷打，从华为软件精英挑战赛 ，到蓝桥杯，有过挫折，也有过喜悦（更多的还是在没有AC题目中的状态）。蓝桥杯的国三，也算是见证我有一定的实力（虽然还远远不足以和ICPC区域赛甚至Final的大佬们来比）然而，面对大学生就业难的问题，当前的技术水平仍然不足以应对市场上的需求。目前还是0项目经验，这也是在求职上比较占劣势的地方。毕竟，计算机这一个行业，真的蛮卷的。
2024-08-01 09:28:53
187
原创 Datawhale AI 夏令营 AI+逻辑推理 Task02 总结
于是，找到了代码的这一行。由于是第一次使用大模型，关于token之类的没有太多的关注。从模型上来看,带有instruct的模型，或者说标明的参数越多的服务会更加的好，参数多的表现性能可能会更好（好模型还是要留在最后上分时使用滴！在一个时刻，我们如果有太多的指令需求要处理，如果还是按照单线程（正常指令的处理方式，即一个一个去处理），那么就会降低处理效率，导致处理速度过于缓慢。因为在答案的填写过程中，有一部分题目的答案是缺失的（即大模型也不清楚答案），所以这个时候需要用蒙的策略（毕竟是选择题），填入答案。
2024-07-30 10:24:59
974
原创 Datawhale AI 夏令营 AI+逻辑推理 Task01总结
4.推理阶段: 在测试或应用阶段，模型接收新的问题和选项，将其转换为相应的向量表示，然后通过模型进行预测，得到每个选项的得分或概率分布，最后选择得分最高的选项作为答案。【注：①词袋模型：将文章以词为基础进行切分，将每一篇文章看成一袋子的单词（即单词集合，忽略顺序），将文章表示为一个向量，每一维代表一个单词，权重为重要程度。对于给的Baseline而言，我们发现它并不需要给的训练数据而是直接输出，是因为它所背后的做题逻辑为通义千问给的大模型训练模型，因此直接调用相关模型即可。
2024-07-26 10:50:27
474
原创 Datawhale AI 夏令营 自然语言处理 Task03总结
作为对他即将出版的著作的一个预览，他给出了从自己一身经历总结出的几个忠告 -- 告诫我们奇迹和创造力是科学生活的中心。（摄于 TEDMED）经过上一次的Task02的Baseline代码之后，我们得到的得分为3.9088（比原来要好很多，但还有不足）。②此外，在原数据中，我们能够看到有比较隐性的脏数据（括号内加以注释的），这一些也会对机器翻译造成干扰，这直接的方法是保留原有的专业名词。③而且，有一些数据翻译结果并不是我们想要得到的（比如“The world is sound”--世界是充满声音的）
2024-07-20 22:24:53
858
原创 Datawhale-AI 夏令营 自然语言处理实战营 总结（Task01-Task02）
③构建词汇表，根据英文和中文数据的词汇内容，增加索引的内容，对于一些陌生的词汇，我们给予其“未知”的标签。缺点：通过代码实操发现，在翻译领域的BLEU评价指标基本得分很低，直接原因是翻译出来的语句较生硬，基本都是通过映射方式，语句块之间没有任何的逻辑联系。由于模型仅仅只是确定翻译的某个数学关系，而翻译的执行函数主要是通过张量来实现，因此，通过把构建的张量输入到模型可以得到反馈的结果。②读取相关的训练数据，由于数据中不乏有脏数据，因此需要做一步数据的处理，使模型的训练效率更加的高。
2024-07-17 22:51:44
927
1
原创 我的创作纪念日256天（补发）
也算是在应用能力以及解决问题上面的能力有所收获吧，收获了一次通宵的体验，以及志同道合的队友。算法赛虽然没有达到要求，在这期间也有长足进步。被模拟电子技术以及算法弄得头昏脑涨，参加数模感觉自己在能力上面又进了一步。未来斩获更多的竞赛奖项，在简历中能添加浓墨重彩的一笔。过去的128天里，我有一阵迷茫，竞赛没有获奖，也不知往何处走。
2024-02-20 10:24:15
174
原创 关于人工智能的入手研究方式的一种思考
人工智能这一技术研究的过程或者会很抽象，但如果将这样的一个问题进行分解，或者说归类，从如何有可能实现这一项出发，或许能够找到学习或者研究的方向。
2023-09-29 11:52:05
27
空空如也
编译器与编译环境的概念理解
2023-09-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人