2024周计划

关于深度学习和大语言模型

《动手学深度学习》章节分为16章， 第一周学习到第5章深度学习计算，第二周学习到第10章注意力机制，第三周学习到第15章自然语言处理，第四周总结消化 每天至少2h

《大语言模型》书章节分为五个部分外加总结共14章，第一周完成前两个部分学习，即学习到预训练部分，第二周学习完第三部分即微调与对齐部分，第三周学习完第四部分大模型使用，第四周学习完第五部分评测与应用 以及消化总结 每天1.5到2h

学习宗旨：基础不牢，地动山摇！基础不牢，地动山摇！ 基础不牢，地动山摇！

前两周学习情况：《动手深度学习》 结合b站学习视频已经将机器学习，深度学习基本流程概念学习，并学习完线性神经网络部分，为巩固学习，后续周计划的自我学习部分就在这里以目录形式打卡，具体学习笔记另起一个博客进行梳理，《大语言模型》目前还在学习预训练部分，后续结合相关论文博客，会更新学习心得。

前俩周周计划总结：工程方面，自动化集成测试经过调试，依旧绕不开Linux实验室服务器没有图形化界面这一问题，已准备将该功能单独放到windows服务器，系统已基本收尾，9.24结束。

科研方面，调研方向中，经过老师指导，在大模型内容安全方面，停止越狱攻击的调研，并集中力量在toxicity和hallucination,已初步了解toxicity和hallucination领域在干什么，现有文章或者现有技术怎么做，核心思想是什么，10.1之前继续阅读更新5篇精度论文，争取可以提出一个角度和别人不一样的。

第三周学习情况：首先列出计划：1.继续按照周目标链接中的计划，学习深度学习和大语言模型
2.将大模型内容安全内容方向限定在toxicity和hallucination
3.更新5篇toxicity和hallucination精读论文，并清楚列举toxicity和hallucination；a 这个领域具体在做什么 b 现有文章或者现有技术都是怎么做的，他们的核心思想是什么，我能否发现什么其他角度 

第三周结束：经过与老师讨论确定研究方向为RAG领域，下一步按照具体目标方向，阅读相应领域论文，并且继续巩固深度学习基础，尤其是transform架构的学习

第四周9.30-10.6学习情况：计划：1. 阅读50+RAG论文，梳理概述
2. 阅读所有的RAG攻击论文
3. 梳理、总结，与老师讨论

通过阅读RAG论文相关资料，了解了1、RAG技术背景与动机 2、RAG技术原理与技术流程  3、知识库构建与管理、检索模块技术 ; 4、在手动尝试实现RAG来熟悉RAG系统；关于RAG攻击论文找到较少，将一进步思考阅读，可否将其他领域的攻击方法运用到RAG中来

第五周10.7-10.13学习情况：1. 阅读50+RAG论文，梳理成Survery，10月16日发给尚老师
2. 做成PPT讲解
3.结合1、2两步，谈谈自己的想法。与老师沟通