- 博客(14)
- 收藏
- 关注
RSS订阅原创 LLama3超级课堂作业
我是使用VSCode的，使用InternStudio需要与VSCode进行ssh链接第一步：先在VSCode下载扩展Remote-SSH第二步：之后扩展下面会有一个显示屏一样的图标，点击并让鼠标滑到新建远程第三步： 上面搜索栏会让我们输入ssh链接命令，我们先回到开发机，复制登录命令黏贴上去，并点击C:\User\目录下的\.ssh\config进行连接，成功后右下角会弹出已连接成功，点击连接。
2024-05-09 11:57:57
358
原创 书生浦语第二期第七节课笔记（OpenCompass 大模型评测实战）
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
2024-04-27 17:32:08
2070
原创 书生浦语第二期第六节课作业
（1）输入以下代码创建python文件（2）在文件内输入以下代码，以新建工具文件import os@tool_api"""一个天气查询API。可以根据城市名查询天气信息。Args:"""else:Args:Returns:"""data = [f'数据观测时间: {now["obsTime"]}',f'温度: {now["temp"]}°C',f'体感温度: {now["feelsLike"]}°C',f'天气: {now["text"]}',
2024-04-24 12:15:51
893
原创 书生浦语第二期第六节课笔记（Lagent & AgentLego 智能体应用搭建）
Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器。
2024-04-24 11:20:16
2197
原创 书生浦语第二期第四节课笔记（XTuner 微调 LLM：1.8B、多模态、Agent）
XTuner 一个大语言模型&多模态模型微调工具箱。由MMRazor和MMDeploy联合开发。🤓以 配置文件 的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调。🍃对于 7B 参数量的LLM，微调所需的最小显存仅为 8GB消费级显卡✅，colab✅适配多种生态：覆盖各类SFT场景，拥有多种微调策略与算法。支持加载HuggingFace、ModelScope模型或数据集。还会自动优化加速。
2024-04-20 12:45:28
837
原创 书生浦语第二期第五节课笔记（LMDeploy 量化部署 LLM-VLM 实践）
计算量巨大：前向推理时需要进行大量计算，现在大模型推理计算量达到千万亿量级。内存开销巨大：以FP16为例，加载20B模型参数就需要40G+的显存，而目前NVIDIA RTX 4060消费级显卡为例，单卡显存仅8GB，A100单卡显存仅为80GB。访存瓶颈：大模型推理是“访存密集”型任务。目前硬件计算速度“远快于显存带宽”，存在严重的访存性能瓶颈。动态请求：请求量不确定，请求时间不确定，Token逐个生成和数量不确定。
2024-04-17 23:23:24
1206
1
原创 书生浦语第二期第三节课笔记（茴香豆：搭建你的 RAG 智能助理）
RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。 LLM会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。 RAG 通过在语言模型生成答案之前，先从广泛的文
2024-04-08 18:11:36
2166
原创 书生浦语第二期第二节课笔记（轻松玩转书生·浦语大模型趣味 Demo）
第一步：进入开发机后，在终端中输入以下环境命令配置进行环境配置创建一个新的demo环境输入以下pip命令进行环境包的下载第二步：配置好环境后，我们进行InternLM2-Chat-1.8B模型的下载首先，按照路径创建文件夹，并进入对应文件目录在目录/root/demo/中，创建download_mini.py文件，并复制以下代码然后返回至终端，用以下代码运行python文件运行完download_mini文件后，在目录/root/demo/中，创建cli_demo.py文件，并复制以下代码。
2024-04-02 16:52:08
1040
1
原创 书生浦语第二期第一节课笔记（书生·浦语大模型全链路开源体系）
ai助手不仅能与用户进行日常对话和创作，还能进行工具调用以及计算甚至是代码解释与优化和数据分析等等。
2024-03-28 11:03:10
298
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人