- 博客(45)
- 收藏
- 关注
RSS订阅原创 Llama 3 超级课堂 -笔记
课程文档： https://github.com/SmartFlowAI/Llama3-Tutorial课程视频：https://space.bilibili.com/3546636263360696/channel/series1.1 创建虚拟环境,名为：llama31.2 下载、安装 pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 1.3 通过软连接获取 Meta-Llama-3-8B-Inst
2024-05-14 22:07:42
845
原创 OpenCompass 大模型评测实战-笔记七
针对如模型安全和模型语言能力的评测，以人的主观感受为主的评测更能体现模型的真实能力，并更符合大模型的实际使用场景。在实际评测中，本文将采用真实人类专家的主观评测与基于模型打分的主观评测相结合的方式开展模型能力评估。同时，由于大语言模型输出自由度较高，在评测阶段，我们需要对其输入和输出作一定的规范和设计，尽可能减少噪声输出在评测阶段的影响，才能对模型的能力有更加完整和客观的评价。评测大模型种类：基座模型、公开权重的开源模型、对话模型、API模型。2.主观评测，开放式主观问答（比较、打分）能力维度：基础能力；
2024-04-27 10:14:59
698
原创 Lagent AgentLego 智能体应用搭建-笔记六
是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。通过 AgentLego 算法库，不仅可以直接使用多种工具，也可以利用这些工具，在相关智能体框架（如 Lagent，Transformers Agent 等）的帮助下，快速构建可以增强大语言模型能力的智能体。两者的关系 : Lagent 是一个智能体框架，而 AgentLego 与大模型智能体并不直接相关，而是作为工具包，在相关智能体的功能支持模块发挥作用。
2024-04-26 23:52:21
162
原创 XTuner微调LLM：1.8B、多模态和Agent-笔记四
若直接用预训练的模型或增量预训练模型，可能不能回答用户的问题；经过该领域的指令微调，模型以对话的方式准确回答用户的问题。原始数据->标准格式数据->添加对话模板->Tokenized数据->添加Label。讲解【XTuner 微调 LLM：1.8B、多模态和 Agent】课程。LLaMa-Factory和Xtuner性能对比。高效微调方法：LoRA、QLoRA。InternLM2 1.8B模型。本次课程由XTuner 贡献者。两种Finetune范式。Xtuner快速上手示例。李剑锋、汪周谦、王群老师。
2024-04-26 23:43:28
185
原创 LMDeploy量化部署LLM&VLM实践-笔记五
LMDeploy TurboMind 引擎拥有卓越的推理能力，在各种规模的模型上，每秒处理的请求数是 vLLM的1.36~1.85 倍。LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。本次课程由西北工业大学博士生、书生·浦源挑战赛冠军队伍队长、第一期书生·浦语大模型实战营优秀学员【安泓郡】讲解【OpenCompass 大模型评测实战】课程。核心功能：模型高效推理、模型量化压缩、服务化部署。大模型部署挑战二：内存开销巨大。
2024-04-26 23:43:13
196
原创 茴香豆：搭建你的RAG智能助理-笔记三
解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合。LLM模型优化方法：Fine-tuning、Prompt Engineer、RAG。是一个基于LLMs的领域知识助手，由书生浦语团队开发的开源大模型应用。可见未经过模型参数任何更新，通过RAG技术可以增强模型回答的能力。讲解【茴香豆：搭建你的 RAG 智能助理】课程。
2024-04-26 22:47:20
521
原创 茴香豆：搭建你的RAG智能助理-作业三
本次课程由书生·浦语社区贡献者【北辰】老师讲解【茴香豆：搭建你的 RAG 智能助理】课程。这节课布置如下作业：基础作业：1. 在中创建自己领域的知识问答助手2.在上部署茴香豆技术助手茴香豆技术助手进阶作A【应用方向】 结合自己擅长的领域知识（游戏、法律、电子等）、专业背景，搭建个人工作助手或者垂直领域问答助手，参考茴香豆官方文档，部署到下列任一平台。B【算法方向】尝试修改、调试 prompt 或应用其他 NLP 技术，如其他 chunk 方法，提高个人工作助手的表现。
2024-04-26 22:25:48
1155
原创 Lagent AgentLego 智能体应用搭建-作业六
创建weather.pyimport os@tool_api"""一个天气查询API。可以根据城市名查询天气信息。Args:"""else:Args:Returns:"""data = [f'数据观测时间: {now["obsTime"]}',f'温度: {now["temp"]}°C',f'体感温度: {now["feelsLike"]}°C',f'天气: {now["text"]}',
2024-04-26 19:53:22
1173
原创 OpenCompass大模型评测实战-作业七
本次课程由OpenCompass 贡献者曹茂松、刘卓鑫老师讲解【OpenCompass 大模型评测实战】课程。Tips：不强制要求配置数据集对应榜单（ leaderboard.xlsx ），可仅上传 EADME_OPENCOMPASS.md 文档。
2024-04-26 19:04:55
359
原创 XTuner微调LLM：1.8B、多模态和Agent-作业四
本次课程由XTuner 贡献者李剑锋汪周谦王群老师讲解XTuner 微调 LLM：1.8B、多模态和 Agent】课程。
2024-04-26 00:30:29
828
原创 Task02：图理论基础
一个图被记为 G={V,E}。其中V表示节点集合，E表示边集合。有向图（directed graph or digraph）：有向图的边是具备指向性的。无向图（undirected graph）：无向图的边不具备指向性。
2024-04-17 21:33:32
372
原创 Task01：图深度学习介绍
图是一种结构化数据类型，具有节点(nodes)（保存信息的实体）和边缘(edges)（节点的连接，也保存信息）。图可以表示对象之间或实体之间复杂交互的关系。常见的图有：人类社会化学相互作用神经元连接知识图谱等。图可以用于建模：社交图、经济图、通信图、事件图、知识图、病毒传播路径网络、信息图、互联网、神经元图、分子图、场景图、细胞图等等。
2024-04-15 21:30:12
279
原创 轻松玩转书生·浦语大模型趣味 Demo 笔记二&作业二
本次课程由带大家玩转书生·浦语大模型趣味 Demo。LagentDemoLagent工具调用。
2024-04-15 20:33:24
647
1
原创 书生·浦语大模型实战营（第二期）笔记一
大模型的研究应回归语言建模本质，大模型各项性能提升的基础在于语言建模能力的增强。InternLM2：在Base基础上，在多个能力方向进行了强化，在评测中成绩优异，同时保持了很好的通用语言能力，是我们推荐的在大部分应用中考虑选用的优秀基座；2023年8月21日，升级版对话模型InternLM-Chat-7B v1.1发布，同时开源智能体框架Lagent，支持从语言模型到智能体升级转换。2023年7月6日，InternLM千亿参数大模型全面升级，支持8K语境、26种语言，并全面开源，免费商用。
2024-04-01 19:57:57
483
原创 学习打卡4-文字图例尽眉目
本章主要介绍在Figure和Axes上文本设计，然后简单介绍相关常见API使用，API可分为PyplotAPI,OO API。然后简单介绍tick(刻度)和ticklabel(刻度标题)常见设计方法，最后介绍legend entry（图例条目)、legend key（图例键)、legend label（图例标签)、legend handle（图例句柄)概念与使用。
2022-09-23 23:38:56
242
原创 数据可视化-期末复习重点笔记
文章目录前言一、绘制常见图形。1.1 sinx、cosx曲线图1.2 散点图1.2.1通过matplotlib实现1.2.2通过pyecharts实现1.3 柱形图1.3.1通过matplotlib实现1.3.2通过pyecharts实现1.4 柱形堆叠图1.4.1通过matplotlib实现1.4.2通过pyecharts实现1.5 折线图1.6 拟合曲线1.7 堆叠面积图1.8 雷达图二、其他细节考点2.1在matplotlib中基本参数设置2.2 jupyter notebook两种渲染方式2.3 可
2021-06-23 20:40:01
5063
3
原创 Task11-综合练习
显卡日志import pandas as pddf = pd.read_table("D:\\BaiduNetdiskDownload\\benchmark.txt",header=None)pat1 = 'Benchmarking (\w+)(\w+) precision type (\w+)'pat2 = '(\w+) model average (\w+) time : (.+)ms'bench_info=df[0].str.extract(pat1).rename(columns={0:'
2021-01-13 22:29:27
161
转载 Task10-时序数据
datawhale组队学习 pandas时间序列一、时序中的基本对象二、时间戳Timestamp的构造与属性ts = pd.Timestamp('2020/1/1')tsOut: Timestamp('2020-01-01 00:00:00')ts = pd.Timestamp('2020-1-1 08:10:30')tsOut: Timestamp('2020-01-01 08:10:30')In [1]: ts.yearOut[1]: 2020In [2]: t
2021-01-10 22:13:40
185
转载 Task09-分类数据
datawhale组队学习 pandashttps://datawhalechina.github.io/joyful-pandas/build/html/%E7%9B%AE%E5%BD%95/ch9.html第九章 分类数据一、cat对象cat对象的属性在 pandas 中提供了 category 类型，使用户能够处理分类类型的变量，将一个普通序列转换成分类变量可以使用 astype 方法。import pandas as pddf = pd.read_csv('D:\\20期-D
2021-01-07 22:33:00
97
原创 Task08-文本数据
datawhale组队学习 pandashttps://datawhalechina.github.io/joyful-pandas/build/html/%E7%9B%AE%E5%BD%95/ch8.html第八章 文本数据一、str对象str对象的设计意图str 对象是定义在 Index 或 Series 上的属性，专门用于逐元素处理文本内容，其内部定义了大量方法，因此对一个序列进行文本处理，首先需要获取其 str 对象。在Python标准库中也有 str 模块，为了使用上的便利，有许多函
2021-01-06 23:17:05
51
原创 Task07-缺失数据
datawhale 组对学习 pandashttps://datawhalechina.github.io/joyful-pandas/build/html/%E7%9B%AE%E5%BD%95/ch7.html第七章 缺失数据一、缺失值的统计和删除缺失信息的统计缺失数据可以使用 isna 或 isnull （两个函数没有区别）来查看每个单元格是否缺失，结合 mean 可以计算出每列缺失值的比例：import pandas as pddf = pd.read_csv('D:\\20期-D
2021-01-03 22:08:56
102
原创 Task Special: 第一次综合练习
datawhale 组对学习 pandashttp://datawhale.club/t/topic/579/4任务：美国大选投票情况【题目描述】两张数据表中分别给出了美国各县（country）的人口数以及大选的投票情况，请解决以下问题：1.有多少县满足总票数超过县人口数的一半2.把州（state）作为行索引，把投票候选人作为列名，列名的顺序按照候选人在全美的总票数由高到低排序，行列对应的元素为该候选人在该州获得的总票数#此处是一个样例，实际的州或人名用原表的英语代替拜登 川普威
2021-01-01 23:00:34
155
原创 Task06-连接
datawhale组队学习 Task06 连接https://datawhalechina.github.io/joyful-pandas/build/html/%E7%9B%AE%E5%BD%95/ch6.html第六章 连接一、关系型连接连接的基本概念要想连接两张相关的表，则需通过其键来连接；同时pandas中提供了merge，concat等连接函数。关系型连接函数 merge 和 join 中提供了 how 参数来代表连接形式，分为左连接 left 、右连接 right 、内连接
2020-12-29 22:30:37
106
原创 Task05-变形
datawhale组队学习打卡 变形https://datawhalechina.github.io/joyful-pandas/build/html/%E7%9B%AE%E5%BD%95/ch5.html一、长宽表的变形长表：pd.DataFrame({'Gender':['F','F','M','M'], 'Height':[163, 160, 175, 180]})Out: Gender Height0 F 1631
2020-12-27 22:47:13
108
原创 Task04-分组
Datawhale 组队学习打卡04分组 https://datawhalechina.github.io/joyful-pandas/build/html/%E7%9B%AE%E5%BD%95/ch4.html一、分组模式及其对象1. 分组的一般模式分组操作在日常生活中使用极其广泛，例如：依据 性别 分组，统计全国人口 寿命 的 平均值依据 季节 分组，对每一个季节的 温度 进行 组内标准化依据 班级 分组，筛选出组内 数学分数 的 平均值超过80分的班级要想实现以上分组操作，需要
2020-12-25 23:10:40
94
原创 学习打卡5-样式色彩秀芳华
详细介绍matplotlib中样式和颜色的使用，绘图样式和颜色是丰富可视化图表的重要手段，因此熟练掌握本章可以让可视化图表变得更美观，突出重点和凸显艺术性。
2020-12-24 22:21:41
202
1
原创 Task03-索引
第三章 索引一、索引器1.表的列索引列索引是最常见的索引形式，一般通过 [] 来实现。通过 [列名] 可以从 DataFrame 中取出相应的列，返回值为 Series ，例如从表中取出姓名一列：import numpy as npimport pandas as pddf = pd.read_csv('learn_pandas.csv', usecols=['School','Grade','Name','Gender','Weight','Transfer
2020-12-24 18:58:45
109
1
原创 Task02：pandas基础
最近有点忙，没来得及做笔记，后期会不回来。第二章 pandas基础一、文件的读取和写入¶文件读取pandas 可以读取的文件格式有很多，这里主要介绍读取 csv, excel, txt 文件。In [4]: df_csv = pd.read_csv('data/my_csv.csv')In [5]: df_csvOut[5]: col1 col2 col3 col4 col50 2 a 1.4 apple 2020/1/11
2020-12-19 22:27:10
95
1
转载 学习打卡2-艺术画笔见乾坤
一、概述1.matplotlib的三层apimatplotlib的原理或者说基础逻辑是，用Artist对象在画布(canvas)上绘制(Render)图形。 就和人作画的步骤类似：1.准备一块画布或画纸 2.准备好颜料、画笔等制图工具 3.作画所以matplotlib有三个层次的API：matplotlib.backend_bases.FigureCanvas 代表了绘图区，所有的图像都是在绘图区完成的matplotlib.backend_bases.Renderer 代表了渲染器，可以
2020-12-18 22:36:53
241
1
原创 Task01：预备知识
第一章 预备知识1. 列表推导式与条件赋值在生成一个数字序列的时候，在 Python 中可以如下写出：L = []def my_func(x): return 2*xfor i in range(5): L.append(my_func(i))L [0, 2, 4, 6, 8]事实上可以利用列表推导式进行写法上的简化： [* for i in *] 。其中，第一个 * 为映射函数，其输入为后面 i 指代的内容，第二个 * 表示迭代的对象。[my_func(i) fo
2020-12-16 22:24:46
95
转载 学习打卡1-Matplotlib初相识
学习打卡1-Matplotlib初相识1.认识matplotlibmatplotlib是受MATLAB的启发构建的。MATLAB是数据绘图领域广泛使用的语言和工具。MATLAB语言是面向过程的。利用函数的调用，MATLAB中可以轻松的利用一行命令来绘制直线，然后再用一系列的函数调整结果。matplotlib有一套完全仿照MATLAB的函数形式的绘图接口，在matplotlib.pyplot模块中。这套函数接口方便MATLAB用户过度到matplotlib包Matplotlib是一个Python 2D
2020-12-14 22:35:36
445
原创 零基础入门推荐系统-【排序模型+模型融合】
排序模型通过召回的操作， 我们已经进行了问题规模的缩减， 对于每个用户， 选择出了N篇文章作为了候选集，并基于召回的候选集构建了与用户历史相关的特征，以及用户本身的属性特征，文章本省的属性特征，以及用户与文章之间的特征，下面就是使用机器学习模型来对构造好的特征进行学习，然后对测试集进行预测，得到测试集中的每个候选集用户点击的概率，返回点击概率最大的topk个文章，作为最终的结果。排序阶段选择了三个比较有代表性的排序模型，它们分别是：LGB的排序模型LGB的分类模型深度学习的分类模型DIN得到了最
2020-12-06 22:40:37
303
原创 零基础入门推荐系统-【特征工程】
零基础入门推荐系统-新闻推荐-天池大赛-阿里云天池Task04【特征工程】特征工程：制作特征和标签，转成监督学习问题我们先分析一下基于原始的给定数据，有哪些特征可以直接使用：1.文章的自身特征，category_id表示这文章的类型，created_at_ts表示文章建立的时间，这个关系着文章的时效性,words_count是文章字数，一般字数太长我们不太喜欢点击，也不排除有人就喜欢读长文。2.文章的内容embedding特征，这个召回的时候用过，这里可以选择使用，也可以选择不用，也可以尝试其他类型
2020-12-03 22:18:40
223
原创 课堂实验-【分类算法】
【实验名称】 实验：分类算法【实验目的】1.了解分类算法理论基础2.平台实现算法3. 编程实现分类算法【实验原理】分类(Categorization or Classification)就是按照某种标准给对象贴标签(label),再根据标签来区分归类。【实验环境】OS：Ubuntu16.04PyCharm： 2017.3【实验准备】安装实验所需依赖库pip install scipy==0.19.1pip install scikit-learn==0.18.1【实验步骤】复
2020-12-01 16:46:26
3557
原创 课堂实验-【回归算法】
【实验名称】 实验：回归算法【实验目的】1.了解回归算法理论基础2.平台实现算法3. 编程实现分类算法【实验原理】线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。【实验环境】OS：Ubuntu16.04PyCharm： 2017.3【实验步骤】实验开始前，我们先安装一下本次实验所需依赖包pip install matplotlibpip install sklearn本实验中我们将对波士顿房价的数据集进行回归算法训
2020-12-01 16:39:32
1879
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人