- 博客(14)
- 收藏
- 关注
RSS订阅原创 OpenCompass 大模型评测笔记
github文档地址：https://github.com/InternLM/tutorial/blob/main/opencompass/opencompass_tutorial.md。视频地址：https://www.bilibili.com/video/BV1Gg4y1U7uc/换提示词若模型答错，则说明模型鲁棒性较差。也可以自定义数据集进行测试。
2024-01-23 16:25:39
386
1
原创 tmux简单使用
创建tmux session ：$ tmux new -s name 举例：tmux new -s finetune。如果再回到之前的窗口，此处为finetune可以通过命令$ tmux attach -t finetune。此时就是处于tmux下的一个名为finetune的session中。$ apt install tmux -y 安装tmux。$ apt update -y 对apt语言进行更新。tmux可以保证终端在意外断开时，服务器任务继续进行。此时就会进入一个新的界面。
2024-01-12 11:09:25
360
1
原创 李宏毅自注意力机制(self-attention)和Transformer详解笔记
在self-attention中，a1与a2,a3,a4分布计算相关性，把a1乘以wq得到q1（q有个名字叫query），a2乘以wk得到k2（k称之为key），然后q1与q2做点积得到α1,2（老师课程中说的是inner product，推测是口误了），α1,2称为a1与a2的attention score，a3与a4同理得到a1,3和a1,4，self-attention的输入是一串的vector，这些vector可能是整个网络的输入，也可能是某个隐藏层的输出，每个b向量都是考虑所有的a向量而生成的。
2024-01-11 21:16:08
630
1
原创 XTuner 大模型单卡低成本微调实战笔记
大语言模型是在海量的文本内容基础上，以无监督或半监督方式进行训练的，海量的文本内容赋予了大模型各种各样的行业知识，但是如果直接把大模型的知识用于生产实践，会发现回答不大满意，微调的目的就是让LLM在具体的场景或领域中能够得到更好的回答。常用微调模式：增量预训练和指令跟随增量预训练：给模型投喂一些新的知识，新知识是目标领域的文本内容，经过新知识学习，模型即可获得该领域更好的效果。使用场景: 让基座模型学习到一些新知识，如某个垂类领域的常识训练数据:文章、书籍、代码等指令跟随微调。
2024-01-11 21:13:47
913
1
原创 第三次笔记：基于 InternLM 和 LangChain 搭建知识库
课程地址：https://www.bilibili.com/video/BV1sT4y1p71V。
2024-01-10 11:35:31
871
1
原创 书生浦语大模型学习笔记二
大模型概念：人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。特点及应用1. 利用大量数据进行训练2. 拥有数十亿甚至数千亿个参数3. 模型在各种任务中展现出惊人的性能InternLM 是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。基于InternLM训练框架，上海人工智能实验室已经发布了两个开源的预训练模型:和。Lagent是一个轻量级、开源的基于大语言模型的智能体 (agent) 框架，用户可以快速地将一个大语言模型转变为多种类型的智能体。
2024-01-07 17:24:03
364
1
原创 书生·浦语大模型全链路开源体系学习笔记
大模型持续走热，原因：大模型是发展通用人工智能的重要途径书生浦语开源历程书生浦语大模型系列书生浦语20B领先相近量级开源模型(包括Llama-33BLlama2-13B以及国内主流的7B、13B开源模型)，并以不足三分之一的参数量，达到Llama2-70B水平。
2024-01-04 12:57:41
823
1
原创 归并排序非递归版
归并排序非递归版书上的算法，进行了注释,可直接运行,递归的思想是看下面整张图片，非递归的思想仅看红线圈的即可,有错误请留言。#include<iostream>using namespace std;void merge(int c[],int d[],int l,int m, int r) { //合并c[l:m]和c[m+1:r]到d[1:r] int i = l, j = m + 1, k = l; while ((i <= m) && (j <
2021-03-25 16:16:02
144
原创 粒子群算法
粒子群算法（1.初步了解） 1995年,受鸟类捕食行为的启发,Kennedy和Eberhart正式提出了粒子群优化算法的概念。研究中发现,在鸟类捕食过程中,个体并不知道如何找到食物以及自身离食物到底有多远,为了找到食物,最有效的搜索方式是搜索离食物源最近的个体的周围区域,这种搜索方式为粒子群算法中信息共享机制提供了生物行为基础。同时,在认知过程中,每个个体都会建立自身的信念,同时观察其他个体的信念,当发现其他个体的信念更加优秀时,个体会进行相应的调整以提高自身的搜索能力,粒子群算法中的学习机制即是受这
2021-01-22 17:25:28
2321
原创 粒子群算法 SVM
粒子群算法 SVMSVM是调的包，辣鸡代码仅供参考，数据集有需要留下邮箱#运用粒子群算法优化SVM正则参数C，以及核函数RBF函数的gamma的问题import randomimport numpy as npfrom sklearn import svmfrom sklearn import model_selectionimport matplotlib.pyplot as plt#设置PSO关键参数particle_num = 30 #粒子数量，个数要适量，不能太大和太小par
2021-01-21 11:00:48
1417
8
原创 蚁群算法解决CVRP
蚁群算法解决CVRP问题 通过实际案例描述，根据配送点和业务需求量，进行最优路线的计算。由物流中心点出发，配送多个客户点后再回到起点，根据车辆数量，承载限制，不同车辆服务成本、运行里程限制等条件选择最优运输路径（总里程最短），使成本最小化，配送订单最大化，满载率最大化（如由一个配送中心向各个销售点配送货物，通过算法确定配送中心每辆车的配送方案，包括配送至哪个客户，配送量，下一个配送目的地）。问题数据及说明 某物流中心有5台配送车辆，车辆的最大载重均为8T,一次配送的最大行驶距离都为50KM,
2021-01-21 10:53:48
3238
原创 蚁群优化算法
蚁群优化算法1.生物学原理 1992年,Dorigo 等提出了第一个蚁群算法——蚂蚁系统，受启发于蚂蚁觅食的行为，蚂蚁会在运动过程中在所经过的路径上留下信息素，而且能够感知信息素的强度，信息素的浓度越大，则其他蚂蚁选择该条路径的概率越大，从而该路径上的信息素量被进一步增强。因此,由大量蚂蚁组成的蚁群的集体行为便表现出一种信息正反馈现象。蚂蚁个体之间就是通过这种间接的通信机制达到协同搜索蚁巢到食物源之间的最短路径的目的。 例子：如图2-1所示,A为蚁巢,E为食物源,ABCDE和ABFDE分别为蚁
2021-01-20 20:48:01
1992
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人