- 博客(13)
- 收藏
- 关注
RSS订阅原创 大模型精调：千问1.5大模型lora微调
本文主要介绍使用transformers和peft针对Qwen1.5-14B大模型进行lora微调，分布式训练采用accelerate+deespeed-zero3项目
2024-06-05 17:58:30
1200
原创 隐马尔科夫模型（HMM）
隐马尔科夫模型（HMM）马尔科夫模型是一个关于时序的概率模型，生成模型；观测序列：实际的一连串信号信息，例如实际输出的一系列字符；通过状态序列生成随机的观测序列；隐藏序列（状态序列）：隐藏的马尔科夫随机生成的状态的序列：如对输入信号预测的下一个输入；序列的每个位置可以看做一个时刻状态序列（隐藏序列）称为隐马尔科夫链；隐马尔科夫链可以输出一个观测值，但是每一个观测值只能被一个状态输出；关于时序的概率模型，描述一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随
2021-07-20 10:14:53
153
原创 Docker基础
docker镜像：容器模板容器：一个简易的linux系统docker通过socket连接了客户端和服务端，客户端发送命令，服务端接受命令执行返回结果给客户端；容器是一个小的linux虚拟机；客户端通过守护进程访问服务端，执行docker，docker就是一个小的虚拟机docker使用的是用的物理机的内核；docker info：显示详细信息docker version：版本信息docker --help：docker的所有命令docker images：查看所有本地主机的镜像-a 列
2021-07-10 13:37:36
96
原创 Dockerfile
DockerFiledocker build -f /home/docker-test-volume/dockerfile1 -t yangqinglin/centos:1.0 .多个容器通信：父容器挂载子容器：数据卷容器docker run -it --name docker02 --volumes-from docker01 cbf6063b6122--volumes-from结论容器之间配置信息的传递，数据容器卷的生命周期一直持续到没有容器使用为止但是一旦你持久化到了本地，本地
2021-07-10 13:35:22
88
原创 关于BERT的理解
BERT理解Bert:Bidirectional Encoder Representation from Transformers(深度双向预训练Transformer)Bert是基于Transfomer的深度双向语言表征模型，利用了Transformer结构构造了一个多层双向的Encoder网络。主要特征是所有层都结合上下文语境进行预训练。OpenAI GPT：采用的是Transformer的Decoder，每个时刻的计算只能依据前面时刻输入的监督型单向语言模型。ELMO：采用的是LSTM，采用
2021-04-20 15:04:36
996
原创 神经网络隐藏层激活函数和输出层softmax/hardmax函数理解
1:激活函数- 激活函数是神经网络中对输入数据转换的方法，通过激活函数后将输入值转化为其他信息；在神经网络的隐藏层中，激活函数负责将进入神经元的信息汇总转换为新的输出信号，传递给下一个神经元；常见的激活函数：(sigmoid、tanh、Relu)２：输出层函数输出层神经元，通过将输出值进过输出层函数转化为针对某一分类的置信概率值，在多分类问题中常见（softmax）...
2021-03-23 17:22:28
10601
1
原创 模型的过拟合问题及解决方案
模型的过拟合问题无论是机器学习或是深度学习，都是通过人为或机器的方式寻找观察变量的特征，用变量的特征表示观察值；那么在选取特征的时候，特征是否是这类变量的显著特征就是我们训练的目的和优化的方向；机器学习中我们采取人为寻找特征的方式进行特征工程训练模型，为了避免人为的主观认知，更加有效的提取观察类中的特征，我们采用了深度学习的方法，通过神经网结构让机器自动的学习训练数据的特征，推广到测试数据，以期望获得较高的泛化能力；最后达到用特征预测数据的功能；因此在训练数据集中能否提取出表征全体对象的特征就是我们学习
2021-03-05 13:55:09
3095
1
原创 关于深度学习中张量的理解
关于深度学习中张量的理解张量是什么：张量代表的是存储数据的容器，是一个数据容器，张量的维度在0-5维之间，张量是根据一共具有多少坐标轴来定义，转化现实中的变量，如字符串文本、图像、股票、视频、音频为统一的张量，以便能够容易的处理。把形状里不同维度看做一个字段（一个特征），每个变量在每个维度上找到一个特征值来表示这个变量；张量的维度数即为表示变量的特征类型数，每个变量都可以用这些特征值表示；可以用向量表示张量在各个维度上的数量；0维张量： 标量，每个数字表示一个标量；1维张量：1维数组，单列或者单
2021-03-01 16:50:18
3182
2
原创 神经网络中的Epoch、Iteration、Batchsize以及参数调整方式
神经网络中的Epoch、Iteration、Batchsize以及参数调整方式batch-size（超参数）批次的大小，神经网络经历一次迭代的需要计算的次数，神经网络经历一个迭代需要计算batchsize次；Iteration迭代，表示神经网络中参数经历一次更新即为一次迭代；一次迭代需要通过神经网络计算batchsize次，通过反向传播方法调整参数；Epoch（超参数）训练轮次，定义了学习算法再整个训练数据集中的工作次数。一个Epoch意味着训练数据集中的每个样本都有机会更新内部模型参数。Epo
2021-02-20 17:29:40
10684
原创 关于模型的测评方法和指标选择
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人