- 博客(17)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 OPT 大语言模型（Large Language Model）结构
大语言模型follow GPT的做法，其基本组成结构是Decoder-only的Transformer block，多个Transformer Block堆叠在一起；不同数量、不同Head、不同隐藏层维度构成了不同参数量的大模型（也即模型跟着的后缀，比如，6.7B）；预训练模型参数的数据类型（大模型的参数一般都为半精度fp16，而非单精度浮点数fp32）大模型中通常采用的KV cache机制体现在图中的：past_key_value；以OPT-6.7b模型为例，梳理OPT大模型的网络结构；
2024-07-28 16:52:44
211
原创 Verilog HDL学习
模块的端口也有方向（通常为输入和输出），输入端口由模块外部的一些东西驱动，而输出端口驱动外部的一些东西。持续赋值的意思是 赋值是一直持续的，即使右端的值改变（左端的值会随着右端的值改变而改变），每当任何一个输入改变，输出被重新计算（recompute）在声明的时候，vector 的维度放在变量名的前面，而 part select 的时候将为度放在向量名的后面。声明的时候vector的索引被写在名字的前面，这些比特被 pack 在一起形成一个 blob；unpacked 的维度被声明在名字的后面。
2024-07-28 11:48:10
569
原创 深度学习中的非线性函数
对一个样本所有特征计算均值和方法，然后对样本进行归一化。LLama 模型 引入的 RMSNorm。向量维度为H，g、b为可学习的两个参数。层归一化，稳定训练并提升模型收敛性。为 Sigmoid函数。
2024-07-28 10:55:32
655
原创 lhy机器学习笔记-5
文章目录lhy机器学习笔记-5局部最小值local minimal和鞍点 saddle pointbatch批次 and momentum动量momentum： **对抗 minimal 和 saddle point 的方法**adaptive learning rate（optimizer）方法1：Adagrad方法2：RMSProplearning rate schedulingclassificationbatch normalizationbatch normalization的 Testing：为
2021-09-20 11:36:44
216
原创 LHY机器学习笔记-4
文章目录lhy机器学习笔记-4深度学习三个步骤神经网络完全连接前反馈神经网络 FC矩阵运算模型评价选取最优函数Backpropagation以单个神经元为例考虑forward passbackward passsummarylhy机器学习笔记-4深度学习三个步骤神经网络 -> 模型评估 -> 选择最优函数神经网络神经网络可以有很多不同的连接方式，这样就会产生不同的结构（structure）神经网络中的所有的 权重 和 偏置 构成了 神经网络的参数 θ完全连接前反馈神经网络 FC前
2021-09-18 22:49:51
398
原创 LHY机器学习笔记-3
文章目录误差来源variancebiascross validation梯度下降tuning learning rate误差来源variance简单的模型比较不容易受样本数据的影响，简单的模型variance较小，复杂的模型有比较大的variancebias简单的模型有较大的bias，复杂的模型有较小的biaserror来源于 bias较大 —— underfittingerror来源于 variance较大 —— overfitting如果模型不能在训练集上得到较好的效果 ➡️ lar
2021-09-17 16:08:56
114
原创 LHY机器学习笔记-2
文章目录Regression 回归模型步骤选择模型模型评估筛选最佳模型——梯度下降验证模型好坏过拟合问题模型优化Regression 回归模型步骤step1：模型假设，选择模型框架（线性模型）step2：模型评估，如何判断众多模型的好坏（损失函数）step3：模型优化，如何筛选最优的模型（梯度下降）选择模型线性模型： y=b+∑wixi y = b + \sum w_ix_i y=b+∑wixi 形如其中， x_i 为 特征，w_i 是 各个特征权重， b 是 偏置项模型评估
2021-09-15 11:35:19
108
原创 LHY机器学习笔记-1
文章目录机器学习介绍寻找function的框架（Framework）机器学习相关技术regression 回归classification 分类learning map机器学习介绍人工智慧是我们想要达成的目标，而机器学习是想要达成目标的手段深度学习就是机器学习的其中一种方法machine learning 约等于 寻找一个function，要让机器具有一个能力，这种能力是根据你提供给他的资料，它去寻找出我们要寻找的function寻找function的框架（Framework）准备一个
2021-09-13 08:40:28
143
原创 DataWhale组队学习——DCIC赛事 task1
task1 学习baseline算法提交结果运行baseline后的评分如下图：运行代码时遇到的问题主要是安装库的时候遇到的问题，在这里mark一下：安装geohash库，报错常规方法pip install geohash后，还是报错，module not found，百度到解决办法如下：原来通过pip安装的是Geohash首先，把模块改个名字，Geohash -> geohash（路径看个人的环境，site-packages包下）接着，打开文件夹把__init__.py文件
2021-02-19 17:08:46
135
原创 PAT 乙级 1024 科学计数法
点击此处查看题目详情第6个测试点始终不过，先把代码记录在这里。等有空再改，欢迎大佬们来指出错误，嘻我的大体做法是 把给的数字字符串按照 格式分块取出来，再经过判断输出。#include <bits/stdc++.h>using namespace std;int main(){ char sf; // 数符 char z; //整数部分 char zs[5]; //指数部分 int zhi=0; //数字形式指数 char jf
2020-06-23 10:06:51
202
原创 《Java核心技术》学习笔记1
常量与常量池常量常量池常量常量：不会修改的变量 Java中没有为常量定义专属的关键字（例如 C++中有定义常量的关键字Const），而是采用多个关键字组合的形式 public static final下面对上述几个关键字进行解释：public 方便访问static 在类中只保留一份（对应常量只读）final Java中...
2020-04-11 16:50:01
96
原创 Verilog HDL数码管动态扫描
数码管动态扫描1.概述本程序实现的是以个递增的数码管显示模块，可供其他模块使用。每隔0.5秒数码管显示的数值加12.模块设计说明本实验由5个模块构成，由顶层模块（top）调用其它四个模块实现。1.clk_out 模块 本模块实现的功能是产生数码管刷新的cp信号，使数码管每隔4ms刷新一次。2.clk_s模块 本模块的功能将板卡上的100兆赫的时钟频率分频成2赫兹作为get_...
2019-04-13 11:06:44
4978
4
原创 【数据结构】停车场管理（栈与队列）
概要设计以栈模拟停车场，以队列模拟停车场外的便道 自定义数据结构，顺序栈与链队列停车场模拟的过程大致描述如下：初始化停车场栈、辅助栈和队列；从终端读入数据If(到达){ 判断停车场栈是否满； 若停车场栈不满 将车辆信息入停车场栈，输出车辆在停车场栈中位置； 否则 将车辆信息入队列，输出车辆在队列中位置；}else...
2019-04-13 10:42:55
3042
数据结构-栈和队列-停车场管理问题
2019-04-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人