- 博客(14)
- 收藏
- 关注
RSS订阅原创 Datawhale AI夏令营 机器学习组学习笔记
赛题数据由训练集和测试集组成，为了保证比赛的公平性，将每日日期进行脱敏，用1-N进行标识。即1为数据集最近一天，其中1-10为测试集数据。数据集由字段id（房屋id）、 dt（日标识）、type（房屋类型）、target（实际电力消耗）组成。
2024-07-14 22:13:32
131
原创 大模型面试题（四）
进行微调。这种方法可以利用预训练模型在大规模数据集上学到的通用知识，同时通过微调来适应特定任务。●层次微调: 与迁移学习类似,层次微调也是只更新模型的一部分参数，但是它更加灵活，可以选择性地微调模型的某些层。这种方法可以根据任务的复杂性和数据集的大小来调整微调的深度。●多任务学习:模型会在多个相关任务上同时进行训练，目的是让模型学会在不同任务之间共享知识。这种方法可以提高模型的泛化能力，并可能提高在特定任务上的性能。
2024-03-31 15:12:53
1115
1
原创 大模型面试题（三）
Diffusion模型的生成过程是通过逐步更新样本的概率分布来实现的。通过使用COT提示，模型可以按照逐步推理的方式生成输出,从而提高模型的性能和表现。在模型量化过程中，通常会对模型的权重参数、激活值和计算操作等进行优化和压缩，以减少模型的存储空间和计算复杂度，同时尽量保持模型的性能和准确度。在同一模型中联合训练多个不同但相关的任务,可以促进模型学习到更通用的表示,从而提高在新任务上的泛化性。2.训练难度: Diffusion 的训练相对复杂，需要一定的技术和经验来调整模型的参数和超参数。
2024-03-28 09:53:19
1203
1
原创 思维链(CoT)&思维树(ToT)
一.思维链示例来自于线上课程所学添加“请一步一步分析”：不添加“请一步一步分析”：（1）exp1（2）exp2实践体会：（1）个人觉得思维链这种技巧，在高级的模型上体现不明显，不使用"请一步一步分析"，使用gpt-4模型在情况下一样会返回true，使用gpt3.5少数情况下不使用思维链也会返回true（在较初级的模型上可能结合思维链效果体现的明显（2）实践结果确实体现出思维链的作用，即可以使AI把问题分解成多个步骤，然后逐步解决，输出的结果更加准确。
2024-03-28 02:17:05
669
1
原创 大模型面试题（二）
LLMs (Large Language Models)的复读机问题是指模型在生成文本时倾向于重复相同的短语或句子的现象。这种问题通常在生成较长文本时更为明显，可能导致生成的内容缺乏多样性，影响阅读体验和信息的准确传递。
2024-03-26 01:13:11
998
原创 P-Tuning v2 vs Prefix-tuning
重参数化(Reparameterization)即Prefix-Tuning 放在PrefixEncoder里的MLP层，然而P-tuning作者发现MLP的作用在不同的任务和数据集上有区别，在比如BoolQ and CoNLL12上有负作用。因此P-tuning v2中就把这个给去掉了，也就是那个MLP或者LSTM。在P-tuning v2文章中有说"Technically, our approach P-tuning v2 is not conceptually novel.
2024-03-25 15:29:57
427
1
原创 大模型面试题（一）
过高的学习率可能导致训练不稳定，而过低的学习率会导致训练速度过慢。使用如学习率衰减策略或者学习率预热（适合大规模训练/复杂网络结构）可以优化学习率设置。:较大的批量可以提高训练的稳定性和效率，但会增加内存需求。︰指令的长度应与任务复杂度相匹配，过长的指令可能导致模型难以学习，而过短的指令可能提供不了足够的信息。3.请解释P-tuning的工作原理，并说明它与传统的fine-tuning方法的不同之处。∶需要足够的训练周期来确保模型充分学习，但过多的训练可能导致过拟合。
2024-03-22 20:34:25
481
1
原创 5G网络技术
1.5G通信系统核心网，接入网，承载网（用于前传，中传，回传）（19’04”开始）3G和4G属于互联网阶段重点是对4G和5G的比较1.2RAN接入网，DN数据中心，上面一块和UPF是核心网，UPF分出来实现控制与用户面分离两种接口结构：下面的N1，N2，N3，N4，N6，N9是基于点对点的接口；上面的是基于服务化的接口...
2022-01-13 14:46:32
7134
原创 各个数据结构类型的应用
栈：(何时用栈？当需要“记忆”，即出现某个问题但凭现有条件不能解决，就用栈）1.判断是否为回文字符串#include<iostream>#include<stdio.h>#include<string.h>using namespace std;int main(){ char a[101],s[101]; int i,len,mid,top=0; gets(a); len=strlen(a); if(len%2
2021-09-06 19:53:16
140
原创 比特鹏哥网课笔记(结构体，枚举，联合体，通讯录项目）
1.结构体内存对齐（1）在设计结构体时，既要满足对齐，又要节省空间（让占用空间小的成员尽量集中在一起）struct s1{ char c1; char c2; int i;//占用8个字节struct s2{ char c1; int i; char c2;//占用12个字节（2）修改默认对齐数#pragma pack(4) //设置为4#pragma pack() //取消设置的默认对齐数（3）写一个宏，计算结构...
2021-08-31 17:07:17
2190
1
原创 欧拉筛中的小细节
看了别人写的代码，我只把原函数改了一个地方，就不输出了（++cnt改成了cnt++）,平时用的地方两者都一样，这次debug半天，发现居然错在了这里。（以下代码来自洛谷解析，我只是梳理自己的理解）#include<cstdio>#include<cstring> //可以改成万能头文件#include<bits/stdc++.h>bool isprime[1000000];//0表示不是质数，1表示是质数int prime[100000],cnt=0;//.
2021-08-24 20:57:37
96
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人