- 博客(70)
- 收藏
- 关注
RSS订阅原创 损失函数与激活函数的适配
参考来源：项目文件预览 - easy-algorithm-interview-and-practice - GitCode
2024-04-02 17:12:09
212
原创 大模型评测指标与方法
第二、语言结构和语法的差异。例如中文是一种“主谓宾”结构的语言，而英文则是“主语动词宾语”结构的语言。如果我们要评测出现幻觉现象，要尽可能的少出现数学题，因为这样当模型算错时候，不知道是出于对逻辑的理解错误还是出于模型出现幻觉，所以问题在设置时候要尽可能简单但是多面。中文和英文的文本数据集在种类、规模、质量等方面存在很大的差异，需要针对中文特点开发相应的数据集，以确保评测结果的准确性和公正性。中文的词汇量非常大，而且存在很多歧义性，需要更复杂的处理方法和技术，如分词、词性标注、命名实体识别等。
2023-10-12 16:47:17
910
原创 矩阵分解PCA,SVD
协方差矩阵的特征向量是PCA主成分的方向。主成分分析（Principal Component Analysis，PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据转换为一组线性不相关的变量，转换后的变量被称为主成分。答案：事实上，通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值特征向量，选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵。这样就可以将数据矩阵转换到新的空间当中，实现数据特征的降维。
2023-10-09 20:46:32
377
原创 吴恩达《微调大型语言模型》笔记
微调的实用步骤：1）明确任务2）收集与任务输入和输出相关的数据，并对数据进行组织整理3）如果数据不够，可以借助AI生成或实用提示词模板来创建4）建议先微调一个小模型（例如 4亿-10亿参数），看一下模型的表现5）调整微调模型时的数据量，并观察对微调结果的影响6）评估模型，看看哪些做得好，哪些做得不好7）收集更多的数据，通过评估结果来持续改进模型8）提高任务的复杂度9）增加模型规模以适应这种复杂的任务参数高效微调方法 PEFT。
2023-10-08 16:30:20
857
原创 多任务总结
网络结构如图所示，同样的特征输入分别送往三类不同的专家模型（任务A专家、任务B专家、任务共享专家），再通过门控机制加权聚合之后输入各自的Tower网络。MMOE、PLE原论文中介绍的模型均是使用同样的原始特征输入各个不同的expert，也输入给第一层的gate。如果ple是多层的，比如两层，则每层的专家的架构相同，里面的隐藏单元数（512）相同。每个专家都会有一个门控出来的标量，针对不同任务和共享层的分数都是不一样的。ple共享专家是4个，每个任务都是独立的4个小专家。是门控值的概率分布，它的形状通常是。
2023-09-08 14:26:44
73
原创 deepfm内容理解
当我们使用DNN网络解决推荐问题的时候存在网络参数过于庞大的问题，这是因为在进行特征处理的时候我们需要使用one-hot编码来处理离散特征，这会导致输入的维度猛增。为了解决DNN参数量过大的局限性，可以采用非常经典的Field思想，将OneHot特征转换为Dense Vector，通过增加全连接层就可以实现高阶的特征组合。对于CTR问题，被证明的最有效的提升任务表现的策略是特征组合(Feature Interaction)；如何更好地学习特征组合，进而更加精确地描述数据的特点；如何更高效的学习特征组合。
2023-09-08 00:16:38
244
原创 深度学习模型调参经验
Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。3.batch_size在大数据集上尝试1024，2048等，都可以尝试。看看loss的下降情况，再选用效果更好的值。batch_size太小，收敛得慢，导致网络收敛不稳定，可能准确率来回震荡，因此需要把基础学习速率降低一些。2.确定epoch，是根据损失函数的值，画出损失函数曲线图，人工确认或者运用早停法。5.在多任务中，一般来说中间专家层层数越多，或者数量越多，所得精度越高。适配batch_size，一般10-3，10-4。
2023-09-06 22:04:14
347
原创 L1和L2正则
L1正则常被用来进行特征选择，主要原因在于L1正则化会使得较多的参数为0，从而产生稀疏解，我们可以将0对应的特征遗弃，进而用来选择特征。一定程度上L1正则也可以防止模型过拟合。L1损失函数相比于L2损失函数的鲁棒性更。
2023-09-05 21:17:43
102
原创 GBDT，XGBoost,CatBoost算法理解
Adaboost模型的决策边界比单层决策树的决策边界要复杂的多。值的注意的是：与单个分类器相比，Adaboost等Boosting模型增加了计算的复杂度，在实践中需要仔细思考是否愿意为预测性能的相对改善而增加计算成本，而且Boosting方式无法做到现在流行的并行计算的方式进行训练，因为每一步迭代都要基于上一部的基本分类器。ID3 和 C4.5 虽然在对训练样本集的学习中可以尽可能多地挖掘信息，但是其生成的决策树分支、规模都比较大，CART 算法的二分法可以简化决策树的规模，提高生成决策树的效率。
2023-09-01 16:11:58
253
原创 图神经网络学习
目的：训练一个图模型，使得该图模型可以区分图上的黄色节点和绿色节点。特征作为图的节点，颜色就是图的分类。图的度的概念：与节点相连的条数。邻接表记录的是后续邻居的信息；在新闻推荐中，节点是用户和新闻，用户会有一些特征，新闻也会有一些特征。边也会有自己的特征，比如用户阅读新闻的阅读时长、点击频率等；
2023-08-20 17:13:34
175
原创 LeetCode：Hot100python版本之回溯
切割问题的回溯搜索的过程和组合问题的回溯搜索的过程是差不多的。回溯法可以抽象为树形结构。只有在回溯算法中递归才会有返回值。回溯算法其实是纯暴力搜索。for循环嵌套是写不出的。
2023-08-19 16:34:50
203
原创 画图Bug：Backend QtAgg is interactive backend. Turning interactive mode on.画不出图
将38行由Agg改为TkAgg。
2023-05-09 09:12:33
360
1
原创 排序模型：DIN、DINE、DSIN
目录DIN输入输出：与transformer注意力机制的区别与联系：DINE改善DIN输入：DSIN动机：LGB适用与精排，论文： Deep Interest Network for Click-Through Rate PredictionDIN模型提出的动机是利用target attention的方法，进行加权pooling，它为历史行为的物品和当前推荐物品计算一个attention score，然后加权pooling，这样的方法更能体现用户兴趣多样性。DIN模型，增加了注意力机制，模型的创新点或者解决
2023-03-07 14:36:35
1460
原创 新闻推荐：YoutubeDNN（） got an unexpected keyword argument ‘num_sampled‘
原项目中用的代码是符合deepmatch==0.1.0的，但是根据包的不断更新，默认安装的deepmatch==0.9.3 比较新，对应的源码中的YoutubeDNN有了一些参数变化，跟着最新的源码修改即可。
2023-03-01 13:36:46
526
原创 sentence_transformers安装成功,但是不能import
sentence_transformers安装成功,但是不能import
2023-02-03 12:59:22
1819
原创 SQL:comment、BIGINT、partition by、insert overwrite 、bizdate
comment、BIGINT、partition by、insert overwrite、bizdate
2022-12-19 15:40:08
2509
1
原创 Colab运行沐神《动手学深度学习》：ImportError: cannot import name ‘_check_savefig_extra_args‘ from ‘matplotlib.back
ImportError: cannot import name '_check_savefig_extra_args' from 'matplotlib.backend_bases'
2022-11-08 11:11:59
1141
14
原创 jupyter notebook生成py文件
在一个jupyter notebook中代码最后写入：并将jupyter notebook的文件名称也改为设定的。，最后执行以下代码即可生成。
2022-10-25 11:12:36
1414
原创 Python问题：AttributeError: ‘str‘ object has no attribute ‘decode‘
AttributeError: 'str' object has no attribute 'decode'
2022-07-21 11:30:40
4087
原创 Python爬虫问题解决： SyntaxError: invalid syntax
import urllib.requestimport requestsurl = 'https://hz.lianjia.com/zufang/'headers = ( 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36')# headers = ('User-Agent':'Mo...
2022-03-30 12:07:03
2312
原创 MySQL: 获取数据库某个字段的特定几位，提取 日期
一、获取特定的几位：date字段值为（2019-12-13）1.取date的后5位select SUBSTRING(date,-5)from letter结果为12-132从左开始第6位取（包括第6位）select SUBSTRING(date,6)from letter结果为12-133取月份，从第6位取2位select SUBSTRING(date,6,2)from letter结果为12参考：MySQL获取或者查询数据库某个字段的特
2022-03-24 16:27:19
2171
原创 Python问题解决：TypeError: ‘＜‘ not supported between instances of ‘float‘ and ‘str‘
出错代码：#按区域得到每组的数据key = df[['区域','产品类别']].apply(tuple,axis=1)gp = df.groupby(key)for key,g in gp: print(f'{key}:{type(g)}')报错：TypeError: '<' not supported between instances of 'float' and 'str'解决方法：key = df[['区域','产品类别']].apply(tupl..
2022-03-23 16:37:02
14714
1
原创 MySQL学习：连接年月日，并查询查询从表中获取最新日期，活用Datediff()
一、连接年月日STR_TO_DATE(concat(stat_year,'-',stat_month,'-',stat_day),'%Y-%m-%d')是把年月日拼接成字符串之后再转车date类型二、查询从表中获取最新日期（1）查询从具有日期记录的表中获取最新日期create table ZZZZTable( DueDate date); #创建表insert i...
2022-03-22 15:49:41
3955
原创 Python问题:SyntaxError: invalid syntax
出错代码：# 中雨或大雨 并且温度高于33度的记录cond = ( '天气状况 in ('中雨','大雨')' #in表示是否存在， and 或or 表示逻辑关系 'and 最高温度 >= 33 ' )df_tmp.query(cond)问题：解决方法：将查询字符串改为双引号...
2022-03-17 15:58:07
729
原创 Python问题：UnsortedIndexError: ‘MultiIndex slicing requires the index to be lexsorted: slicing on lev
部分表：代码rows = idx['中山':'珠海','2019-07-02':'2019-07-04']cols = idx['白天',['最高温度','天气状况']]df.loc[rows,cols]问题：UnsortedIndexError: 'MultiIndex slicing requires the index to be lexsorted: slicing on levels [0, 1], lexsort depth 0'解决方法：因为pandas 需要
2022-03-16 16:59:04
2020
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人