机器学习理论知识
文章平均质量分 76
#苦行僧
这是我随心所欲记录笔记的地方,喜欢的方向:| NLP | CV | ML | 搜广推 | SE+AI |。
展开
-
玄学调参实践篇 | 深度学习模型 + 预训练模型 + 大模型LLM
玄学调参实践篇 | 深度学习模型 + 预训练模型 + 大模型LLM原创 2023-11-29 16:34:59 · 1449 阅读 · 0 评论 -
Sklearn中不同的数据抽样验证方式
普通交叉随机抽样验证:train_test_split():from sklearn.model_selection import train_test_splitx_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2)from sklearn.model_selection import (TimeSeriesSplit, KFold, ShuffleSplit,原创 2021-07-21 11:12:50 · 1859 阅读 · 2 评论 -
机器学习与数据挖掘中的Data Discretization(数据离散化)
看到一些ML任务中对数据预处理,会将连续型数值特征离散化,Why?Reason:1.一些ML算法如DTree,NB,LR等都是基于离散型数值特征展开建模的。2.相比连续型特征,离散型特征更易理解。如一个人的颜值为1-10分。规定1-4为低颜值,5-7中等颜值,7-10高颜值,这样离散化后更易理解。3.可以有效克服数据中隐藏的缺陷,是模型结果更稳定。4.有效的离散化能减小算法时间和空间的开销,提高模型的分类、聚类、抗噪能力。Method: 无监督: 以下方法的快速实现,可基于panda原创 2021-07-27 16:36:16 · 1302 阅读 · 0 评论 -
深度学习中Batch Normalization和Layer Normalization区别
BatchNorm:batch方向做归一化,计算NHW的均值 LayerNorm:channel方向做归一化,计算CHW的均值 Why use Normalization? 神经网络学习过程的本质就是为了学习数据分布,如果我们没有做归一化处理,那么每一批次训练数据的分布不一样,从大的方向上看,神经网络则需要在这多个分布中找到平衡点,从小的方向上看,由于每层网络输入数据分布在不断变化,这也会导致每层网络在找平衡点,显然,神经网络就很难收敛了。当然,如果我们只是对输入的数据进行归一化处理(比如将输入的原创 2021-03-24 19:02:20 · 514 阅读 · 0 评论