【机器学习】
文章平均质量分 65
Bruce-XIAO
这个作者很懒,什么都没留下…
展开
-
增加负样本对二分类precision, recall指标的影响
增加负样本对二分类precision, recall指标的影响原创 2024-03-04 17:26:57 · 249 阅读 · 0 评论 -
样本不均衡问题及解决方法
采样方法原创 2023-02-28 00:35:58 · 798 阅读 · 0 评论 -
论文阅读笔记:Attention is All You Need
Transformer原创 2023-01-18 22:01:15 · 795 阅读 · 0 评论 -
XGBoost论文阅读
XGBoost模型原创 2023-01-06 00:10:53 · 816 阅读 · 6 评论 -
L1、L2正则化的比较
L1、L2正则化的比较转载 2022-12-31 17:32:49 · 143 阅读 · 0 评论 -
L2正则化的理解
L2正则化的理解原创 2022-12-20 22:36:06 · 487 阅读 · 0 评论 -
对标准化与最大最小归一化的理解
标准化与最大最小归一化1.介绍在时间序列预测中,经常要做数据的归一化,防止梯度下降时走之字形路线以加快收敛,梯度爆炸等问题;对此做个记录。2.实现def standard_scaler(data,mean,std): return (data-mean)/stddef minmax_scaler(data,min,max): return (data-min)/(max-min)3.异同点同:对数据进行缩放,中心化异:压缩后的均值不同。 最大最小归一化对异常值敏感,有较大原创 2022-04-09 18:15:20 · 3148 阅读 · 0 评论 -
为什么分类问题不使用MSE(平方损失函数)
链接原创 2022-03-23 20:34:05 · 1133 阅读 · 0 评论 -
LSTM时间序列预测
LSTM时间序列预测步骤1.生成数据集2.分训练集和测试集,并且需要对数据进行time windows分割3.创建滑窗数据集4. 定义lstm模型5. 定义超参数6. 定义训练过程注意的点:单步预测,输出只取lstm最后一步;预测过程中上一步的输出作为下一步的输入关于lstm 模型rnn = nn.LSTM(10, 20, 2) (input_size,hidden_size,num_layers)input = torch.randn(5, 3, 10) (seq_len,bat转载 2021-12-09 21:19:31 · 5657 阅读 · 0 评论 -
二分类损失函数及AUC指标
pytorch实现二分类器主要问题在于输入输出,以及损失函数设置from sklearn.metrics import roc_auc_scoreimport torch.nn.functional as Fimport torch.nn as nnimport torchclass Net(nn.Module): def __init__(self,in_dim,hidden_dim,out_dim=1): super().__init__() self.fc1 =原创 2021-07-27 19:59:44 · 4086 阅读 · 0 评论 -
MAPE低而RMSE高?
遇到一个奇怪的问题,RMSE和MAE很低,而MAPE居高,不知道为啥而另一个对比实验则很低。先记录,找到原因再更新。原创 2020-12-22 18:52:53 · 4022 阅读 · 6 评论 -
Self-attention 和Multi-head attention
self attention:标度点积class ScaledDotProductAttention(nn.Module): def __init__(self): super(ScaledDotProductAttention, self).__init__() def forward(self, Q, K, V, attn_mask): ...原创 2020-06-09 12:00:41 · 1473 阅读 · 0 评论 -
CNN用于文本分类
详见:http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/CS231n:CS231n Convolutional Neural Networks for Visual RecognitionLSTM:http://colah.github.io/posts/2015-08-Und...转载 2020-02-03 23:08:48 · 491 阅读 · 0 评论 -
熵、条件熵、相对熵的介绍
熵的定义熵是热力学中的概念,表示体系混乱程度的度量。在计算机领域中,熵通常用来表示信息的不确定性程度。信息量的度量就等于不确定性的多少,信息量越大,不确定性越高,熵越大。例如:有人说广东下雪了。 我们是十分不确定的。因为广东几十年来下雪的次数寥寥无几。为了搞清楚,我们就要去看天气预报,新闻,询问在广东的朋友,而这就需要大量的信息,信息熵很高例如:太阳从东边出来。这句话是确定的,信息量非...原创 2019-11-10 09:57:03 · 2031 阅读 · 0 评论 -
一文搞懂HMM(隐马尔可夫模型)
一文搞懂HMM(隐马尔可夫模型) 什么是熵(Entropy)简单来说,熵是表示物质系统状态的一种度量,用它老表征系统的无序程度。熵越大,系统越无序,意味着系统结构和运动的不确定和无规则;反之,,熵越小,系统越有序,意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化,组织化,复杂化状态的一种度量。熵最早来原于物理学...转载 2019-08-12 17:08:46 · 963 阅读 · 0 评论 -
× 我的机器学习笔记(一) - 监督学习vs 无监督学习
× 我的机器学习笔记(一) - 监督学习vs 无监督学习 监督学习(Supervised Learning)在监督学习中,给定一组数据,我们知道正确的输出结果应该是什么样子,并且知道在输入和输出之间有着一个特定的关系。这么说可能理解起来不是很清晰,没关系,后面有具体的例子。监督学习的分类监督学习可分为“回归”和转载 2018-01-23 22:32:01 · 492 阅读 · 0 评论