机器学习
文章平均质量分 50
hellozgy
这个作者很懒,什么都没留下…
展开
-
HMM & CRF
主要介绍HMM和CRF在序列标注问题中的应用。原创 2021-04-27 15:44:06 · 164 阅读 · 0 评论 -
文本分类:[google]PRADO: Projection Attention Networks for Document Classification On-Device
可以参考对textcnn的改进点:每个kernel使用两只cnn,其中一只作为softmax计算另一支的attention,取代textcnn的max-pool原创 2020-10-24 18:20:55 · 306 阅读 · 0 评论 -
深度特征工程:[google]DCN-M: Improved Deep & Cross Network for Feature Cross Learning in Web-scale Learning
参考:https://mp.weixin.qq.com/s/0qidwbxyfTkODTw2DIiRWw 代码 1、贡献 DNN在特征交叉学习上比较低效,DCN[1]可以高效的学习高阶的特征交叉,本文在DCN的基础上,提出一种改良版的DCN-M模型。 2、回顾DCN的结构 图中输入包括连续特征和向量, 模型分两支,一是DNN模型,一是Cross Net,最终两者的输出concat一起经过FFN输出。 CrossNet的公式如下: 公式的矩阵显示是: 式中w和b都是d维向量,因此每增加一层增加2d个参数原创 2020-10-21 11:51:17 · 718 阅读 · 0 评论 -
tensorflow知识点
expand_dims(tensor, dim=2) # 扩展纬度原创 2019-11-28 16:57:37 · 294 阅读 · 0 评论 -
降维方法
1. PCA (主成分分析) 在信号处理中认为信号具有较大的方差,噪声有较小的方差 将数据映射后在每个维度方差都最大。 2. LDA(线性判别分析) LDA的思想可以用一句话概括,就是“投影后类内方差最小,类间方差最大”。什么意思呢? 我们要将数据在低维度上进行投影,投影后希望每一种类别数据的投影点尽可能的接近,而不同类别的数据的类别中心之间的距离尽可能的大。...原创 2018-04-02 23:06:45 · 274 阅读 · 0 评论 -
ROC和AUC
指标物理意义 假设分类器的输出是样本属于正类的socre(置信度),则AUC的物理意义为,任取一对(正、负)样本,正样本的score大于负样本的score的概率。 计算方式 第一种方法取每一个分数作为阈值,划分0和1,然后求得真阳率(TP/(TP+FN))和假阳率(FP/(FP+TN)),然后绘制ROC曲线(真阳率为纵轴,假阳率为横轴),求得ROC曲线的面积就是AUC值。 第二种方法:...原创 2018-04-01 11:52:04 · 419 阅读 · 0 评论 -
决策树和随机森林
1.决策树构建:从当前节点的属性集合中选择一个属性就行划分,使得划分后节点的纯度增高,一直到终止条件:a.借点所有样本属于同一类。b.没有可划分的属性。c.当前节点已经没有可划分的样本2.属性选择可以通过信息增益最大(ID3)或者信息增益比最大(解决信息增益比较偏好有更多属性值的属性的问题)(C4.5)或者划分后基尼指数最小(CART)来做。3.剪枝a.预剪枝:在决策树生成过程中,对每个节点进行划...原创 2018-03-22 10:07:51 · 326 阅读 · 0 评论 -
防止过拟合的方法
Early stopping数据增强正则化方法(L1、L2)Dropout原创 2018-03-30 21:08:24 · 325 阅读 · 0 评论 -
正则
1.为什么L2不稀疏:理解一:稀疏则表示在0点处于最小值,而L2的导数在-0那里基本不为0。因为L2项在0点处导数是0, 所以如果原来的损失函数在0点处倒数不为0,那么正则后的损失函数在0点处的导数就不为0。而施加 L1 regularization 时,只要 regularization 项的系数 C 大于原先费用函数在 0 点处的导数的绝对值,x = 0 就会变成一个极小值点。理解二:2.L1...原创 2018-03-30 19:45:00 · 213 阅读 · 0 评论 -
svm问答
1.为什么高斯核能够拟合无穷维度:因为他可以无穷泰勒展开。2.参数C和σ :前者表示对误差的惩罚,越大说明对误分类的惩罚越大,模型非线性拟合越好,越容易过拟合,越小则容易欠拟合。后者表示高斯分的形状,越大说明在均值那里越抖,支持向量越少,值越小支持向量越多,影响计算复制度。...原创 2018-03-30 19:39:48 · 230 阅读 · 0 评论 -
推导LR
转载自:https://blog.csdn.net/ltlitao717/article/details/75453480转载 2018-03-30 18:53:49 · 482 阅读 · 0 评论 -
Adaboost和GBDT
1. Adaboostboost算法通过学习一系列的弱分类器,通过加权得到一个强分类器Adaboost首选假设每个样本权值相通为1/N。然后学习第一个分类器,然后计算样本在该分类器下的误差率(误分类样本的加权和):根据误差率得到一个系数,这个系数也是当前这个分类器的权重:然后更新样本的权重:然后根据新的样本分布去训练一个新的分类器。最后的分类器可表示为这些分类器的加权和:2. GBDT讲GBDT之...原创 2018-03-22 14:26:51 · 3102 阅读 · 0 评论