机器学习
文章平均质量分 79
Last_xuan1
这个作者很懒,什么都没留下…
展开
-
HMM
HMM设隐藏状态序列,及其状态值的集合,ZZZ 为离散型随机变量,有 mmm 种取值Z=z1,z2...zT,Q={q1,q2,...qm}Z=z_1,z_2...z_T, Q=\{q_1, q_2,...q_m\}Z=z1,z2...zT,Q={q1,q2,...qm}设观测序列,及其观测值的集合X=x1,x2,...xT,V={v1,v2,...vT}X = x_1, x_2,...x_T,V=\{v_1, v_2,...v_T\}X=x1,x2,...xT,V={v原创 2020-08-09 14:13:17 · 218 阅读 · 0 评论 -
Pytorch 实现逻辑回归
因为项目的原因,要使用逻辑回归进行CTR预估,可以进行权重实时更新,并且对每个用户要使用提前计算好的权重初始化模型(自定义模型权重参数),在sklearn没有找到这个功能,所以自己写一个,顺便练习一下神经网络的写法步骤:定义模型前向求损失反向求梯度利用梯度更新模型权重代码:import torchfrom torch import nnfrom torch.autograd ...原创 2020-02-16 12:38:25 · 530 阅读 · 0 评论 -
sklearn 模型在线学习、增量更新实现 (以SGD方式训练LR为例)
sklearn online learning在 sklearn官方文档里以 online 为关键字进行检索在线学习是可以通过小批量的数据迭代更新模型的权重,增量训练方法看 partial_fit,于是检索了一下 partial_fit,介绍如下:不同与使用fit方法,partial_fit 方法不需要清空模型(不用清空模型原来就学习好的权重),只需要每次用小批量的数据进行 partia...原创 2020-02-13 17:35:30 · 7691 阅读 · 5 评论 -
DL学习 Day1:从线性回归理解神经网络底层构建
线性回归Day 1 打卡。。。线性回归的基本要素评估误差单个样本的误差l(i)(w,b)=12(y^(i)−y(i))2,l^{(i)}(\mathbf{w}, b) = \frac{1}{2} \left(\hat{y}^{(i)} - y^{(i)}\right)^2,l(i)(w,b)=21(y^(i)−y(i))2,小批量样本的误差,对 batch 里面的每个样本求...原创 2020-02-11 23:25:42 · 219 阅读 · 0 评论 -
FM 模型推导
FM 模型推导论文地址:https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf在使用 LR 的时候,要进行大量的特征工程,如对离散值进行独热编码,在进行大量的独热编码之后,特征矩阵会变得非常稀疏。在特征创建的时候,两两特征进行组合,由于特征向量过于稀疏,无法学习到很多组合特征的权重,FM 模型在 LR 模型的基础上,多了特征两两组合...原创 2020-02-08 12:06:25 · 467 阅读 · 0 评论 -
隐语义模型 LFM 推导
文章目录算法应用场景问题分析算法推导推导损失函数求解损失函数梯度下降法交替最小二乘法开源库算法应用场景在推荐系统中,要根据用户的历史行为(点击、收藏、评分等),挖掘用户感兴趣的物品进行推荐(一般用作推荐系统里面的召回算法,来召回候选集)。这个问题就可以转换成:给定 用户-物品 的评分矩阵(稀疏矩阵),根据评分矩阵里面已有的评分,预测评分矩阵里面空缺的评分,然后对于每个用户,为其对应的物品向量的...原创 2020-02-04 18:49:35 · 500 阅读 · 0 评论 -
xgBoost原理推导
文章目录xgBoost推导1. xgboost的目标函数2. 第t颗树的学习3. 对目标函数进行二阶泰勒展开4. 定义一颗树5. 树的复杂度6. 对样本落入的叶子结点进行分组7. 树结点的分裂8. 寻找最优分裂结点9. 树的停止生长xgBoost推导1. xgboost的目标函数xgboost的目标函数定义为:损失函数 + 所有树的复杂度Obj=∑i=1nl(yi,yi^)+∑k=1KΩ(...原创 2019-10-24 14:45:50 · 308 阅读 · 0 评论 -
关联规则 & Apriori算法
associati analysis关联分析用来在大规模数据中发现某些潜在的关系,这些关系可以有两种形式频繁项集:经常出现在一起的东西的集合关联规则:两种东西之间存在强关系concept频繁项集中的频繁如何来度量呢?用支持度和可信度来度量项集:不同物品组成的集合**支持度(support)**表示X,Y同时出现的概率,公式表示如下**置信度(confidence)**表示发...原创 2019-09-08 13:59:25 · 1236 阅读 · 0 评论 -
逻辑回归原理,推导,及sklearn中的使用
文章目录Logistic Regression1 从线性回归过渡到逻辑回归2 逻辑回归的损失函数2.1 逻辑回归损失函数的推导2.2 梯度下降法2.3 正则化3 用逻辑回归进行多分类4 sklearn中的 LogisticRegression4.1 max_iter4.2 penalty & C4.3 multi_class4.4 solver4.5 class_weight5 逻辑回...原创 2019-08-27 14:02:24 · 761 阅读 · 0 评论 -
k-Means算法实现
import numpy as np# 计算欧式距离def euclDistance(vector1, vector2): return np.sqrt(sum((vector2 - vector1) ** 2))# 初始化质心def initCentroids(dataSet, k): n_samples, n_feature = dataSet.shape ...原创 2019-08-05 17:43:11 · 218 阅读 · 2 评论 -
决策树算法实现(ID3分类树)
此处为ID3决策树,C4.5和cart决策树只要把对比的量更改即可import numpy as npimport pandas as pdfrom pandas import DataFrame, Seriesdata = {'no surfacing': [1, 1, 1, 0, 0], 'flippers': [1, 1, 0, 1, 1], 'fi...原创 2019-07-30 09:47:16 · 566 阅读 · 0 评论