Machine Learning
pyxiea
双鸭山大学研究生,对深度学习、自然语言处理、推荐系统感兴趣
展开
-
树模型总结
树模型笔记Adaboost原理学习资料1、https://www.youtube.com/watch?v=LsK-xG1cLYA2、https://blog.csdn.net/v_JULY_v/article/details/40718799算法流程简记1、初始化/更新样本权重(学习资料1在11:32秒开始解释)2、根据所选择的不纯度指标计算每个特征的最优划分点,比较得到最优特征,得到一个树桩(stump)3、计算误差率(分错的样本的权重和)和这一轮得到的学习器在最终多个学习器中的加权系数(原创 2020-07-30 11:43:58 · 342 阅读 · 0 评论 -
算法面经汇总(2)
文章目录深度学习NLP海量数据其他深度学习⭐️ 画出RNN的结构图NLP模型公式笔记⭐️ 反向传播的原理BP算法推导——以矩阵形式⭐️ 梯度下降陷入局部最优有什么解决办法[1] 你的模型真的陷入局部最优点了吗[2] 梯度下降法的神经网络容易收敛到局部最优,为什么应用广泛?[3] 深度学习里,如何判断模型陷入局部最优?在高维问题中,梯度下降通常是收敛到鞍点或大块的平坦区域,...原创 2020-10-22 18:07:04 · 1125 阅读 · 0 评论 -
HMM与CRF笔记
本文为HMM与CRF学习笔记,方便日后可回顾完此文即可在面试中回答诸如“简单介绍下CRF”,“HMM是如何训练的”等问题.隐马尔可夫模型-HMM模型定义HMM的图结构如下:Y={y1,y2,...,yT}Y=\{y_1,y_2,...,y_T\}Y={y1,y2,...,yT}是长度为TTT的状态序列,X={x1,x2,...,xT}X=\{x_1,x_2,...,x_T\}X={...原创 2020-03-08 12:12:11 · 1251 阅读 · 1 评论 -
使用class weight和sample weight处理不平衡问题
class weight:对训练集里的每个类别加一个权重。如果该类别的样本数多,那么它的权重就低,反之则权重就高.sample weight:对每个样本加权重,思路和类别权重类似,即样本数多的类别样本权重低,反之样本权重高[1]^{[1]}[1]。PS:sklearn中绝大多数分类算法都有class weight和 sample weight可以使用。PytorchTensorf...原创 2020-03-01 21:25:40 · 19376 阅读 · 4 评论 -
正则项的原理、梯度公式、L1正则化和L2正则化的区别、应用场景
先对“L1正则化和L2正则化的区别、应用场景”给出结论,具体见后面的原理解释:L1正则化会产生更稀疏的解,因此基于L1正则化的学习方法相当于嵌入式的特征选择方法.L2正则化计算更加方便,只需要计算向量内积,L1范数的计算效率特别是遇到非稀疏向量时非常低实际使用时,L2正则化通常都比L1正则化要好,所以应优先选择L2正则化.PS:为方便书写,以下的向量w\boldsymbol ww省略...原创 2020-02-29 13:42:45 · 5234 阅读 · 0 评论 -
SVM笔记
SVM原理设数据集D={(x1,y1),(x2,y2),...,(xm,ym)},yi∈{−1,+1}D=\{(\boldsymbol{x_1},y_1),(\boldsymbol{x_2},y_2),...,(\boldsymbol{x_m},y_m)\},y_i \in \{-1,+1\}D={(x1,y1),(x2,y2),...,(xm,ym)},yi∈{−1,+1}。SV...转载 2020-02-23 12:49:23 · 204 阅读 · 0 评论 -
SVD为什么能降维、压缩、去噪
SVD的含义以及存在性证明对于任意的矩阵Am×nA_{m\times n}Am×n, 我们都可以找到正交矩阵Um×mU_{m\times m}Um×m、Vn×nTV^T_{n\times n}Vn×nT和矩阵Σm×n\Sigma _{m\times n}Σm×n使得Am×n=Um×mΣm×nVn×nTA_{m\times n}=U_{m\times m}\Sigma _{m\times ...原创 2019-11-07 12:38:27 · 2552 阅读 · 0 评论 -
吴恩达机器学习要点记录(上)
基础概念模型表示损失函数(cost function)含有两个参数的损失函数的图像含有两个参数的损失函数的等高线图梯度下降算法梯度下降算法用于求解含两个参数的损失函数的(局部)最小值示意图如下...原创 2019-06-05 13:32:34 · 551 阅读 · 0 评论 -
K折交叉验证与模型评估
K折交叉验证的原理见 https://www.jianshu.com/p/284581d9b189模型评估当使用十折交叉验证时,每次训练集为90%的数据,测试集为10%的数据。用这10%数据,我们可以计算出衡量误差的指标(例如RMSE),并且,我们还能得到10组对应测试集的预测值。接下来我们需要用这些数据做两件事情:计算10个RMSE值的均值和标准差。K折交叉验证使用的是数据的随机部...原创 2019-05-06 10:01:59 · 4198 阅读 · 7 评论