机器学习知识点
文章平均质量分 50
机器学习
hionechance
专注于计算机视觉、推荐系统方向研究与实践,欢迎交流
展开
-
ROC/AUC
转自https://zhuanlan.zhihu.com/p/349366045 -- 写的非常好摘录其中的一些描述ROC曲线用FPR和TPR分别作横纵坐标,AUC为ROC曲线下面积FPR表示,在所有的恶性肿瘤中,被预测成良性的比例。称为伪阳性率。伪阳性率告诉我们,随机拿一个恶性的肿瘤样本,有多大概率会将其预测成良性肿瘤。显然我们会希望FPR越小越好。TPR表示,在所有良性肿瘤中,被预测为良性的比例。称为真阳性率。真阳性率告诉我们,随机拿一个良性的肿瘤样本时,有多大的概率...原创 2021-08-29 18:07:22 · 282 阅读 · 0 评论 -
Word2Vec
原理入门:https://zhuanlan.zhihu.com/p/26306795进阶:https://zhuanlan.zhihu.com/p/114538417 详细介绍层次softmax与negative sampling原创 2021-08-29 16:24:29 · 175 阅读 · 0 评论 -
机器学习-前向神经网络
《百面机器学习》读书笔记神经网络中的激活函数引用书中的一段话“真实情况中, 我们往往会遇到线性不可分问题(如XOR异或函数) , 需要非线性变换对数据的分布进行重新映射。 对于深度神经网络, 我们在每一层线性变换后叠加一个非线性激活函数, 以避免多层网络等效于单层线性函数, 从而获得更强大的学习与拟合能力。”Sigmoid / Tanh / ReLU(主流的中间层激活函数)Sigmoid及Tanh在变量值很大或者很小时,会出现梯度消失的现象。ReLU具备非饱和性及单侧抑制能力。.原创 2021-08-22 18:18:14 · 251 阅读 · 0 评论 -
机器学习-优化算法
《百面机器学习》读书笔记损失(目标)函数二分类问题Loss0-1损失(非凸,难以优化)--> hingle损失(fy=1时不可导,无法用梯度下降优化)--> logistic损失(任意点都惩罚)--> 交叉熵损失回归问题Loss平方损失、绝对值损失优化算法梯度下降法(GD)遍历所有的样本,求梯度然后更新参数,计算量大随机梯度下降法(SGD)利用单个样本的损失求梯度,然后更新参数,方差大,不稳定小批量梯度下降法(BSGD)遍...原创 2021-08-22 17:33:04 · 137 阅读 · 0 评论 -
机器学习-无监督算法
《百面机器学习》读书笔记无监督包括两类学习方法:数据聚类 与 特征变量关联。聚类算法通过多次迭代寻找数据的最优分割,特征变量关联利用相关性分析方法得到变量间的关系。Kmeans Kmeans++相对于Kmeans的改进:除了第一个初始聚类中心随机选取外,其他初始聚类中心的选择离现有聚类中心越远越好ISODATA相对于Kmeans而言,无需确定聚类中心个数,通过动态的拆分类别或聚合类别达到聚类的目的。因此ISODATA需要设定参数来指导类...原创 2021-08-22 16:41:14 · 1153 阅读 · 0 评论 -
机器学习-模型评估
《百面机器学习》读书笔记模型评估分为离线评估与在线评估离线评估分类问题准确率Acc(在正负样本不均衡,且少数样本更重要时失效)精确率Precision:分类正确的正样本个数/分类器判定为正样本的样本个数;TopN@Precision:对于排序问题,将范围限定在前N个,认为前N个是模型判定的正样本召回率Recall: 分类正确的正样本个数/真实的正样本个数;TopN@Recall:对于排序问题,将范围限定在前N个,认为前N个是模型判定的正样本PR曲线F1-Sc...原创 2021-08-22 15:39:52 · 155 阅读 · 0 评论 -
机器学习-特征工程
《百面机器学习》读书笔记对于一个机器学习问题,数据和特征决定结果的上限,模型和算法的选择和优化是逼近这个上限。特征工程:去除原始数据中的杂质和冗余,设计更高效的特征来刻画求解的问题和模型之间的关系。结构化数据 -- 数值类型、类别类型数值类型归一化:线性函数归一化、零均值归一化(基于梯度下降优化的模型能够更快收敛)类别特征编码:独热编码、序号编码、二进制编码。组合特征:一般出现在类别特征编码的交叉组合,形成二阶及高阶特征(参数过多,使用矩阵分解求解)非结构化数据 -- 文本、.原创 2021-08-22 15:04:08 · 105 阅读 · 0 评论 -
多层神经网络BP算法权值更新过程
bp神经网络权值更新图示转载 2017-07-31 17:28:07 · 2901 阅读 · 2 评论 -
神经网络浅讲:从神经元到深度学习
深度学习白话文叙述,通俗易懂转载 2017-07-27 16:57:22 · 1068 阅读 · 0 评论