机器学习
RealDuxy
在路上
个人微信:duxiyang430105
欢迎同行交流
展开
-
机器学习之模型评估
目录准确率 Accuracy:精确率 Precision ,召回率 recall综合评价一个排序模型的性能?Precision-Recall 曲线F1 scoreROC曲线(重要)绘制ROC曲线AUC面积与PR曲线对比评价回归模型指标 RMSE 平均根误差2. 余弦相似度, 余弦距离, 欧氏距离异同:余弦距离是不是严格定义的距离?3. 模型评估的方法HoldOut检验交叉验证自助法4. 超参数调优网格搜索随机搜索贝叶斯优化准确率 Accuracy:tp+fntp+tn+fp+fn\frac {tp+f原创 2020-12-20 19:47:41 · 396 阅读 · 0 评论 -
逻辑回归的简单推导(以二项逻辑回归为例)
二项逻辑回归模型二分类模型,每个分类由条件概率P(Y|X)表示,Y=1,0, X为实数条件概率分布P(Y=1∣x)=exp(w.x)1+exp(w.x)P(Y=1|x) = \frac {exp(w.x)}{1+exp(w.x)}P(Y=1∣x)=1+exp(w.x)exp(w.x)P(Y=0∣x)=11+exp(w.x)P(Y=0|x) = \frac {1}{1+exp(w.x)}P(Y=0∣x)=1+exp(w.x)1其中 输入x∈Rn+1x \in R^{n+1}x∈Rn+1, 输出$原创 2020-11-07 15:56:50 · 1373 阅读 · 0 评论 -
深度学习(一):神经网络, 反向传播, 梯度消失, 梯度爆炸, 激活函数(附numpy代码)
注:本文所提的神经网络在这里特质多层前馈神经网络一个简单的神经网络基础结构包括三个,线性映射,激活层,隐藏层。如图,输入层的输入向量经过一个线性映射,在经过一个激活层,到达了第一个隐藏层,随着网络的加深,重复线性映射,激活层,隐藏层的过程直至到达输出层。流程很简单,但是需要理解几个问题。1. 线性映射是什么?假设如图所示,输入向量为四维向量X=[x1,x2,x3,x4]X=[x_1,x_2,x_3,x_4]X=[x1,x2,x3,x4],则经过图中的权重矩阵W1W_1W1便是一次线性映射原创 2020-10-03 22:00:17 · 689 阅读 · 2 评论 -
从极大似然估计(MLE)角度看损失函数(loss function)
1. MLE的理解对于给定样本X=(x1,x2,...,xn)X =(x_1,x_2,...,x_n)X=(x1,x2,...,xn),我们推定模型参数θ\thetaθ,使得由该模型产生给定样本的概率最大,即似然函数f(X∣θ)f(X|\theta)f(X∣θ)最大。假设每个样本独立,似然函数为:likelihood(θ)=f(X∣θ)=∏i=1nf(xi∣θ)likelihood(\theta)=f(X|\theta) = \prod_{i=1}^{n}f(x_i|\theta)likelih原创 2020-10-03 12:53:24 · 4695 阅读 · 0 评论 -
条件随机场CRF(一): 条件随机场的三种表示
目录1. 条件随机场简述1.1 条件随机场定义2. 条件随机场的参数化形式(LinearCRF为例)3. 条件随机场简化形式4. 条件随机场的矩阵形式1. 条件随机场简述1.1 条件随机场定义设X,Y为两个随机变量,若由Y构成的无向图(随机变量为结点,变量之间的依赖关系为边)满足全局马尔科夫性(即构成马尔科夫随机场),即P(Yv∣X,Yw:w≠v)=P(Yv,Yw:w∼v)P(Y_v|X,Y_w:w\neq v) = P(Y_v,Y_w : w \sim v )P(Yv∣X,Yw:w=v)原创 2020-08-28 17:47:53 · 449 阅读 · 2 评论 -
隐马尔科夫模型(HMM)理解与总结
目录1. HMM模型概念1.1 HMM定义1.2 HMM实例2 HMM的三个问题:2.1 计算观察序列的概率2.1.1 前向算法2.1.2 后向算法2.1.3 利用前向概率和后向概率计算得到的重要的概率公式2.2 求解HMM参数2.2.1 已知观测序列和隐藏序列——最大似然2.2.2 已知观测序列,隐藏序列未知——鲍姆-韦尔奇算法2.3 解码隐藏序列——维特比算法本文系个人学习总结,为模型基础原理的概念性总结,不涉及数学原理即详细推导,若有详细了解需要,请参照文章末尾参考资料。1. HMM模型概念HM原创 2020-08-27 16:41:46 · 1433 阅读 · 0 评论