![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
猿球崛起
这个作者很懒,什么都没留下…
展开
-
[最优化]牛顿法和拟牛顿法
针对 无优化问题:min f(x) (f(x)二阶可导)牛顿法:对原函数进行二阶泰勒展开 ,在对展开式求一阶梯度▽f(x),并令▽f(x)=0,得 令x=xk 获得迭代公式,每次迭代可求得较小的值的x拟牛顿法:因为 海森矩阵求逆比较复杂,使用符合▽f(x)=0条件的矩阵代替...原创 2018-06-29 17:59:21 · 563 阅读 · 0 评论 -
[CRF] 条件随机场 统计学习方法例11.3 代码实践
def viterbi_CRF(y, t, s): """ 统计学习方法例11.3 :param y: 输出序列 :param t: 转移特征 [序列*y标记矩阵*[yi-1,yi]] :param s: 状态特征 [序列*y标记] :return: 最优路径的状态索引、概率最大值矩阵、节点矩阵 """ y_lable = len(t...原创 2018-06-30 20:32:30 · 376 阅读 · 0 评论 -
[HMM]统计学习方法 隐马尔科夫模型 例10.3 维特比算法代码实现
# !/usr/bin/python# -*- coding:utf-8 -*-import numpy as npdef optimal_path_viterbi(pi,A,B,O): """ :param pi: 初始概率 :param A: 状态转移概率 :param B: 观测概率 :param O: 观测序列 :return:...原创 2018-06-26 13:36:12 · 272 阅读 · 0 评论 -
[机器学习] 熵、交叉熵、相对熵、互熵、KL散度、互信息、信息增益、条件熵 根本区别与联系!
原创 2018-06-27 15:50:48 · 1498 阅读 · 0 评论 -
LDA 精简笔记
原创 2018-07-19 20:42:31 · 111 阅读 · 0 评论 -
[MCMC]马尔科夫链蒙特卡罗方法
1 蒙特卡罗方法:假设某个分布近似样本分布,通过接受-拒绝方法进行采样2 MCMC:1)输入我们任意选定的马尔科夫链状态转移矩阵QQ,平稳分布π(x)π(x),设定状态转移次数阈值n1n1,需要的样本个数n2n22)从任意简单概率分布采样得到初始状态值x0x03)for t=0t=0 to n1+n2−1: a) 从条件概率分布Q(x|xt)Q(x|...转载 2018-07-20 10:13:50 · 602 阅读 · 0 评论 -
sigmoid/逻辑回归/多元逻辑回归/softmax 区别
sigmoid function:二项逻辑回归 (binomial logistic regression model):多元逻辑回归(multi-nomial logistic regression model):多分类,Y的取之集合为{1,2,...,K}softmax :...原创 2018-07-28 23:39:26 · 2745 阅读 · 0 评论 -
[xgboost]自定义目标函数推导
XGboost 以下自定义目标函数经常用def log_reg(y_hat,y): p = 1.0/(1.0+np.exp(-y_hat)) g = p - y.get_label() #一阶梯度 gradient h = p*(1.0-p) #二阶导hession return g,h下面进行推导:逻辑回归形式:hθ(x)h′θ(x)p(y=1...原创 2018-08-04 15:58:56 · 1416 阅读 · 1 评论