![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ML
文章平均质量分 97
SunChao3555
请找到我,到了对的时候
https://www.lfd.uci.edu/~gohlke/pythonlibs/
展开
-
梯度提升树GBDT-XGBoost
目录一、构造目标函数:二、目标函数的近似三、把树的结构引入目标函数(参数化)1.参数化2.参数化3.利用定义的变量整合目标函数四、生成树的过程,利用贪心算法 主要根据贪心科技李文哲老师直播视频记录Bagging与Boosting二者都是由weak learner 组合而成,但有所区别:Bagging:Leverages unstable base l...原创 2020-04-19 19:47:07 · 460 阅读 · 0 评论 -
条件随机场CRF(Conditional Random Field)
⼀个重要的要求是,我们保留了推断的⾼效算法,它与链的长度是线性关系。例如,这要求,在给定观测的条件下,表⽰的后验概率分布的量在与转移概率和发射概率相乘然后在上求和或积分之后,我们得到的上的概率分布与上的概率分布具有相同的函数形式。这就是说,在每个阶段概率分布不可以变得更复杂,而仅仅是在参数值上发生改变。毫不令人惊讶的是,在多次相乘之后具有这个性质的唯一的分布就是指数族分布。实际应用中...原创 2019-11-11 16:41:08 · 453 阅读 · 0 评论 -
HMM(Hidden Markov Model)
目录HMM定义HMM的确定从⽣成式的观点考虑隐马尔科夫模型,我们可以更好地理解隐马尔科夫模型。HMM的参数 统一定义:HMM举例HMM的3个基本问题概率计算问题定义:前向概率-后向概率前向算法后向算法前后向关系单个状态的概率:两个状态的联合概率期望学习问题监督学习方法Baum-Welch算法(非监督学习方法)预测问题...原创 2019-04-30 11:36:26 · 1370 阅读 · 0 评论 -
EM算法和GMM高斯混合模型
---------------七月在线机器学习笔记 通过极大似然估计详细推导EM似然函数:找出与样本的分布最接近的概率分布模型,即找到可能分布模型的最佳参数假设分布为,每个样本相互独立,则为了简化求导,这里取对数似然函数: (1)但是,当给定的样本数据是不完整的或者某个特征是不确定的...原创 2019-04-20 16:43:42 · 470 阅读 · 0 评论 -
采样
--------七月在线机器学习笔记目录带拒绝的采样分析对某概率分布函数进行采样的意义用采样改造EM算法本身马尔科夫连模型概率转移矩阵马尔科夫随机过程的平稳分布马尔科夫随机过程与采样细致平稳条件设定接受率MCMC:Metropolis-Hastings算法改造MCMC算法二维Gibbs采样带拒绝的采样分析在对某区域f(x,y)≤...原创 2019-04-29 13:36:06 · 782 阅读 · 0 评论 -
主题模型
-----------七月在线机器学习笔记目录-----------七月在线机器学习笔记pLSA模型极大似然估计:N-文档数,M-单词数,K-主题数LDA(latent Dirichlet Allocation) Dirichlet分布:对称狄利克雷分布对称狄利克雷分布的参数分析LDA的解释LDA的详细解释:参数的学...原创 2019-04-21 20:19:37 · 955 阅读 · 0 评论 -
贝叶斯网络
条件概率:全概率公式:贝叶斯(Bayes)公式:朴素贝叶斯的假设 1.一个特征出现的概率,与其他特征(条件)独立(特征独立性)-------对于给定分类的条件下,特征独立 2.每个特征同等重要(特征均衡性)---------------七月在线机器学习笔记以文本分类为例:样本:1000封邮件,每个邮件...原创 2019-04-09 12:28:45 · 1353 阅读 · 0 评论 -
SVM and SMO(Sequencial Minimal Optimization)
主要参考1.SVM_SMO-Python代码实现 https://blog.csdn.net/zouxy09/article/details/172920112.通俗讲解SVM SVM---https://blog.csdn.net/v_JULY_v/article/details/76248373.SMO论文部分翻译解析 http://www.cnblogs.com/jerry...转载 2019-04-12 17:45:44 · 389 阅读 · 0 评论 -
Adaptive basis function models -----Adaboost
Adaptive basis function models------七月算法*机器学习笔记核方法:一个函数可以表示为多个基函数的加权求和 --当时,为线性基函数,这会给模型带来巨大的局限性,因此将输⼊变量的固定的⾮线性函数进⾏线性组合来拟合函数 ,为所有数据或部分数据,可认为变量x到每一个数据的距离核函数,可以看作度量两...原创 2019-04-02 18:07:52 · 621 阅读 · 0 评论 -
决策树与随机森林
七月在线机器学习笔记决策树决策树是一种树型结构,其中每个内部结点 表示在一个属性上的测试,每个分支代表一 个测试输出,每个叶结点代表一种类别。决策树学习是以实例为基础的归纳学习。决策树学习采用的是自顶向下的递归方法, 其基本思想是以信息熵为度量构造一棵熵值 下降最快的树,到叶子节点处的熵值为零, 此时每个叶节点中的实例都属于同一类。优点是: 它可以自学习。在学习的过...原创 2019-03-27 09:32:34 · 754 阅读 · 0 评论 -
Spectral Clustering 谱聚类
七月在线机器学习笔记#谱和谱聚类'''方阵的谱:方阵作为线性算子,它的所有特征值的全体谱半径:方阵最大的特征值矩阵A的谱半径:的最大特征值,T即转置谱聚类:一般的说,是一种基于图论的聚类方法,通过对样本数据的拉普拉斯矩阵的特征向量进行聚类,从而达到对样本数据聚类的目的。'''#谱分析的整体过程''' 给定一组数据x1,x2,...xn,记任意两个点之间的相似度(“距...原创 2019-03-26 15:52:18 · 802 阅读 · 0 评论 -
聚类算法之K-Means 和DBSCAN python实现
这里均采用欧氏距离实现#实践中,几种相似度计算的比较的重要性往往高于聚类算法本身class KMEANS(object): def __init__(self,n,clusters,data): self.results=None#分类结果 self.n=n self.mse=np.zeros(shape=(self.n,))#每...原创 2019-03-20 16:44:40 · 1343 阅读 · 0 评论 -
梯度下降(学习率优化,以F(w)=w^4为例)和拟牛顿
'''学习率α如何确定 使用固定学习率还是变化学习率? 学习率设置多大比较好?下降方向 处理梯度方向,其他方向是否可以? 可行方向和梯度方向有何关系?'''#----------------------------------------------#固定学习率的梯度下降:以h_w=w^4为例def fix_xr(): w0=1.5...原创 2019-03-07 12:52:42 · 580 阅读 · 0 评论 -
最大熵模型
七月在线机器学习笔记#熵如果一个随机变量x的可能取值为X={x1, x2,…, xk}。要用n位y: y1y2…yn表示(每位y 有c种取值)n的期望值至少为:一般地。我们令c为2(二进制表示),于是, X的信息量为将P(x=xi)写成普适公式即得研究函数f(x)=xlnx,x=[0,1]f'(x)=lnx + 1f''(x)=1/x [x>0,凸函数]...原创 2019-03-09 14:00:27 · 632 阅读 · 0 评论