算法
文章平均质量分 94
SHOUGOUGOU
这个作者很懒,什么都没留下…
展开
-
[转载]详解机器学习中的熵、条件熵、相对熵和交叉熵
1、信息熵(information entropy)熵 (entropy) 这一词最初来源于热力学。1948年,克劳德·爱尔伍德·香农将热力学中的熵引入信息论,所以也被称为香农熵 (Shannon entropy),信息熵 (information entropy)。本文只讨论信息熵。首先,我们先来理解一下信息这个概念。信息是一个很抽象的概念,百度百科将它定义为:指音讯、消息、通讯系统传输和处理的对象,泛指人类社会传播的一切内容。那信息可以被量化么?可以的!香农提出的“信息熵”概念解决了这一问题。.转载 2022-01-25 15:09:15 · 330 阅读 · 0 评论 -
DeepLearning 吴恩达深度学习第三课笔记
orthogonalization (正交化) 一个调整只带来一个方面的影响 评价标准 1 optimizing n-1 satisficing training set dev set test set dev开发集和test测试集来自同样的分布 样本划分 小样本100~10000 70%~30% 或者 6...原创 2020-07-27 23:46:06 · 151 阅读 · 0 评论 -
DeepLearning 吴恩达深度学习第二课笔记
改善深层神经网络 偏差、方差 减少偏差 更大的网络 减少方差 更多数据 正则化 正则化 (Regularization) L2正则 ||w||^2,w是高维参数,可以加b,也可以不加 正则化权重lambda过大时,w很小,wx+b接近0,经...原创 2020-07-24 22:22:32 · 166 阅读 · 0 评论 -
主题模型对比:LSA、pLSA、LDA
https://zhuanlan.zhihu.com/p/31470216前言本篇博文将详细讲解LDA主题模型,从最底层数学推导的角度来详细讲解,只想了解LDA的读者,可以只看第一小节简介即可。PLSA和LDA非常相似,PLSA也是主题模型方面非常重要的一个模型,本篇也会有的放矢的讲解此模型。如果读者阅读起来比较吃力,可以定义一个菲波那切数列,第 f(n) = f(n-1) + f(n-2) 天再阅读一次,直到这个知识点收敛。如果读者发现文章中的错误或者有改进之处,欢迎交流。1. 简介.原创 2020-08-05 21:02:10 · 2270 阅读 · 0 评论 -
LSA,pLSA原理及其代码实现
一. LSA1. LSA原理LSA(latent semantic analysis)潜在语义分析,也被称为 LSI(latent semantic index),是 Scott Deerwester, Susan T. Dumais 等人在 1990 年提出来的一种新的索引和检索方法。该方法和传统向量空间模型(vector space model)一样使用向量来表示词(terms)和文档(documents),并通过向量间的关系(如夹角)来判断词及文档间的关系;不同的是,LSA 将词和文档映射到潜转载 2020-08-05 20:58:26 · 981 阅读 · 0 评论