L__ear的博客

PCA 简介 主成分分析（PCA）是最流行的降维算法，通过把数据从高维映射到低维来降低特征维度，同时保留尽可能多的信息。 在进行图像识别以及高维度数据降维处理中有很强的应用性，算法主要通过计算，选择特征值较大的特征向量来对原始数据进行基变换，不仅可以去除无用的噪声，还能减少计算量；广泛应用于降维、有损数据压缩、特征提取、数据可视化等领域。 三个数学概念 方差：衡量变量的离散程度。 协方差：衡量两...

强化学习 强化学习和遗传算法优胜劣汰的思想类似，通过奖惩机制不断强化好的行为，弱化坏的行为。什么是好的行为，什么是坏的行为，这跟你要解决的具体问题有关，比如路径规划问题，走距离目标点较近的路线就是好的行为，走距离目标点较远的路线就是坏的行为。 强化学习包含四要素：agent、环境状态、行为和奖励，目标是获得最多的累计奖励。 Q learning Q learning 融合了马尔科夫过程和动态规划，...

LDA是文本建模领域很常用的主题模型。 先验分布、后验分布、共轭分布以及共轭先验分布 对于参数估计这个问题，频率学派认为参数是一个客观存在的定值，只是我们不知道是多少而已。而贝叶斯学派则认为参数不是一个定值，而是一个服从某一分布的随机变量，使用后验分布的均值或者极大值点作为参数的估计值。在这一参数估计的过程中，就有了先验分布、后验分布、共轭分布以及共轭先验分布的概念。 贝叶斯学派先验分布和后验分布...

信息论之父 C. E. Shannon 在 1948 年发表的论文“通信的数学理论（A Mathematical Theory of Communication）”中指出，绝大部分信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。 Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。 假设信息中...

LDA 吉布斯采样的公式推导，推导方法有很多种，本文根据《LDA数学八卦》和《Parameter estimation for text analysis》介绍两种推导方法...