- 博客(5)
- 收藏
- 关注
RSS订阅转载 Lasso回归优化算法： 坐标轴下降法与最小角回归
前面的文章对线性回归做了一个小结，文章在这： 线性回归原理小结。里面对线程回归的正则化也做了一个初步的介绍。提到了线程回归的L2正则化-Ridge回归，以及线程回归的L1正则化-Lasso回归。但是对于Lasso回归的解法没有提及，本文是对该文的补充和扩展。以下都用矩阵法表示，如果对于矩阵分析不熟悉，推荐学习张贤达的《矩阵分析与应用》。1. 回顾线性回归 首先我们简要回归下线性回归的一般形...
2018-03-15 11:57:49
1378
转载 显著性检验理解
https://wenku.baidu.com/view/c16e77e8af1ffc4ffe47acdc.html无论你从事何种领域的科学研究还是统计调查，显著性检验作为判断两个乃至多个数据集之间是否存在差异的方法被广泛应用于各个科研领域。笔者作为科研界一名新人也曾经在显著性检验方面吃过许多苦头。后来醉心于统计理论半载有余才摸到显著性检验的皮毛，也为显著性检验理论之精妙，品种之繁多，逻辑之严谨所...
2018-03-12 11:58:33
13032
转载 玻尔兹曼分布推导
熵的理解（玻尔兹曼分布）0. 玻尔兹曼分布网络中任意两个状态出现的概率与对应能量之间的关系：P(α)P(β)=exp(−E0/T)exp(−E1/T)P(α)P(β)=exp(−E0/T)exp(−E1/T)从式中可以得出两点结论，（1）BM 网络处于某一状态（P(x=α)P(x=α)）下的概率主要取决于此状态下的能量 EαEα，能量越低，出现的概率越大；（2）BM 网络处于某一状态的概率还取...
2018-03-08 11:46:06
8122
1
转载 玻尔兹曼分布，模拟退火，逻辑回归，最大似然关系
看了一些机器学习的论文，我一直有一个困惑：有的文章训练时写的公式是最小化代价函数，有的文章训练时写的是一个跟自然对数有关的概率分布，这是为什么？经过一番学习，终于有了答案。在这个过程中，还有一个意外收获：那就是著名的逻辑斯第函数的由来。物理上和统计上的玻尔兹曼分布热平衡在物理学领域通常指温度在时间或空间上的稳定。在统计学习中，如果我们将需要学习的模型看成高温物体，将学习的过程看成一个降温达到热平衡...
2018-03-07 18:47:44
2220
转载 遗传算法白话篇
转载于： http://blog.csdn.net/u010451580/article/details/51178225三：遗传算法 照例先给出科学定义： 遗传算法（Genetic Algorithm, GA）起源于对生物系统所进行的计算机模拟研究。它是模仿自然界生物进化机制发展起来的随机全局搜索和优化方法，借鉴了达尔文的进化论和孟德尔的遗传学说。其本质是一种高效、并行...
2018-03-07 11:34:25
409
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人