机器学习
_朝闻道_
心不唤物,物不至
展开
-
机器学习:线性回归和正则化
线性回归和正则化 有空把理论证明补上,突然想起来写的,QAQ有时候特征太多,会导致过拟合的现象,我们可以通过观察,手动减少特征的个数,去掉感觉上不重要的特征。我们也可以保留所有的特征,但是减少特征变量的数量级,来削弱其影响。 在线性回归中,代价函数一般选均方误差,是从极大似然估计推过来的,我们要让代价函数最小。 参考:https://blog.csdn.net/yzheate...原创 2018-09-04 11:01:40 · 770 阅读 · 0 评论 -
机器学习:sklearn入门
机器学习库sklearn 在搞python爬虫之前草草地学了一下python数据分析和机器学习实战这两本书,懂一点数据结构和算法。但是最方便的莫过于 import sklearn 了。当时是看某个视频学习了一下,只有一点印象。刚好过几天要国赛,就简单复习一下库的使用好了。搞机一套流程:获取数据 -> 数据预处理 -> 训练建模 -> 模型评估 -&原创 2018-09-04 17:38:29 · 303 阅读 · 0 评论 -
极大似然估计与熵
极大似然估计与交叉熵概统学了没多久又忘了,没理解透彻,这次稍微复习一下。一、 极大似然估计在已知试验结果的情况下,用来估计满足这些样本分布的参数,把可能性最大的参数作为真实的参数估计。p(x∣θ)p(x|\theta)p(x∣θ),xxx表示样本,θ\thetaθ表示参数,样本已经发生了,我们要求的就是一个参数,让样本发生的概率最大,即p(x∣θ)p(x|\theta)p(x∣θ)最大。...原创 2018-09-21 22:53:26 · 577 阅读 · 0 评论 -
岭回归和Lasso回归
Lasso回归算法: 坐标轴下降法与最小角回归法小结 前面的文章对线性回归做了一个小结,文章在这: 线性回归原理小结。里面对线程回归的正则化也做了一个初步的介绍。提到了线程回归的L2正则化-Ridge回归,以及线程回归的L1正则化-Lasso回归。但是对于Lasso回归的解法没有提及,本文是对该文的补充和扩展。以下都用矩阵法表示,如果对于矩阵...原创 2018-10-27 10:16:45 · 334 阅读 · 0 评论 -
PCA
XXTXX^TXXT是协方差矩阵,忽略1/n,系数对求解没影响。这里X已经去中心化了。原创 2018-11-02 21:34:37 · 105 阅读 · 0 评论 -
LDA
Fisher准则函数这里∑0=ωT(Xj−μj)(Xj−μj)Tω,j=0\sum_0=\omega^T (X_j-\mu_j)(X_j-\mu_j)^T\omega, j=0∑0=ωT(Xj−μj)(Xj−μj)Tω,j=0这里样本默认为列向量,n维。...原创 2018-11-02 22:03:03 · 147 阅读 · 0 评论 -
逻辑回归于线性回归的联系
对于逻辑回归来说,输出 y∈{0,1}~ y \in\{0,1\} y∈{0,1}逻辑回归的sigmoid输出大小为预测1的概率。则有P(y=1∣x,θ)=hθ(x)P(y=1|x,\theta)=h_\theta(x)P(y=1∣x,θ)=hθ(x)P(y=0∣x,θ)=1−hθ(x)P(y=0|x,\theta)=1-h_\theta(x)P(y=0∣x,θ)=1−...原创 2018-12-20 16:34:57 · 138 阅读 · 0 评论