KDLin‘s Blog

Logistic Regression摘要主要是三方面的内容。**逻辑回归。**分类问题的输出其实是逻辑离散的集合，比如{是，不是}，{红，黑，白}，能否让算法将结果统一到0和1之间呢，按照0.5的阈值进行分类预测呢？sigmoid函数可以做这种投射。于是改变了目标函数h(x)，因为目标函数不再是线性回归，所以需要新的损失函数J，方便梯度下降求导全局最小值。过拟合。增加特征这件事可以使得训...

神经网络摘要重点在理解神经网络的原理，必须以上周神经网络模型为基础，这一周主要都是讲讲对于原理的理解。ps. 神经网络这一周的课程折腾了好几天，总算是看明白了。本周不管是原理还是练习都挺难做的，原理理解起来东西很多，这一节课讲得不够清楚，但我很理解，本身就很难讲明白。其实理解之后还是比较直观的。本来模型就挺复杂，各种下标弄到熟也麻烦。我是如此处理的，看一遍课程，做一部分练习，下标就基本熟了...

神经网络——模型摘要本周主要介绍了神经网络的模型，只学习模型表示，需要好好熟悉才能避免后面看不懂。练习中对其加以实现。练习实现了上周未实现的多分类问题，实例为手写数字识别，效率是个问题，所以会对效率加以讨论。神经网络模型动机看起来逻辑回归已经足够解决所有分类问题。但是，像在练习中处理图像，特征真的太多，所以训练效率极其低，可以参考下一节对多分类逻辑回归效率的思考。所以神经网络分层的结构...

Week 1 & Week 2摘要Week 1 和Week 2介绍了机器学习的基础知识，分类和几个基本的概念。以线性回归开篇，用房价预测的具体案例，应用了这些概念。配套练习，则是使用Matlab对以上案例进行实现。感觉设计非常非常合理，比如损失函数，梯度下降，特征归一化，标准差，学习效率等等概念都手动进行实现。当然，为了使用Matlab实现，课程也介绍了Matlab基础和Matrix...

机器学习系统设计模型只是机器学习系统中的一部分， 一个完整的系统，大概还需要，错误分析方法，评价指标，数据和算法的权衡，参数设定等等。学完深度学习再回过头来看机器学习这边的，觉得比较简单，但越往后读，还是觉得接收到很多新的观点，也是挺有用的。错误分析，方法与意义指标，P、R、A、F1数据与算法本文使用记录式的书写方式，因为实在是没有什么特别体会，强行写也没意思。学习曲线这应该是很...

Week7 支持向量机2019年10月1日13:04摘要svm是一个复杂的模型，文章分三个部分，首先从直观上理解svm。而且介绍了svm的发展，我认为这对理解复杂的现代svm非常关键。其次，文章介绍了线性svm和现代非线性svm。总的来说，我觉得svm实在是太精彩了，从非常简单到最后非常复杂，从低维到高维，最神奇的是，所有理论居然能够统一。当然，本文是在不理解具体数学推导...