Machine Learning

ml系列概述

---

本系列文章主要针对个人在现阶段的学习情况，因为目前研究生学习的是机器学习。最近在searching又翻阅了不少知名博主的博文，深受启发，尤其是wepon大神，博主是北大的，顺便参观了他（她）的其他主页，都很优秀。希望未来的日子能像w神一样，能够在互联网中拥有自己的知识库，点滴聚与江河，我将在本系列中把machine learning部分进行个人的知识曲线整理，这样不仅可以自我督促也可以和大家一起进步。

最后因为本人知识水平有限，文章如若有错，欢迎指正。

按照目前的学习情况，我分为两点路线前进：

• 机器学习，包括理论和代码实现，直至最后的深度学习模块
• python，包括web开发（flask和tornado），机器学习（numpy和其他深度学习框架）

目前还是再跟Machine learing in action这本书在走，这本书的笔记会在相应同名系列中展示。

---

下面说说近几日的收获：

1.之前一直在看书中第五章logistic regression的内容

问题的开始是从page 78 程序清单 5-1 中梯度上升方法中，核心代码

weights = weights + alpha * dataMatrix.transpose()* error

书中并未对此进行解释，所以想探究一下其中原理。

初看下来，参数（系数）w 的更新是在原来的基础之上，加以梯度上升步长、样本矩阵转置与残差矩阵这三者的乘积。

代码如此简单，究竟是如何而来的呢？

没想到探究之路特别冗长（个人专业知识比较浅薄，但是容易钻牛角）

后面细说。

2.宏观学习曲线的理解。

以前师傅曾问我一个问题：机器学习和深度学习有啥关系？当时根本还是小白，一时语塞。

后面紧接着要跟老师做白内障的项目，学姐做的是深度学习的课题，就抓紧先大致了解了这方面的知识。

手头上是《神经网络与深度学习》这本书，书比较科普，不过比较适合新手小白。

深度学习这块过几日我还要做个ppt或者图示来增加自己的理解和印象。

目前个人的理解是，深度学习是神经网络的内容，处于整个大的机器学习环境之下。

结构的话，大致是：在分类器（最后一层）之前，对数据进行迭代提纯（降维），有助于浓缩重要特征和自我学习，最后分类精准度提高。

---

下面着重讲一下第一部分：

按照时间轴，

• 我先浏览了51CTO 上的一篇博文，它利用数学中极大似然估计的方法（当时印象深刻的点），推导解释了最后的代码形式。

• 问题的起始点我发觉我还没有找到，为什么有 z = w^Tx 这样形式的来解决？于是回归分析的知识补充了进来。从而了解到：

  • simple linear regerssion：一个自变量，一个因变量，二者呈线性相关；
  • 多重线性回归、logistic regression：最大的区别就在于他们的因变量不同这一家族中的模型形式基本上都差不多，不同的就是因变量不同。如果是连续的，就是多重线性回归，如果是二项分布，就是logistic回归，如果是poisson分布，就是poisson回归，如果是负二项分布，就是负二项回归，等等。只要注意区分它们的因变量就可以了。

• 然后进一步深入，就是NG神的Stanford的课程，这里面有Rachel-Zhang女神的专业笔记，她把ng神的截图展示了，但是看起来仍然让人费解。至此，机器学习最正统的部分我才领悟：

  • linear regression
  • logistic regression
  • regularization
  • naive bayes

• 上述zhang的博文比较正统，看起来不是很适合新手，尤其是cost function的含义无法理解。这期间，我逛评论区的几条吸引了我
  交叉熵 的概念让我困扰了一阵。jasonzzj和yimingsilence的文章对此进行了介绍。后者更为详细，但是图片链接纷纷失效，体验不好。不过，“交叉熵”的这一知识点让我确立了结合第一篇和接下来的bitcarmanlee的系列文章的思路，对logistic regression进行了大致的了解。

• 强烈推荐bitcarmanlee的文章，简单易懂。其中logistic regression 与感知机的结合，也在我脑海里有了印证，因为《神经网络与深度学习》一书中已经阐述生物神经网络的数学模型，正好与回归分析相互呼应。感知机无非是最原始的神经网络雏形。

  • 在这期间，了解了张航博士的《统计学习方法》一书。其中，博主引用张航博士的方法 = 模型 + 策略 + 算法 的机器学习方法论比较深入脑海。

• 在最后交叉熵相关知识的搜索当中，我又发现了一枚pku大神的足记——wepon，他的相关主页都浏览了一下。的确不愧是国内最顶尖大学的顶尖人才，比赛，算法，理论知识的积累非常棒。个人网页，和强大的比赛经验让人惊叹，的确是我要学习的榜样。

  • wepon神的主页让我了解到了ufldl教程和一篇外文深度学习的在线书籍《neural networks and deep learning》，不管怎样，先mark一下，这可以作为接下来学习曲线篇 的routine之一。

下面的学习ml学习曲线敬请期待。

转载请注明出处：http://blog.csdn.net/gcaxuxi/article/details/55672106#