NG机器学习总结-（一）简介

写在前面：

看过很多的有关机器学习的书籍，如周志华的西瓜书《机器学习》，李航的《统计学习》，《十大经典数据挖掘算法》，然而始终是没有很好的理解和掌握相关的机器学习算法，一方面是基础差学习起来慢，另一方面这些书籍实在对新手来说是晦涩难懂的。幸得Professor Andrew Ng（吴恩达）的coursera机器学习课程，收益匪浅，感谢之余将自己对机器学习的个人理解整理成博客供自己日后复习。如果以后博客中有理解不当的地方还请路过的大佬指正。

一、什么是机器学习

实际上就是在机器学习的专业人士中，也不存在一个被广泛认可的定义来准确定义机器学习是什么或者不是什么。就目前而言有两种较可接受的定义：第一个机器学习的定义来自于Arthur Samuel，他定义机器学习为在进行特定编程的情况下给予计算机学习能力的领域。1959年他编写了一个西洋棋程序，他让西洋棋程序终结跟终结下了上万盘棋，通过观察哪种布局会赢，哪种布局会输，然后一段时间后，该程序就学习到了什么是好的布局，什么是不好的布局，最后下赢了作者本人。计算机通过不断的下棋获得了无比丰富的经验，这好比人类棋手（柯杰）下了很多盘棋后的经验相当，然后下赢对手，是不是有点像alpha狗的雏形？其实这是一个不太正式的定义也是一个比较古老的定义。另一个年代近一点的定义是由Tom Mitchell提出，一个学习程序被认为能从经验E中学习，解决任务T达到性能度量P，当且仅当，有了经验E后，经过P判断，程序在处理T时的性能有所提升（Ng吐槽说可能为了压