吴恩达机器学习课程笔记

Introduction

1-1 Welcome

Why is machine learning so prevalent today?

机器学习是从AI(Artificial Intelligent)下衍生出的一个领域，当人们尝试使用计算机技术解决更复杂的问题时，他们发现解决他们的最好方式是让计算机自己学习如何解决。因此，机器学习是为计算机开发的一种新功能。

Examples:

• Database mining

  ​ Large datasets from growth of automation/web

  ​ E.g., Web click data, medical records, bioligy, engineering

• Application can’t program by hand.

  ​ E.g., Autonomous helicopter, handwriting recognition, most of Natural Language Processing(NLP), Computer Vision.

• Self-customizing programs

  ​ E.g., Amazon, Netflix product recommendations

• Understanding human learning(brain, real AI).

1-2 What is machine learning

Machine Learning definition

Arthur Samuel (1959) : Machine Learning is the field of study that gives computers the ability to learn without being explictly programmed.

Tom Mitchell (1998) : A computer program is said to learn from experience E with respect to some task T and some performance measured P, if its performance on T, as measured by P, improves with experience E.

Q: 根据Tom Mitchell的定义，对于一个观察你对垃圾邮件标记情况并据此学习过滤垃圾邮件的邮件管理程序，哪一个是task T？

A: 将邮件分类为垃圾邮件和非垃圾邮件

Machine learning algorithms:

• Supervised learning
• Unsupervised learning

Others: Reinforcement learning, recommender systems.

1-3 Supervised Learning

监督学习指我们提供一些"right answer"给算法，希望算法产出更多诸如此类的"right answer"，即对于某堆数据，我们已经知道一些正确结果，并且相信输入和输出间存在着一定关系，希望算法找到这个关系。

监督学习可以分为regression问题和classification问题：

在预测房价问题中，我们有这样的一批真实数据：对应不同的房子大小，有不同的房子价格。这些数据即是"right answer"，我们希望算法根据这些"right answer"，为我们预测其他大小房子的价格。准确的说，这类问题也被称为regression problem，regression problem表示我们预测的值是连续的，在本案例中即是房子价格。这里的regression指连续值这一属性。

在预测肿瘤的良恶性问题中，我们有这样的一批真实数据：对不同的肿瘤大小，有其对应的良恶性。这些数据也同样是"right answer"，我们希望根据这些"right answer"，告诉我们其他大小肿瘤的良恶性分别的概率。准确的说，这类问题被称为classification problem，表示我们预测的值是离散的(E.g. 良性 or 恶性对应0 or 1，良性 or 恶性类型1 or 恶性类型2 or 恶性类型3对应0 or 1 or 2 or 3)。这里的肿瘤大小称之为feature，一般来说，在实际应用中，我们需要处理非常多甚至于无限多个的feature，SVM(Support vector machine)中存在一个trick能帮助我们处理无限多的feature。

1-4 Unsupervised Learning

无监督学习指我们提供一些数据，这些数据是我们知之甚少甚至不了解的，希望算法自动找到这些数据中变量与变量间的结构区别。在这个过程中，我们可以通过数据中变量间的关系cluster数据，获取其结构。注意，无监督学习并不存在反馈。

举例：

• Clustering: Take a collection of 1,000,000 different genes, and find a way to automatically group these genes into groups that are somehow similar or related by different variables, such as lifespan, location, roles, and so on.

• Non-clustering: The “Cocktail Party Algorithm”, allows you to find structure in a chaotic environment. (i.e. identifying individual voices and music from a mesh of sounds at a cocktail party).