1. 机器学习基石-When can Machine Learn? - The Learning Problem

When can Machine Learn? - The Learning Problem

---

• When can Machine Learn? - The Learning Problem
  
  • 1. The Learning Problem
    
    • 1) Human Learning and Machine Learning
      
      • ① Human Learning
      • ② Machine Learning
      • ③ Summary
    • 2) Human Learning V.S. Machine Learning
    • 3) Key to Machine Learning
  • 2. Application of Machine Learning
  • 3. Components of Machine Learning
    
    • 1) Basic Notation
    • 2) Practical Definition
  • 4. Machine Learning and Other Fields
    
    • 1) Machine Learning V.S. Data Mining
    • 2) Machine Learning V.S. Artificial Intelligence
    • 3) Machine Learning V.S. Statistic
• Summary
• Reference

1. The Learning Problem

To figure this out, we need to compare Human Learning and Machine Learning.

1) Human Learning and Machine Learning

① Human Learning

Human learning means people learn from perception (E.g., observation, touching, hearing).

② Machine Learning

Like human learning, machine learning means that machine learn things by collecting data, then computing the data to get skills.

③ Summary

2) Human Learning V.S. Machine Learning

既然人类和机器学习的过程一样，为什么我们还要耗费精力去让机器可以学习呢？
- 一些数据或者信息，人类难以识别；
- 学习的数据量特别大，人脑难以处理
- 人脑处理问题的速度很慢，但是很多情况下要求系统能快速的给出答案

总结如下表：

-	Human Learning	Machine Learning
Pros	Learn emotionally and skillfully	Processing big data
Cons	Cannot dealing with big data, cannot act fast	Cannot work with human programming, no emotion

3) Key to Machine Learning

不是所以情况都可以使用机器学习，必须满足一下3个关键条件：
- 存在一个模型，能让我们对它进行改进。（不需要改进，就不需要进行ML了）
- 规则不容易找出。（如果太简单的话，用ML反而使得其反，耗费了人力物力）
- 需要有数据的支持，且数据量理论上越大越好。（这给机器学习提供了保证，后面会介绍）

---

2. Application of Machine Learning

Machine Learning actually can apply to everything.

E.g.,

• Daily need
  
  • Food
    
    • How does the food taste?
    • How many chances that some specific people will like the food?
    • …
  • Clothing
    
    • The information of the clothing.
    • Fashion recommendation
    • …
  • Housing
    
    • Energy load
    • Sell price
    • …
  • Transportation
    
    • Driving automation
    • Transportation times
    • Traffic jam possibilities
    • …
• Education
  
  • Math tutoring system.
  • Quiz generator
  • …
• Entertaining
  
  • Recommendation system
  • Real view experiencing of traveling

---

3. Components of Machine Learning

以银行是否应该对客户发放信用卡作为例子

1) Basic Notation

Basic Notation ^[1]

1.输入(input)：$x∈X$（代表银行所掌握的用户信息）

2.输出(output)：$y∈Y$ （是否会发信用卡给用户）

3.未知的函数，即目标函数（target function）：$f：X→Y$（理想的信用卡发放公式）

4.数据或者叫做资料（ data），即训练样本（ training examples）：$D = {（x_1, y_1）, (x_2, y_2), …, (x_n, y_n)}$（银行的历史记录）

5.假设（hypothesis），根据训练样本得到的实际的函数：$g：X→Y$

2) Practical Definition

Practical Definition ^[1]

机器学习算法（learning algorithm）一般用$A$表示。还多出来一个新的项目，就是假设空间或者叫做假设集合（hypothesis set）一般用$H$表示，而这时$A$的作用就是从$H$集合中挑选出它认为最好的假设从而得到函数 g <script type="math/tex" id="MathJax-Element-20">g</script>。

---

4. Machine Learning and Other Fields

Machine Learning VS Data Mining, Artificial Intelligence, Statistic

1) Machine Learning V.S. Data Mining

机器学习与数据挖掘都叫知识发现（KDD Knowledge Discovery in Dataset）。
- 两者是一致的：能够找出的有用信息就是我们要求得的近似目标函数的假设。
- 两者是互助的：ML需要大数据的支持才能保持能“学到东西”。
- 数据挖掘更关注于从大量的数据中的计算问题。
总的来时，两者密不可分。

2) Machine Learning V.S. Artificial Intelligence

AI是通过特定的方法让机器能做出Intelligent的行为，ML属于AI的一个分支，是AI实现的一种方式

3) Machine Learning V.S. Statistic

统计是通过对已知数据的处理，从而推断出未知的事件的属性
所以统计学是实现ML的一种方法，统计学里面有许多实用的工具可以用于证明ML。

---

Summary

1. 机器学习类似于人类的学习
2. 机器学习的应用很广，可以说应用领域是各行各业
3. 机器学习包含：输入数据，输出结果，目标函数，假设函数 ，数据集
4. 机器学习ML与AI，DM， Statistics有关系， ML∈AI, ML≈DM, ML使用Statistics

---

Reference

[1]机器学习基石(台湾大学-林轩田)\1\1 - 4 - Components of Machine Learning (11-45)