Machine Learning 之 Types of Learning

Types of Learning

总结自台大林轩田老师的machine learning 课程：https://www.youtube.com/playlist?list=PLXVfgk9fNX2I7tB6oIINGBmW50rrmFTqf

Different Output Space 

• Binary Classification: y 的输出只有两种可能性，是非题。相关应用有：发放信用卡，判断垃圾邮件，是否生病......
• More Binary Classification: 多类别分类。 相关应用有：硬币分类、数字识别、分类水果种类，生了什么病......
• Regression：y的取值范围为全体实数。相关应用有生病或手术后多久可以恢复。
• Bounded Regression: y的取值范围有上下限。相关应用有老师给学生打分有个上下限范围。
• Multiclass classification: 输入word判断word的词性。
• Structure Learning: 输入是个sentence判断word的词性。我们要的输出空间有某种结构存在，希望电脑识别出这种结构。

Different Data Label

• Unsupervised Learning: 所有的输出都没有标记。即老师没有告诉机器正确答案，只是给了一堆数据让机器学习。articles--topics
• SupervisedLearning: 每个输入x都对应一个有标记的y。给了输入，而且告诉了机器输入对应的输出是什么（可以认为老师告诉了我们正确答案）
• Semi-supervised Learning: 对于所有的data，少数输出有标记，大多数输出没有标记。如face images，给输出做标记成本太大，可以让机器去学习。
• Reinforcement Learning: implicit yn by goodness yn 。 举例：训练狗狗坐下，听到相应指令如果做错了惩罚，如果做对了奖励。有输入，机器执行后告诉机器其结果是好还是不好使机器不断学习。其他相关应用还有广告投放等。

Different Protocol

Different Protocol即我们将数据以何种方式输入到电脑：

• Batch Learning: 将数据整批整批的数据。数据输入给出最优判断准则。（填鸭式教育）应用有：给机器一批电子邮件，机器通过学习判断是否是垃圾邮件。
• Online Learning: 数据一个一个输入，机器选择假设后给出结果，我们再告诉其结果是否正确，错误就修正假设，然后再输入数据，再学习，再修正......通过不断的数据输入不断学习到更优的判断准则。（不断学习过程）
• Active Learning: 机器学习主动学习，机器具有问问题的能力。可能给较少的数据打标记。

Different Input Space

• Concrete Features: 特征中都会带有人类对这个问题的专业描述。如银行客户信息怎么评价是否发放信用卡。数字识别，通过密度、对称性来分类等。
• Raw Features: 例如数字识别，就是图像中各个点的像素，通过各个像素点的像素值来识别数字。这样的话相对于Concrete Features就会更难，所以一般会通过人工先转换为Concrete Features.
• Abstract Features: 例如评分机制，每个用户一个id，每个歌曲一个id，对应一个评分。但是id在电脑中会是一连串的数字, no physical meaning。

所以输入的数据越抽象，对于机器来说学习起来会更困难。人对这个问题的处理其实就是以自己的专业知识给出具体的特征，从而减轻机器学习的难度。而深度学习就是希望跳过人工提取特征的过程，直接给出Raw data，让机器自己去学习特征，给出最合适的准则。所以很多时候机器学习出的特征尽管结果很好，但是却很难解释。