机器学习笔记（一）——基础知识

人工智能

      定义：智能是实现世界目标的计算能力部分，人工智能是由机器展示的智能，人工智能学科探讨对机器进行设计的方法论使其可以去完成基于智能的任务。

      方法：

基于规则的方法：

       直接编程实现

       借鉴人类启发式学习的思想

基于数据的方法：

       专家系统：专家或数据科学家基于数据创造用于预测或决策的规则

       机器学习：直接基于数据进行预测或决策；数据科学

数据科学 

      定义：

           目标：发现数据的基本原理，利用原理进行服务

           解决方法：从观测结果中构建数据的模型

           本质与传统的物理学，化学等做的内容一样，但更加广泛

      举例：

数学上：

           找到联合数据分布p(x)

           找到条件分布p(x2|x1)

           可以通过观测某些具体的维度去预测其他的维度

用户行为与建模：

         通过数据建立出联合数据分布后，就可以根据用户的一些行为数据去预测用户的其他数据

         通过大量的廉价的，容易得到的数据，去预测一些难以得到的昂贵的数据

数据处理技术：

         Raw Data -> Data Service -> Application

         数据本身没有价值，有价值的是数据服务

机器学习简介

      定义：机器学习是一门研究学习算法的学科，这些算法能够在某些任务T上，通过经验E，提升性能P，非显示编程，一个学习任务可以由三元组<T,P,E>明确定义。

      应用情景：

          大数据、个性化、无法解释的专业知识（人脸识别），专业知识不存在（火星导航）

      分类：

         预测：有监督、无监督

         决策：强化学习（RL）

      历史：

         50s：创建机器学习术语

         60s：神经网络、感知机、模式识别

         70s：符号归纳、专家系统、决策树、AM

         80s：高级决策树、规则学习、认知架构、连接论、反向传播

         90s：数据挖掘、文本学习、归纳逻辑编程、贝叶斯网络、SVM

         00s：图规模、迁移学习、序列标记、机器人和视觉的学习

         10s：深度学习、大数据、GPU或HPC、多任务+终身学习、深度强化学习

机器学习应用

      两大类：

面向预测问题的机器学习

          给予特征数据，预测目标概率分布（监督学习）

          生成数据样例（无监督学习）

      应用：

          网页搜索：生成查询建议、相关网页排序

          人脸识别 推荐系统 在线广告 医疗图像分析

          信息提取 社交媒体 金融数据预测

面向决策问题的机器学习

          在动态系统中采取行动决策

       应用：

          自动驾驶汽车 机器人控制 游戏智能

          多智能体行动 交互式内容推荐

          机器学习基本思想

        类别：

监督学习：给定数据和标签，预测所需的输出

无监督学习：分析和利用隐式数据模式/结构

强化学习：学习在动态环境中动作执行的决策，并获得尽                 可能多的奖励值

        过程：

 

基本假设：在训练和测试数据中存在相同的模式   

         监督学习：

         定义：给定带标签的训练数据集D={(xi, yi)}i=1,2,…..N，其中xi为特征数据，yi为其对应的标签，让机器学习一个从特征数据映射要标签的函数映射：yi≅fθ(xi)函数集{fθ∙}被称为假设空间，学习的过程即θ的更新。

         学习目标：

使预测结果接近真实的标签minθ1Ni=1NL(yi,fθxi)

损失函数L(yi,fθxi)用来衡量标签和预测结果之间的误差

损失函数的定义取决于数据和任务

最常见的损失函数：平方误差

                                            

         实现：梯度学习方法