自用入门人工智能笔记

定义

百度百科的定义：

• 机器学习的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能；
• 能通过经验自动改进的计算机算法的研究；
• 用数据和以往的经验来优化计算基础性的性能标准

Machine Learning书中的定义：如果一个程序可以在任务T上，随着经验E的增加，效果P也可以随之增加，则称这个程序可以从经验重中学习

个人理解：顾名思义，让机器学习。可以赋予机器学习的能力，而不是以往机器指令式的死板运行方式。具体一点就是通过以往的经验，用数据训练出模型，用这个模型进行计算预测。

可以说机器学习是人工智能的核心。模式识别、数据挖掘、NLP、CV都是以此展开的。

 机器学习常用场景分类

数据挖掘

数据挖掘是在数据中挖出有用的数据，即知识。大部分的数据挖掘算法就是利用机器学习的算法在数据库中进行优化。

机器学的方法

回归算法、神经网络、向量机（SVM）、聚类算法、降维算法、推荐算法、决策树、贝叶斯等算法。

回归算法

回归算法是机器学习中较简单的算法。统计学的回归统计，用到机器学习中就是回归算法了。线性回归和逻辑回归是回归算法的两个重要方法。

线性回归主旨就是将问题的解转化为一条直线可以穿起所有的数据，一般用最小二乘法求解，但是往往存在计算量太大导致无法求解的问题。数值计算的经典算法：梯度下降法可以很好地解决这一问题。

逻辑回归与线性回归类似，只是线性回归处理的一般是数字问题，逻辑回归是分类算法，一般是预测结果是离散的分类，逻辑是否问题；一般的，逻辑回归就是在线性回归的结果上加一个零一函数，将数值结果转换为0-1概率问题，利用概率进行预测，即是否问题。

神经网络

一般地神经网络（ANN），包括：输入层、隐藏层、输出层。隐藏层对数据进行处理。多个处理元组成一层，多层构成一个网络。其中，处理元都是一个个的逻辑回归模型。

 完整的神经网络训练流程

聚类算法

无监督学习中的代表算法：聚类算法，上面两种算法的数据都带标签，即分类，也就是有监督学习使用的训练数据，而往往大多数情况下，数据都是不带标签，需要通过算法推测这些数据的标签，即无监督学习。

机器学习的一个分支：深度学习

在传统的神经网络基础上，具有多个隐藏层，就是深度学习。深度学习是一个复杂的机器学习算法，通过多层处理，将初始的“低层”特征表示转化为“高层”特征表示后，用“简单模型”即可完成复杂的分类等学习任务。研究内容：CNN、DBN、Sparse Coding。

 多个隐藏层的深度学习模型

传统机器学习算法与深度学习对比

深度学习框架

最流行的两个框架：TensorFlow和PyTorch。

（1）TensorFlow是使用人数最多、社区最庞大的框架，由Google公司开源，维护与更新比较频繁，并且有Python和C++的接口，教程也非常完善，是深度学习的主流框架之一。2019年3月，TensorFlow发布了TensorFlow 2.0，与TensorFlow 1.x版本相比，其做了很多改变，比较重要的有：①重用Keras可以使模型的构建和运行更加简单；②强调各平台的通用性；③与TensorFlow 1.x相比，TensorFlow 2.0提供了更方便的模型保存和调用方式。

（2）PyTorch是从Torch框架演变来的深度学习框架，它使用Python在Torch框架上写了很多内容。不仅更加灵活，支持动态图，还提供了Python接口。PyTorch由Torch7团队开发，能够实现强大的GPU加速，且支持动态神经网络。

强化学习

百度百科的定义：强化学习是智能体（Agent）以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏，强化学习不同于连接主义学习中的监督学习，主要表现在强化信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)，而不是告诉强化学习系统RLS(reinforcement learning system)如何去产生正确的动作。由于外部环境提供的信息很少，RLS必须靠自身的经历进行学习。通过这种方式，RLS在行动-评价的环境中获得知识，改进行动方案以适应环境。RLS的目标是动态的调整参数，以达到强化信号最大，

基本原理

Agent的行为导致获得环境正的奖赏即强化信号，那么这个行为的概率就会增加，Agent的目标是在每个离散状态发现最优策略以使期望的折扣奖赏和最大。若已知r/A梯度信息，则可直接可以使用监督学习算法。因为强化信号r与Agent产生的动作A没有明确的函数形式描述，所以梯度信息r/A无法得到。因此，在强化学习系统中，需要某种随机单元，使用这种随机单元，Agent在可能动作空间中进行搜索并发现正确的动作。

随着学习慢慢更新。