机器学习-day01

一、机器学习简介

1. 机器学习形式主要分为：监督学习（Supervise Learning）和无监督学习（Unsupervise Learning）。（半监督学习、强化学习）

2. 从定义上来说，机器学习是一种功能、方法，或者更具体的说是一种算法，它能够赋予机器进行学习的能力，从而使机器完成一些通过编程无法直接实现的功能。
   从具体的实践意义来说，其实机器学习是利用大量数据训练出一个最优模型，然后再利用此模型预测出其他数据的一种方法。比如要识别猫、狗照片就要拿它们各自的照片提炼出相应的特征（比如耳朵、脸型、鼻子等），从而训练出一个具有预测能力的模型。

3. 机器学习与人工智能、深度学习的关系：

4. 监督学习：事先需要准备好要输入数据（训练样本）与真实的输出结果（参考答案)，然后通过计算机的学习得到一个预测模型，再用已知的模型去预测未知的样本。

5. 无监督学习：在没有“参考答案”的前提下，计算机仅根据样本的特征或相关性，就能实现从样本数据中训练出相应的预测模型。

6. 预测结果分类
   根据预测结果 的类型，对上述学习形式做具体的问题划分。

   有监督学习划分为：
   ①回归（Regression）问题（预测数据，预测结果是连续的且可能无限多，比如身高，从 1.2m 到 1.78m 这个长高的过程就是连续的、预测房价）
   ②分类（Classification）问题（预测分类，预测结果是离散的且有限个、肿瘤是良性还是恶性）
   无监督学习划分为：
   聚类问题（将相似的样本聚合在一起后，然后进行分析，网站文章分组）

二、线性回归模型（Linear Regression Model）

1. 房价模型：给定一些数据，包括房屋面积和房价（input和output），通过建立模型来预测未知面积房屋的价格。
   

2. 常用术语

   （1）模型：把它看做一个“魔法盒”，你向它许愿（输入数据），它就会帮你实现愿望（输出预测结果）
   （2）数据集：如果说“模型”是“魔法盒”的话，那么数据集就是负责给它充能的“能量电池”。数据集可划分为“训练集”和**“测试集**”。

   （3）样本&特征：“一行一样本，一列一特征” 数据集中的数据，一条数据被称为“一个样本”；样本会包含多个特征值用来描述数据。

   

   （4）向量：在线性代数中，向量也称欧几里得向量、几何向量、矢量，指具有大小和方向的量。在机器学习中，模型算法的运算均基于线性代数运算法则，比如行列式、矩阵运算、线性方程等等。向量的计算可采用 NmuPy 来实现
   （5）矩阵：可以把矩阵看成由向量组成的二维数组，数据集就是以二维矩阵的形式存储数据的。
   

3. 线性回归模型（表达式）
   

4. 几个函数的概念：

   损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。

   代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。

   目标函数（Object Function）定义为：最终需要优化的函数。等于经验风险+结构风险（也就是Cost Function + 正则化项）。

   代价函数：是在机器学习和优化问题中用于衡量模型预测结果与真实值之间的差异的函数。代价函数的目标是最小化模型的预测误差或损失。

   平方误差代价函数：(m为样本总数)
   $$J(w,b)=\frac{1}{2m}\sum _{i=1}^m(f_{(w,b)}(x^{(i)})-y^{(i)}{)}^2$$
   

   我们的目标是要使代价函数最小化：
   $$minimizeJ(w,b)$$
   当b=0是，选取不同的w时的代价函数**J(w)**如图所示。

   
   当有两个参数w和b时，**J(w,b)**图像如图所示

实验证明：**J(w,b)**的值越接近最底部椭圆（登高线），拟合的效果越好。