3.1线性回归

"""
3.1线性回归
回归：预测房屋价格、气温、销售额等连续值等问题。
分类：图像分类、垃圾邮件识别、疾病监测等。
注意：softmax回归则适合用于分类问题。
"""

"""
3.1.1 线性回归的基本要素
     这就是机器学习。
     目标：预测一栋房子的售出的价格。
     影响的因素：如房屋状况、地段、市场行情等
     为了简单的起见：假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）
3.1.1.1 模型
      房屋的面积为 x1 ，房龄为 x2 ，售出价格为 y。
      y^=x1w1+x2w2+b
3.1.1.2 模型训练
    接下来我们需要通过数据来寻找特定的模型参数值，使模型在数据上的误差尽可能小。
3.1.1.2.1. 训练数据 
           样本数为 n ，索引为 i 的样本的特征为 x(i)1 和 x(i)2 ，标签为 y(i) 
           y^(i)=x(i)1w1+x(i)2w2+b.
3.1.1.2.2. 损失函数
          衡量价格预测值与真实值之间的误差
          它在评估索引为 i 的样本误差的表达式为

         ℓ(i)(w1,w2,b)=1/2(y^(i)−y(i))2
         将衡量误差的函数称为损失函数（loss function）
         
3.1.1.2.3. 优化算法      
          解析解（analytical solution）:当模型和损失函数形式比较简单时，上面的误差最小化问题的届可以直接用
                    公式表达出来。
          数值解（numerical solution）：大多数的深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数
                    来进可能降低损失函数的值。   
          小批量随机梯度下降（mini-batch stochastic gradient descent）
          先选取一组模型参数的初始值，如随机选取；
          接下来对参数进行多次迭代，使每次迭代都可能降低损失函数的值。
          在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量（mini-batch） B ，
          然后求小批量中数据样本的平均损失有关模型参数的导数（梯度），
          最后用此结果与预先设定的一个正数的乘积作为模型参数在本次迭代的减小量。
3.1.1.3 模型预测  
3.1.2. 线性回归的表示方法
3.1.2.1. 神经网络图  
         输出层中负责计算 o 的单元又叫神经元。
         在线性回归中， o 的计算依赖于 x1 和 x2 。也就是说，输出层中的神经元和输入层中各个输入完全连接。
         因此，这里的输出层又叫全连接层（fully-connected layer）或稠密层（dense layer）。 
3.1.2.2. 矢量计算表达式

"""
from mxnet import nd
from time import time

# 先定义两个1000维的向量
a = nd.ones(shape=1000)
b = nd.ones(shape=1000)
# 向量相加的一种方法是，将这两个向量按元素逐一做标量加法
start = time()
c = nd.zeros(shape=1000)
for i in range(1000):
    c[i] = a[i] + b[i]
print("time() - start:", time() - start)
# 向量相加的另一种方法是，将这两个向量直接做矢量加法。
start = time()
d = a + b
print("time() - start:", time() - start)


print("-------------------------------------------------------------")

a = nd.ones(shape=3)
b = 10
print("a+b:", a + b)



if __name__ == '__main__':
    pass