机器学习（吴恩达）2

1.多类特征

多输入特征的多元线性回归（multiple linear regression）

        w=[w1 w2 w3 ...wn],x=[x1 x2 x3...xn] 都是向量

        fw,b(x)=w（点积/乘）x+b=w1x1+w2x2+……+wnxn

2.向量化

        实现w1x1+w2x2+b，法1：W[0]* X[0]+W[1] * X[1]+b，效率最低；法2：循环，j从0到n—1，f=f+W[j]X[j]，循环结束加b，效率提高了一点；法3： 向量点极 f=np.dot(w,x)+b,效率更快，但矢量化速度比3钟方法都快得多                

        向量化把W[0]到W[15]，x[0]到x[15]存储起来，对应的同时相乘，最后相加。

        注意：python从0开始。在python中range（0，n）从0到n-1

3.多元线性回归的梯度下降

• 法方程方法（normal equation）

优点：只能用于线性回归，求解W，b不需要迭代梯度下降

缺点：不能应用到其他算法，当特征值非常大，速度很慢

4.特征缩放（Feature scaling）

有两个不同的功能，具有非常不同的值范围，梯度下降图像偏椭圆形，梯度下降就会变得缓慢（容易反弹到更大的地方），重新缩放不同功能，都具有可比的比值范围可以显著加快梯度下降。（比如通过房子的大小和卧室数量估算价格）

法一：除以最大值 法二：均值归一化 μ是平均值 xi=xi-μi/max-min 法三：z-score归一化（正态分布） ，其中分母标准差（方差）

检测梯度下降是否收敛：看学习曲线，每次迭代之后，成本函数J会下降；另一种方法训练自动收敛测试：J<（某个数值很小为0.001）

5.学习率的选择

学习曲线随着迭代次数增加有时增加有时减少，梯度下降不正常，学习率过大

学习率α要非常小，通常可以使用：0.001，0.01，0.1,1来尝试

6.特征工程

定义：利用你对问题的知识和直觉来设计新特征，通过转化或结合问题的原始特征

7.多项式回归

用多项式构造复杂函数

线性回归模型向量化，具体在代码编辑中，写成如下形式：