吴恩达机器学习4-7 正规方程矩阵不可逆情况下解决办法学习收获

矩阵不可逆的情况下我们称为奇异或退化矩阵，在octave里有两个函数可以求解矩阵的逆pinv和inv，即使矩阵不可逆我们利用pinv能算出θ。矩阵不可逆常见的原因有两种，第一由于某种原因学习问题包括了多余的特征，举例来说x_1表示以平方英尺为单位的变量，x_2表示以平方米为单位的变量，由于平方英尺和平方米有着转换关系，所以两个类似的变量出现了多余，第二是因为运行的学习算法有很多特征，假设有m=4个样本，n=100个特征值此时会出现101维的向量，要配置101个参数4个样本还是有些少。如果出现了不可逆那就从这两个方面找原因，如果有多余的变量那就删除到没有多余为止，如果特征非常多我们应该相应的删除一部分特征。