机器学习中学习率选择、梯度下降法、矩阵不可逆的问题

学习率小，损失函数一定会收敛的
学习率太大了的话，可能会出现损失函数上升或者波动的情况
学习率太小了的话，会导致损失函数收敛的太慢

一般会尝试的学习率为0.001，0.01，0.1，1
吴恩达老师的学习率会3倍，3倍提升

求解最小

梯度下降法和矩阵方法求最小值对比
n=10000以上，就使用梯度下降法比较好了

机器学习时，矩阵不可逆的可能原因，解决方法：
1、查看是否多余的特征向量（互为线性函数），变为极大无关组。

在用编程语言编程的时候，直接用相关的伪逆函数处理就可以了