机器学习

机器学习算法分为监督学习和无监督学习算法。实现用octave，phython，java等。

线性回归和逻辑回归区别。sigmoid函数容易求导，符合神经元特性，输出值锁定在0到1之间。

求解全局最优值： 

普遍的算法：梯度下降法，正规方程求解  高级算法：共轭梯度法，限制变尺度法等。

 神经网络：反向传播法，训练集，交叉验证集，测试集。

对于过拟合和欠拟合等问题解决方法。过拟合：减少特征量，增加训练样例，增加归一化程度。 欠拟合反之。

支持向量机： 核函数（变异增加特征数目）。

非监督算法：k均值算法 优化目标 随机初始化 选择聚类数。

降维：主成份分析。