机器学习
机器学习分类:
主要分为监督学习和无监督学习两类。
1.监督学习:
回归(regression)问题:线性回归
分类(classfication)问题:logistic回归,神经网络,SVM
2.无监督学习:
聚类(cluster)问题:k-means
降维问题:主成分分析(PCA)
异常检测问题
———————————————————————————————————————
优化算法
一般的监督学习步骤:
0.选择特征,数据处理(标准化,PCA)
1.假设函数
2.代价函数(正则化)
3.优化算法
4.评估性能(准确率和召回率)
梯度下降算法:
1.要自行选择学习率α(α在下降的过程中不用改了),而且α太小下降太慢(可通过将输入的数据标准化来优化),α太大反而有可能最后发散。
2.算法流程:
repeat{
计算代价函数关于各个参数的偏导数
同步更新各个参数}