机器学习那些事

个人机器学习的一些经验

1. 对于一个初学机器学习的人来说，一开始是十分懵逼的一件事情，可以说网上的参考资料很多，但是找到自己适合的还是很难。
2. 在学习机器学习的过程中找了很多书看。最后个人觉得几本比较好的书，可以适合初学者看看。李航老师的 统计学习方法，这本书主要讲的是关于监督学习的一些算法模型。对于数学知识要求很高。Peter Harrington的机器学习实战。 这本书比较注重代码，书上对于理论讲的很少，主要是通过代码，把相应的算法进行实现。在实现代码的时候，能够对算法有更好的理解。还有一本叫做图解机器学习，讲得比较细，但是最好是把李航老师的统计学习方法看完再去看比较好，里面有的名词和统计学有一定的区别。当然如果不是太喜欢理论知识，可以看看机器学习系统设计，这本书用python来实现算法。不需要太多的数学知识。 如果把统计学习方法看完，还可以去看看统计学习理论的本质，以及PAC理论。PAC理论可以说是机器学习的本质。
3. 我在学习机器学习的过程中，一般是先看李航老师的统计学习方法，学习里面的算法理论，然后看机器学习实践，里面有很多用python实现的算法。以及很多算法案例。 机器学习实践指南里面有一些关于R语言的东西，想学的可以看一看，里面有一些对于python基础的介绍，没有python基础的可以学习下，第四部分的机器学习实战可以在把其他两本书看完后，自己写写里面的代码。
4. 机器学习三要素在于，模型，策略，算法
5. 机器学习模型： 基于参数的线性模型， 乘法模型，加法模型，核模型，在核模型中，用的比较多的是高斯核模型

6. 模型选择流程：

   1. 准备候选模型
   2. 对各模型求解其学习结果
   3. 对学习结果的泛化误差进行评价
   4. 选择泛化误差最小的模型为最终模型

7. 模型的好坏预测
   对于模型的 好坏，一般来说有两种方式可以进行预测：一种是损失函数，一种是风险函数 损失函数是度量模型一次预测的好坏，风险函数是度量平均意义下的模型预测好坏

在机器学习的过程中，单纯的学习算法是很枯燥的一件事情，更好的方法是在学习算法的过程中，用python将算法实现。在不断学习的过程中，可以把python基础看一下，python的一些三方库做一些了解。

个人感觉在学习算法的过程中，最开始需要把每个算法都过过，了解算法代表的意义。以及如何能够让算法达到最优这都是我们需要考虑的一些问题。不同的参数调整都会对训练结构做出影响。
机器学习，更多的是对于统计学，概率论的一些运用，对于比较有余力的，可以看看数学之美一书。在计算一个算法最优化的时候，比较多的方式是采用随机梯度下降，牛顿法，拟牛顿法。对于一些约束最优问题，可以采用拉格朗日对偶性来解决这些问题。把原始问题转化为对偶问题，来求得最优的参数。