机器学习相关笔记

https://www.jianshu.com/p/005a4e6ac775 梯度提升决策树
http://blog.csdn.net/gamer_gyt/article/details/78797667 梯度提升和梯度下降算法
http://blog.csdn.net/google19890102/article/details/51746402 梯度提升决策树
http://blog.csdn.net/heyongluoyao8/article/details/52462400 ML中的损失函数
http://blog.csdn.net/batuwuhanpei/article/details/51979831 牛顿法和拟牛顿法

词袋
TF-IDF
词汇表：词袋模型可以很好地表现文本由哪些单词组成，但却无法表达出单词之间的前后关系，使用生成的词汇表对原有句子按照单词逐个进行编码。
Word2Vec
Doc2Vec
RNN LSTM算法
Apriori算法，挖掘数据之间的关联性

GBDT梯度提升决策树
XGBoost（在GBDT的基础上进行了优化）

正则化：防止过拟合
损失函数：经验风险损失函数和结构风险损失函数
目标函数

牛顿法，拟牛顿法：求函数的根，解决优化问题，重点，Hessian Matrix（黑塞矩阵）多元函数的二阶偏导数构成的方阵

凸函数：二阶导数非负
严格凸函数：二阶导数为正数
凸优化：求目标函数为凸函数的最小值的优化问题。无约束优化和约束优化问题。将某个优化问题确认或者转化为凸优化问题，能够快速给出最优解。

激活函数：数据不一定是线性可分的。加入非线性因素，解决线性模型无法解决的问题。因为线性模型的表达能力不够。
核函数：把低维空间映射到高维空间。SVM中核技巧的作用：降低计算的复杂度，甚至将不可能的计算变为可能。核函数是二元函数，输入是变换之前的两个向量，输出与两个向量变换之后的内积相等。