Machine Learning based on online resources
利用网络资源的机器学习自学路径记录
云端潜行
A light heart lives long.
展开
-
Linear Regression
Loss Function理论基础:中心极限定理 误差符合高斯分布 - 公式推导 解释了为什么损失函数是这个形式模型求解 意义:理论上推导出模型可解,但对矩阵求导,计算量很大,实际不采用对目标函数求梯度 使梯度为0 为什么能添加扰动能防过拟合?通过实践可得,当n维特征向量映射成更高维的特征时,最后求解得到的参数值都很大,因此希望在原los...原创 2018-05-22 07:22:54 · 166 阅读 · 0 评论 -
Logistic Regression
模型定义特征 x:m*n label y:m*1 不同的x, 参数对应一个不同的二项分布 这些二项分布可以通过统计求得改进不按照x是否相同,来统计其二项分布的分布律,而每一个样本点都看做一个独立二项分布 这样的特点就是这样的二项分布只有俩种,分别为 并且能合并表示为 目标函数——交叉熵小目标:对于每一个样本点,分别求出一个分布,使得俩者分布差距最小模...原创 2018-05-22 07:29:39 · 166 阅读 · 0 评论 -
Cost function
cost function的形式cost function的推导满足以下过程: 1. 认为error 满足某个分布,写出样本点xi的样本的error 2. 认为样本点是相互独立的,推导出其对数似然函数 3. 求偏导,是得导函数为0,分离常数部分,得到误差的表达形式e.g. 线性回归中关于MSE的推导:https://nk2000.github.io/2018/05/16/Linea...原创 2018-05-22 07:32:22 · 3109 阅读 · 0 评论 -
XGBoost
回顾决策树的分类能力由叶子节点上的条件概率分布决定决策树的内路径只决定了特征空间的划分情况,即给定一个样本xi,最终会落在哪个节点思考: 提升的定义提升的框架 思路:在构建好的k-1棵决策树的基础上,构建第k棵决策树符号说明: 这里需要解释一下俩棵决策树的加权和的含义 权值a1,a2取值不同,首先决定了不同的特征空间的划分,统计后得到不同的条件...原创 2018-05-22 07:36:33 · 1235 阅读 · 0 评论