算法知识点
Lynqwest
这个作者很懒,什么都没留下…
展开
-
算法知识点——(1)特征工程
目录一、特征归一化1. 为什么要做归一化2. 归一化的类型二、类别型特征在对数据处理时,应怎样处理类别型特征?三、文本表示模型有哪些文本表示模型? 它们各有什么优缺点?四、word2vev1. Word2Vec是如何工作的?2. Word2Vec和LDA有什么区别与联系?五、常见的特征选择分类1. Filter方法2. Wrapper方法3....原创 2019-09-04 10:39:31 · 793 阅读 · 0 评论 -
算法知识点——(2)模型评估
目录一、评估指标及其局限性1.准确率2. 精准率和召回率3. 平方根误差二、ROC曲线与AUC1. ROC计算2. AUC计算3. AUC实现三、模型评估方法1. Holdout检验2. 交叉检验3.自助法四、过拟合与欠拟合1. 过拟合、欠拟合现象2. 如何解决五、超参数调优1. 网格搜索2. 随机搜索3. 贝...原创 2019-09-05 15:32:13 · 1667 阅读 · 0 评论 -
算法知识点——(3)监督学习——逻辑回归与线性回归
目录一、线性回归1. 原理推导1.1算法概述1.2误差项分析1.3似然函数1.4目标函数推导1.5线性回归求解2. 特点3. 广义线性回归二、逻辑回归1. 原理推导1.1 Logistic 分布1.2 逻辑回归分类任务1.3 似然函数1.4 应用梯度下降求参数1.5 参数更新2. 特点3. 多分类逻辑回归4. 极...原创 2019-09-10 09:58:37 · 1224 阅读 · 0 评论 -
算法知识点——(3)监督学习——决策树
目录一、决策树概念二、决策树启发函数1. ID3——最大信息增益2. C4.5——最大信息增益比3. CART——最小基尼系数4. 启发函数区别三、决策树剪枝策略1. 预剪枝2. 后剪枝四、常见问题1. C4.5 如何处理连续型数值2.信息增益率的优缺点3.C4.5对ID3做了哪些改进4. CART 与C4.5区别5. 简述分类树...原创 2019-09-12 18:02:03 · 1843 阅读 · 0 评论 -
算法知识点——(3)监督学习——SVM
目录一、支持向量机原理1. SVM目标2. 距离与数据定义3. 目标函数推导4. 目标函数求解4.1 KKT条件4.2 拉格朗日乘子法——强对偶性4.3 拉格朗日乘子法—— 求解4.4 SMO算法——求解max ()5. 软间隔6. SVM核变换二、常见问题1. LR和SVM区别2. SVM损失函数3. SVM的原理是什么?4. 对偶...原创 2019-09-17 15:58:51 · 2689 阅读 · 0 评论 -
算法知识点——(4)降维
一、SVD奇异值分解1. SVD概述为什么先介绍SVD算法,因为在后面的PCA算法的实现用到了SVD算法。SVD算法不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域。是很多机器学习算法的基石。 在线性代数中我们学过矩阵(在这里的矩阵必须是n×nn×n的方阵)的特征分解,矩阵A和特征值、特征向量之间的关系如下 将A矩阵做特征分解,特征向量QQ是一组...原创 2019-09-26 11:22:09 · 721 阅读 · 0 评论 -
算法知识点——(5)集成算法—GBDT详解
目录一、GBDT概述二、GBDT算法思想1. GB(Gradient boosting)2.GBDT的变形和参数建议3. 算法思想总结4.GBDT的优缺点三、GBDT回归算法1. 回归算法2. 回归实例四、GBDT分类算法1. 二元分类2. 多元分类3. 分类实例五、常见问题1. 随机森林和GBDT 的区别2. Xgboost...原创 2019-09-29 14:01:24 · 3671 阅读 · 0 评论