机器学习
文章平均质量分 93
拓宽知识的广度
CHH3213
主要研究自动驾驶决策规划控制。
每天都要保持健康的状态,提升专业能力,谨慎投资!
展开
-
【周志华机器学习】总目录
一、机器学习基本概念二、比较检验–方差–偏差三、线性模型四、决策树五、神经网络神经网络理解:前向传播与反向传播六、支持向量机七、贝叶斯分类器八、集成学习XGBoostLightGBM九、聚类十、降维与度量学习kNN补充——近邻的距离度量十一、特征选择与稀疏学习十二、计算学习十三、半监督学习十四、概率图模型十五、规则学习...原创 2022-04-15 11:55:45 · 5237 阅读 · 0 评论 -
神经网络九大学习率衰减提效策略
十大学习率衰减策略!简 介目前越来越多非结构化问题的出现,神经网络也扮演着愈加重要的作用。一个好的神经网络对于最终任务的预测至关重要,但要得到一个好的神经网络则需要考虑众多的因素,本文我们重点介绍神经网络中调参重学习率衰减的调节策略。本文介绍目前tensorflow中的9大学习率衰减策略。exponential_decay = learning_rate_decay.exponential_decaypiecewise_constant = ...转载 2022-05-02 13:34:11 · 1521 阅读 · 0 评论 -
【重要】Deep Learning 调参 tricks
作者 | 山竹小果原文 | 文末『阅读原文』处整理 | NewBeeNLP公众号 重点说明:本文主要为整理总结,大部分参考文末资料,感谢分享。寻找合适的学习率(learning rate)学习率是一个非常非常重要的超参数,这个参数呢,面对不同规模、不同batch-size、不同优化方式、不同数据集,其最合适的值都是不确定的,我们无法光凭经验来准确地确定lr的值,我们唯一可以做的,就是在训练中不断寻找最合适当前状态的学习率。比如下图利用fastai中的l......转载 2022-05-02 11:14:24 · 304 阅读 · 0 评论 -
【机器学习】长短时记忆网络(LSTM)
文章目录1. 基本概念2. 长短时记忆网络的前向计算2.1 门2.2 遗忘门1. 基本概念长短时记忆网络(Long Short Term Memory Network, LSTM),它成功的解决了原始循环神经网络的缺陷,成为当前最流行的RNN,在语音识别、图片描述、自然语言处理等许多领域中成功应用。原始RNN无法处理长距离依赖,原始RNN的隐藏层只有一个状态,即h,它对于短期的输入非常敏感。长短时记忆网络在RNN的基础上再增加一个状态c,让它来保存长期的状态。新增加的状态c,称为单元状态(cel转载 2022-04-21 20:26:36 · 7386 阅读 · 1 评论 -
【机器学习】门控循环单元(GRU)
文章目录1. GRU2. ⻔控循环单元2.1 重置门和更新门2.2 候选隐藏状态2.3 隐藏状态1. GRU在循环神经⽹络中的梯度计算⽅法中,我们发现,当时间步数较⼤或者时间步较小时,循环神经⽹络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸,但⽆法解决梯度衰减的问题。通常由于这个原因,循环神经⽹络在实际中较难捕捉时间序列中时间步距离较⼤的依赖关系。**门控循环神经⽹络(gated recurrent neural network)的提出,正是为了更好地捕捉时间序列中时间步距离较⼤的依赖关系转载 2022-04-21 10:25:51 · 4267 阅读 · 0 评论 -
【机器学习】梯度下降算法
文章目录参考资料1. 基本概念1.1 自适应学习率1.2 Adagrad 算法2. 随机梯度下降法3. 理论基础3.1 泰勒展开4. 梯度下降限制参考资料LeeML-Notes1. 基本概念在回归问题的第三步中,需要解决下面的最优化问题:θ∗=arg minθL(θ)(1)\theta^∗= \underset{ \theta }{\operatorname{arg\ min}} L(\theta) \tag1θ∗=θarg minL(θ)(1)LLL :lossf原创 2022-04-19 14:37:17 · 2113 阅读 · 0 评论 -
【周志华机器学习】五、神经网络之RNN
文章目录参考资料1. 概念1.1 语言模型1.2 RNN1.3 双向RNN1.4 深度循环神经网络2. 循环神经网络的训练算法:BPTT2.1 前向计算2.2 误差项的计算2.3 权重梯度的计算3. 问题3.1 为什么RNN 训练的时候Loss波动很大3.2 RNN的梯度爆炸和消失参考资料LeeML-NotesML-NLP 循环神经网络本博客根据参考资料所做的笔记,主要用于学习,非技术类博客,因此存在大量复制粘贴,请见谅。1. 概念RNN是在自然语言处理领域中最先被用起来的,比如,RN原创 2022-04-18 20:16:09 · 1523 阅读 · 0 评论 -
【周志华机器学习】五、神经网络之CNN
文章目录参考资料1. 概念2. 输入层3. 卷积计算层(conv)3.1 features3.2 卷积4. 激励层5. 池化层6. 全连接层6.1 层次结构小结7. CNN优缺点8. 典型CNN发展历程9. 图像相关任务9.1 图像识别与定位思路1:识别+定位过程思路2:图窗+识别9.2 物体检测(object detection)9.2.1 过程9.2.2 R-CNN9.2.3 SPP-Net9.2.4 Fast R-CNN9.2.5 Faster R-CNN9.2.6 YOLO9.2.7 SS原创 2022-04-18 11:44:23 · 840 阅读 · 1 评论 -
【周志华机器学习】十五、规则学习
文章目录参考资料1. 基本概念2. 序贯覆盖2.1 产生规则的方式3. 剪枝优化3.1 REP3.2 IREP4. 一阶规则学习4.1 FOIL5. 归纳逻辑程序设计5.1 最小一般泛化5.2 逆归结参考资料Machine-learning-learning-notesLeeML-NotesML-NLP 本博客根据周志华的西瓜书和参考资料1、2、3所做的笔记,主要用于学习,非技术类博客,因此存在大量复制粘贴,请见谅。如果本篇博客有后记部分,则该部分表示的是在书本原有的基础知识上,进行的知识原创 2022-04-11 10:18:22 · 2308 阅读 · 2 评论 -
【周志华机器学习】十四、概率图模型
文章目录参考资料1. 基本概念2. 隐马尔可夫模型(HMM)2.1 隐马尔可夫三大问题1. 第一个问题解法2. 第二个问题解法3. 第三个问题解法3. 马尔可夫随机场(MRF)3.1 MRF性质3.2 势函数4. 条件随机场(CRF)5. 学习与推断5.1 变量消去5.2 信念传播6. LDA话题模型7. 后记7.1 EM算法、HMM、CRF的比较参考资料Machine-learning-learning-notesLeeML-NotesML-NLP 本博客根据周志华的西瓜书和参考资料1、原创 2022-04-10 21:12:12 · 2189 阅读 · 0 评论 -
【周志华机器学习】十三、半监督学习
文章目录参考资料1. 未标记样本1.1 主动学习1.2 常见假设1.3 半监督学习划分2. 生成式方法3. 半监督SVM4. 基于分歧的方法5. 半监督聚类5.1 Constrained k-means5.2 少量有标记样本参考资料Machine-learning-learning-notesLeeML-NotesML-NLP 本博客是根据周志华的西瓜书和参考资料1、2、3所做的笔记,主要用于学习,非技术类博客,因此存在大量复制粘贴,请见谅。如果本篇博客有后记部分,则该部分表示的是在书本原原创 2022-04-10 15:13:27 · 4048 阅读 · 0 评论 -
【周志华机器学习】十二、计算学习
文章目录参考资料1. 基本概念2. PAC学习3. 有限假设空间3.1 可分情形3.2 不可分情形4. VC维4.1 增长函数4.2 对分与打散4.3 VC维5. 稳定性参考资料Machine-learning-learning-notesLeeML-NotesML-NLP 本博客是根据周志华的西瓜书和参考资料1、2、3所做的笔记,主要用于学习,非技术类博客,因此存在大量复制粘贴,请见谅。如果本篇博客有后记部分,则该部分表示的是在书本原有的基础知识上,进行的知识点的扩充。1. 基本概念原创 2022-04-10 11:53:35 · 1028 阅读 · 0 评论 -
【周志华机器学习】十一、特征选择与稀疏学习
文章目录参考资料前言1. 子集搜索与评价1.1 特 征 选 择1.2 特征选择原因1.3 子集搜索与子集评价1.3.1 子集搜索1.3.2 子集评价2. 过滤式选择(Relief)2.1 Relief算法核心2.2 拓展变体:Relief-F算法3. 包裹式选择(LVW)4. 嵌入式选择与正则化4.1 L1范数与L2范数理解5. 稀疏表示与字典学习6. 压缩感知参考资料Machine-learning-learning-notesLeeML-NotesML-NLP 本博客是根据周志华的西瓜书原创 2022-04-09 12:14:45 · 1741 阅读 · 0 评论 -
【周志华机器学习】机器学习中的距离度量
文章目录参考资料参考资料ML-NLP K近邻算法的核心在于找到实例点的邻居,这个时候,问题就接踵而至了,如何找到邻居,邻居的判定标准是什么,用什么来度量。这一系列问题便是下面要讲的距离度量表示法。有哪些距离度量的表示法(普及知识点,可以跳过):欧氏距离,最常见的两点之间或多点之间的距离表示法,又称之为欧几里得度量,它定义于欧几里得空间中,如点 x = (x1,…,xn) 和 y = (y1,…,yn) 之间的距离为:二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离:转载 2022-04-08 11:46:30 · 697 阅读 · 0 评论 -
【周志华机器学习】十、降维与度量学习
文章目录参考资料1. 维数灾难2. K近邻学习(kNN)2.1 分析2.2 KNN最近邻分类算法的过程3. MDS算法参考资料Machine-learning-learning-notesLeeML-NotesML-NLP 本博客是根据周志华的西瓜书和参考资料1、2、3所做的笔记,主要用于学习,非技术类博客,因此存在大量复制粘贴,请见谅。如果本篇博客有后记部分,则该部分表示的是在书本原有的基础知识上,进行的知识点的扩充。1. 维数灾难样本的特征数称为维数(dimensionality原创 2022-04-08 18:14:01 · 1534 阅读 · 0 评论 -
【周志华机器学习】九、聚类
文章目录参考资料1. 基本概念1.1 距离度量1.2 性能度量1.2.1 外部指标1.2.2 内部指标参考资料Machine-learning-learning-notesLeeML-NotesML-NLP 本博客是根据周志华的西瓜书和参考资料1、2、3所做的笔记,主要用于学习,非技术类博客,因此存在大量复制粘贴,请见谅。如果本篇博客有后记部分,则该部分表示的是在书本原有的基础知识上,进行的知识点的扩充。1. 基本概念聚类是一种经典的无监督学习方法,无监督学习的目标是通过对无标记训原创 2022-04-08 11:06:52 · 2198 阅读 · 0 评论 -
【周志华机器学习】集成学习补充——XGBoost
文章目录参考资料1. 概念2. 核心算法思想3. 正则项:树的复杂度4. 树的生长4.1 停止树的循环生成5. XGBoost与GBDT有什么不同6. 为什么XGBoost要用泰勒展开,优势在哪里?参考资料ML-NLP XGBoost本博客根据参考资料所做的笔记,主要用于学习,非技术类博客,因此存在大量复制粘贴,请见谅。XGBoost代码实现示例见于github仓库1. 概念XGBoost是陈天奇等人开发的一个开源机器学习项目,高效地实现了GBDT算法并进行了算法和工程上的许多改进,被广原创 2022-04-12 11:39:57 · 518 阅读 · 0 评论 -
【周志华机器学习】集成学习补充——LightGBM
文章目录参考资料1. 基本概念1.1 LightGBM vs XGBoost1.2 Histogram算法1.3 带深度限制的Leaf-wise的叶子生长策略1.4 直方图差加速1.5 直接支持类别特征2. LightGBM优点参考资料Machine-learning-learning-notesLeeML-NotesML-NLP 本博客根据周志华的西瓜书和参考资料1、2、3所做的笔记,主要用于学习,非技术类博客,因此存在大量复制粘贴,请见谅。如果本篇博客有后记部分,则该部分表示的是在书本转载 2022-04-13 10:15:46 · 395 阅读 · 0 评论 -
【周志华机器学习】八、集成学习
文章目录参考资料1. 基本概念1.1 个体与集成2. Boosting3. Bagging4.随机森林5. 结合策略5.1 平均法(回归问题)5.2 投票法(分类问题)5.3 学习法6. 多样性(diversity)7. 后记7.1 随机森林分类效果的影响因素7.2 随机森林有什么优缺点7.3 随机森林如何处理缺失值?7.4 什么是OOB?随机森林中OOB是如何计算的,它有什么优缺点?7.5 随机森林的过拟合问题参考资料Machine-learning-learning-notesLeeML-Not原创 2022-04-07 11:17:20 · 2224 阅读 · 0 评论 -
【周志华机器学习】七、贝叶斯分类器
文章目录参考资料1. 基本概念1.1 贝叶斯公式1.2 贝叶斯决策论1.3 极大似然法2. 朴素贝叶斯分类器3. 半朴素贝叶斯分类器4. EM算法4.1 EM算法思想4.2 EM算法数学推导4.3 EM算法流程参考资料Machine-learning-learning-notesLeeML-NotesML-NLP 本博客为作者根据周志华的西瓜书和参考资料1、2、3所做的笔记,主要用于学习,非技术类博客,因此存在大量复制粘贴,请见谅。如果本篇博客有后记部分,则该部分表示的是在书本原有的基础知原创 2022-04-06 11:47:36 · 3118 阅读 · 0 评论 -
【周志华机器学习】六、支持向量机
文章目录参考资料1. 基本概念1.1 函数间隔与几何间隔1.1.1 函数间隔1.1.2 几何间隔参考资料Machine-learning-learning-notesLeeML-NotesML-NLP 本博客为作者根据周志华的西瓜书和参考资料1、2、3所做的笔记,主要用于学习,非技术类博客,因此存在大量复制粘贴,请见谅。如果本篇博客有后记部分,则该部分表示的是在书本原有的基础知识上,进行的知识点的扩充。1. 基本概念支持向量机是一种经典的二分类模型,基本模型定义为特征空间中最大间隔的原创 2022-04-06 10:23:36 · 1648 阅读 · 0 评论 -
神经网络理解:前向传播与反向传播
文章目录参考资料神经网络前向传播**输入层->隐含层****隐含层->输出层**反向传播1. **计算总误差**2. **隐含层与输出层之间的权重更新**3. 输入层与隐层之间的权重更新4. 梯度下降参考资料神经网络基础: 反向传播推导与卷积公式神经网络前向传播与反向传播神经网络神经网络通俗地可以理解成一个函数近似器,它需要近似一个输入x到输出y的映射函数。我们所要训练的网络参数其实就是在拟合这个映射函数的未知量。神经网络的训练可以分为两个步骤:一个是前向传播,另一个是反向传播。前原创 2022-04-02 11:50:28 · 8415 阅读 · 1 评论 -
【周志华机器学习】五、神经网络
文章目录参考资料1. 基本概念1.1 神经元模型2. 感知机与多层网络隐藏层的解释3. BP神经网络算法3.1 算法思想3.2 过拟合问题4. 全局最小与局部最小5. 深度学习5.1 理解5.2 深度学习3步骤6. 后记6.1 为什么神经网络具有非线性切分能力6.2 随机初始化模型参数6.3 激活函数sigmoid函数tanh(双曲正切)函数ReLu(修正线性单元)函数softmax激活函数优缺点6.4 为什么使用激活函数6.5 人工神经网络中为什么ReLu要好过于tanh和sigmoid function原创 2022-04-05 15:05:54 · 1863 阅读 · 0 评论 -
【周志华机器学习】四、决策树
文章目录参考资料1. 基本概念2. 决策树的构造3. ID3算法(使用信息增益)4. C4.5算法(使用增益率)5. CART算法(使用基尼系数)三种不同的决策树算法小结6. 剪枝处理7. 连续值与缺失值处理7.1 连续值处理7.2 缺失值处理8. 后记1. 树形结构为什么不需要归一化?2. 分类决策树和回归决策树的区别参考资料Machine-learning-learning-notesLeeML-NotesML-NLP 本博客为作者根据周志华的西瓜书和参考资料1、2、3所做的笔记,主要原创 2022-04-05 10:36:27 · 1737 阅读 · 0 评论 -
【周志华机器学习】三、线性模型
文章目录参考资料1. 线性回归1.1 概述1.2 分析1.3 对数线性回归2. 对数几率回归(logistic 回归)2.1 概述2.2 优点2.3 求解2.4 用到的优化方法1. 一阶方法2. 二阶方法:牛顿法、拟牛顿法3 线性判别分析(LDA)4. 多分类学习5. 类别不平衡问题6. 关于logistic回归的后记6.1 logistic回归为什么要对特征进行离散化6.2 逻辑回归的目标函数中增大L1正则化会是什么结果。参考资料Machine-learning-learning-notesLe原创 2022-04-04 13:41:49 · 1531 阅读 · 0 评论 -
【周志华机器学习】二、比较检验--方差--偏差
文章目录参考资料1. 比较检验1.1 假设检验1.2 交叉验证t检验1.3 McNemar检验1.4 Friedman检验与Nemenyi后续检验1.4.1 Friedman检验1.4.2 Nemenyi后续检验2. 偏差与方差参考资料Machine-learning-learning-notesLeeML-Notes本博客为作者根据周志华的西瓜书和参考资料1、2所做的笔记,主要用于学习,非技术类博客,因此存在大量复制粘贴,请见谅。1. 比较检验由于“测试误差”受到很多因素的影响,例如:原创 2022-04-04 10:16:23 · 1872 阅读 · 0 评论 -
【周志华机器学习】一、机器学习基本概念
文章目录参考资料1. 概述1.1 机器学习定义1.2 基本术语2. 模型的评估与选择2.1 误差与过/欠拟合2.2 评估方法2.3 训练集与测试集的划分方法2.3.1 留出法2.3.2 交叉验证法2.3.3 自助法2.4 调参2.5 性能度量2.5.1 最常见的性能度量2.5.2 查准率/查全率/F12.5.3 ROC与AUC2.5.4 代价敏感错误率与代价曲线参考资料Machine-learning-learning-notesLeeML-Notes本博客为作者根据周志华的西瓜书和参考资料原创 2022-04-03 20:56:04 · 13385 阅读 · 1 评论