Machine Learning&Deep Learning
文章平均质量分 96
机器学习和深度学习方面基本 汇总
南有芙蕖
若有一天,没更新了,也在科研,只是陷入苦海中。
展开
-
交叉验证(Cross-Validation)
交叉验证(Cross-Validation)目录交叉验证(Cross-Validation)一、基本方法1、保留交叉验证 hand-out cross validation2、k折交叉验证 k-fold cross validation3、留一交叉验证 leave-one-out cross validation二、Bootstrapping三、用途四、主要事件五、实例代码参考资料 交叉验证是在机器学习建立模型和验证模型参数时常用的办法,一般被用于评估一个机器学习模型的表现。更多的情况下,我们也用交叉原创 2021-02-23 10:22:49 · 65700 阅读 · 6 评论 -
论文阅读:Attention Is All You Need【注意力机制】
论文阅读:Attention Is All You Need原文链接:Attention Is All You Need作者: Ashish Vaswani;Noam Shazeer;Niki Parmar;Jakob Uszkoreit;Llion Jones;Aidan N. Gomez; Łukasz Kaiser;Illia Polosukhin目录论文阅读:Attention Is All You Need摘要1 介绍2 背景3 模型架构3.1 编码器和解码器堆栈3.2 注意力机制3.2原创 2020-10-12 20:02:12 · 7194 阅读 · 2 评论 -
博客阅读:图解Transformer(The Illustrated Transformer)
博客阅读:图解Transformer(The Illustrated Transformer)原文链接:https://jalammar.github.io/illustrated-transformer/作者:Jay Alammar目录博客阅读:图解Transformer(The Illustrated Transformer)前言1.整体结构(A High-Level Look)图的引入(Bringing The Tensors Into the Picture)2.Encoder编码器(No原创 2020-10-10 13:28:12 · 1873 阅读 · 1 评论 -
论文阅读:BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding
论文阅读:BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding 预训练的深度双向 Transformer 语言模型 原文链接:BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 作者:Jacob Devlin,Ming-Wei Chang,Kenton Lee,Kristina To原创 2020-10-07 21:52:51 · 1291 阅读 · 2 评论 -
监督学习(五):LightGBM算法
监督学习(五):LightGBM算法 提升树是利用加法模型和前向分布算法实现学习的优化过程,它有一些高效的实现,如GBDT,XGBoost和pGBRT,其中GBDT是通过损失函数的负梯度拟合残差,XGBoost则是利用损失函数的二阶导展开式拟合残差。但是,当面对大量数据集和高维特征时,其扩展性和效率很难令人满意,最主要的原因是对于每一个特征,它们需要扫描所有的样本数据来获得最优切分点,这个过程是非常耗时的 。本文介绍基于GBDT的另一 种 形 式 LightGBM , LightGBM 是 基 于 直原创 2020-09-30 14:53:10 · 1754 阅读 · 0 评论 -
监督学习(四):XGBoost算法
监督学习(四):XGBoost算法 XGBoost(eXtreme Gradient Boosting)全名叫极端梯度提升,XGBoost是集成学习方法的王牌,在Kaggle数据挖掘比赛中,大部分获胜者用了XGBoost,XGBoost在绝大多数的回归和分类问题上表现的十分顶尖,本文较详细的介绍了XGBoost的算法原理。目录监督学习(四):XGBoost算法1. 最优模型的构建方法2. Boosting的回归思想3. XGBoost的目标函数推导4. XGBoost的回归树构建方法5. XGBo原创 2020-09-29 14:47:43 · 1975 阅读 · 0 评论 -
监督学习(三):梯度提升树(GBDT)算法
监督学习(三):梯度提升树(GBDT)算法 本文介绍了boosting族的提升树算法和梯度提升(GBDT)算法,GBDT算法常用来解决回归和分类问题,且泛化能力很强,本文深入浅出的总结了GBDT算法 。目录监督学习(三):梯度提升树(GBDT)算法1. 单决策树与提升树算法的不同3. 提升树算法4. GBDT算法5. GBDT常用损失函数6. GBDT的正则化7. GBDT与AdaBoost的模型比较8. 总结1. 单决策树与提升树算法的不同决策树是单一学习器,提升树是以CART决策树为基本学原创 2020-09-24 15:53:07 · 854 阅读 · 0 评论 -
监督学习(二):决策树模型
决策树模型决策树是机器学习模型较常用的一种方法,李航老师《统计学习方法》详细的描述了决策树的生成和剪枝,本文根据书中的内容,对决策树进行了总结。原创 2020-09-24 09:30:39 · 373 阅读 · 0 评论 -
监督学习(一):逻辑(logistic)回归模型
逻辑(logistic)回归模型分析目录逻辑(logistic)回归模型分析1. logistic回归模型的含义2.logistic的决策边界函数分析3.logistic模型的参数最优化4.logistic模型与感知机模型的比较5.总结1. logistic回归模型的含义 我们把分类模型分成两个阶段,推断阶段和决策阶段,推断阶段对联合概率分布建模,然后归一化,得到后验概率。决策阶段确定每个新输入x的类别。 我们用推断阶段的方法来推导logistic回归模型,首先对类条件概率密度 和类先验概率分原创 2020-09-23 15:05:38 · 1370 阅读 · 0 评论 -
机器学习实战:集成学习与随机森林(附代码)
机器学习实战:集成学习与随机森林目录机器学习实战:集成学习与随机森林集成学习(ensemble learning)集成学习分类(ensemble learning classification)随机森林(Random forest)算法评价【实战】集成学习(ensemble learning)定义:使用一系列学习器进行学习,并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。集成学习方式:bagging- (RF)boosting - (GBDT/Ada原创 2020-06-21 17:58:18 · 945 阅读 · 0 评论 -
机器学习实战:Logistic回归(附代码)
机器学习实战:Logistic回归目录机器学习实战:Logistic回归本章内容Logistic回归的一般过程1 基于Logistic回归和Sigmoid函数的分类2 基于最优化方法的最佳回归系数确定2.1 梯度上升法2.2 训练算法: 使用梯度上升找到最佳参数2.3 分析数据: 画出决策边界2.4 训练算法: 随机梯度上升3 示例: 从疝气病症预测病马的死亡率3.1 准备数据:处埋数据中的缺失值3.2 测试算法: 用Logistic回归进行分类4 本章小结【完整代码】【数据集】【参考资料】本章内容原创 2020-06-18 17:01:09 · 1804 阅读 · 0 评论 -
机器学习中的哈希学习总结(learning to hash)
机器学习中的哈希学习总结(learning to hash)1 定义 哈希学习(learning to hash)是通过机器学习机制将数据映射成二进制串的形式,能显著减少数据的存储和通信开销,从而有效提高学习系统的效率。2 目的学到数据的二进制哈希码表示,使得哈希码尽可能地保留原空间中的近邻关系,即保相似性。具体来说,每个数据点会被一个紧凑的二进制串编码,在原空间中相似的两个点应当被...原创 2020-05-08 10:56:00 · 6727 阅读 · 0 评论 -
论文阅读:A Survey on Deep Hashing Methods 综述:深度哈希方法
A Survey on Deep Hashing Methods综述:深度哈希方法摘要最近邻搜索是寻找数据库中的数据点,使它们到查询的距离最小,这是计算机视觉、推荐系统和机器学习等各个领域的一个基本问题。哈希是计算效率和存储效率最广泛使用的方法之一。随着深度学习的发展,深度哈希方法显示出比传统方法更多的优点。本文对深度哈希算法进行了全面的研究。在损失函数的基础上,将深度监督哈希方法按照相似度...原创 2020-05-08 10:24:11 · 8702 阅读 · 6 评论 -
机器学习笔记(一):机器学习基本知识概述
机器学习笔记(一):机器学习基本知识概述目录机器学习笔记(一):机器学习基本知识概述一、机器学习概述1.人工智能2.机器学习的定义3.机器学习的时期4.人工智能中逻辑推理的两种方法5.机器学习与其他6.机器学习的本质二、机器学习算法体系1. 以学习方式归类2.以应用场景归类3.以算法特点归类三、算法选择1. 依据数据和学习方法的选择2.依据数据量和数据特点选择3.依据算法性能特点的选择四、机器学...原创 2020-04-30 15:00:08 · 849 阅读 · 1 评论 -
【DeepLearning】Dropout正则化
【DeepLearning】Dropout正则化1. Dropout简介1.1 Dropout出现的原因在机器学习的模型中,如果模型的参数太多,而训练样本又太少,训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题,过拟合具体表现在:模型在训练数据上损失函数较小,预测准确率较高;但是在测试数据上损失函数比较大,预测准确率较低。过拟合是很多机器学习的通病。如果模型...转载 2019-11-30 13:52:01 · 418 阅读 · 0 评论 -
吴恩达机器学习课后作业-02逻辑回归(02-logistic_regression)
吴恩达机器学习课后作业-02逻辑回归(02-logistic_regression)切记!!!下载第二次课后作业的题目和数据包(ex2data1.txt和ex2data2.txt),数据包一定要下载,并且导入到项目所在文件夹,用Ancona或者pycharm编译都可以成功!(后续会慢慢补充并且完善逻辑回归知识点)一、线性可分(案例图,假设函数,sigmoid函数y=0或y=1,损失函数,代...原创 2019-11-20 19:47:14 · 964 阅读 · 0 评论 -
吴恩达机器学习课后习题01-线性回归(01-linear regression)
吴恩达机器学习课后习题01-线性回归(01-linear regression)在此下载第一次课后作业的题目和数据包,切记,数据包一定要下载,并且导入到项目所在文件夹,用Ancona或者pycharm编译都可以成功!单变量线性回归训练集,拟合(假设,陈述,代价函数),梯度下降法损失函数,梯度下降函数,维度案例:假设你是一家餐厅的CEO,正在考虑开一家分店,根据该人口数据测试其利润。我们...原创 2019-11-20 19:06:12 · 883 阅读 · 0 评论