机器学习
机器学习相关
johnjim0816
stay hungry, stay foolish
展开
-
机器学习中的ground truth
ground truth这一术语可以被视为相关特定问题的事实,即理想的预期结果,在统计模型中使用它来证明或反对研究假设。术语ground truthing是指为此测试收集适当的客观(可证明)数据的过程。与gold standard相对。例如,假设我们正在测试一个立体视觉系统,以了解其可以很好地估计3D位置。 ground truth可能是由激光测距仪给出的位置,该测距仪比照相机系统要精确得多。又比如,贝叶斯垃圾邮件过滤是监督学习的常见示例。在此系统中,人工学习了垃圾邮件和非垃圾邮件之间的区别。训练算法很原创 2020-09-27 15:13:47 · 1503 阅读 · 0 评论 -
读取MNIST数据集的几种方法
机器学习中处理MNIST数据集相当于编程语言中的"hello world",其中训练集中包含60000 个examples, 测试集中包含10000个examples。数据为像素28*28=784的图像,标签为0-9等10个数字标签。为方便处理,我们希望输出的数据为(x_train,y_train),(x_test,y_test)四个数组,其中x_train包含了60000个维度为784的向量表示图像,将标签进行one-hot编码,比如将数字标签2编码为[0,0,1,0,0,0,0,0,0,0]这样的数组原创 2020-05-22 09:38:04 · 15055 阅读 · 1 评论 -
训练集(Train),验证集(Validation)和测试集(Test Sets)以及交叉验证法
本文主要区分机器学习中的三种数据集,尤其是验证集和测试集,并介绍常用的交叉验证训练方法。Training Set训练集,即用于训练模型内参数(fit the model)的数据集。Testing Set即测试集,在使用训练集调整参数之后,使用测试集来评价模型泛化能力。Validation Set实际上使用测试集评价模型泛化能力之后并不意味着机器学习任务就此完成,最后还需要使用一个没有见过的数据集来判断模型是否work。在Kaggle中,Testing Set分为Public和Private Te原创 2020-06-01 16:32:12 · 19720 阅读 · 2 评论 -
【数码结合】使用softmax函数以及交叉熵训练网络
softmax函数机器学习中常讲softmax函数应用到多分类问题中,如下:假设我们输为x1,x2,...x_1,x_2,...x1,x2,...,输出为y1,y2,y3y_1,y_2,y_3y1,y2,y3中之一,比如判断某物体是属于y1y_1y1类还是别的。其中z1,z2,z3z_1,z_2,z_3z1,z2,z3作为网络的后一层隐藏层,而其实这一层是可以作为输出层的,比如我们可以选择z1,z2,z3z_1,z_2,z_3z1,z2,z3中的最大值3作为输出。而此时我们选原创 2020-05-14 23:14:26 · 442 阅读 · 0 评论 -
【机器学习实战笔记】Logistic回归
Sigmoid函数我们想定义一个函数,即能够接受所有特征输入(自变量)然后预测出类别(因变量)。在二分类的情况下,可以定义输出为0和1。比如要预测一个动物是不是鸟类,是则为1,不是则为0。具有这种性质的函数,比较简单的就是单位阶跃函数(Heaviside step function)。但是该函数在x=0x=0x=0处从0瞬间跳变到1,这样就很难处理。换句话讲,阶跃函数在x=0x=0x=0处不可微...原创 2020-04-24 00:32:10 · 334 阅读 · 0 评论 -
最新!干货满满的深度学习应用综述
文章目录0 写在前面1 引言2 DL的基本架构3 DL的高级架构AlexNetVisual Graphic Group NetGoogleNetResNetResNeXtRCNN (Regions with Convolutional Neural Network)YoLoSqueezeNetSegNetGAN4 DL的特点5 使用DL的动机6 DL与经典ML的区别7 DL与传统学习的区别特征提取...原创 2020-03-13 20:25:07 · 1882 阅读 · 0 评论 -
表示学习(representation learning)的初印象
文章目录0 写在前面1 什么是表示?2 表示学习?3 参考资料0 写在前面表示学习(representation learning)是深度学习领域中一个比较重要的方面,本文则提供对表示学习的一个定性理解。1 什么是表示?要清楚什么是表示(representation)学习,就得先知道什么是representation。在《deep learning withpython》一书的1.1.3...原创 2020-03-13 08:25:31 · 2034 阅读 · 0 评论 -
《机器学习实战》笔记(1):kNN
前言《机器学习实战》(Machine Learning in Action)确是一本入门的好教材,学习过后权且做个总结。正文 1. 算法目的未知分类的数据集进行预测分类2. 原理(伪代码)对未知类别属性的数据集中的每个点依次执行以下操作:(1) 计算已知类别数据集中的点与当前点之间的距离;(2) 按照距离递增次序排序;(3) 选取与当前点距离最小的k个点(k&...原创 2018-09-11 10:59:29 · 338 阅读 · 0 评论 -
Loaded DiCE: Trading off Bias and Variance in Any-Order Score Function Estimators for Reinforcement
0 写在前面最近需要做一篇较为详细的报告,于是看到NIPS2019的这篇论文,它主要的贡献就是提出了一个能够用于复杂强化学习的目标函数也就是文中的objective或者说高阶梯度估计器,具体译文以及个人批注如下文。Loaded DiCE: Trading off Bias and Variance in Any-Order Score Function Estimators for Reinf...原创 2020-01-23 23:40:44 · 670 阅读 · 0 评论 -
深度强化学习简述
深度强化学习简述0 写在前面主要参考《A Brief Survey of Deep Reinforcement Learning》1 引言 如今广泛意义上的机器学习既包括传统的偏向数理统计方面的机器学习,也包含基于神经网络的深度学习,也有基于奖励机制的半监督式机器学习,即强化学习,它是一类特殊的机器学习算法,借鉴于行为主义心理学,特别适用于智能体或者机器人的控制与决策问题,它要解决的问...原创 2019-12-29 22:34:21 · 1198 阅读 · 0 评论 -
统计学习理论总结
0 写在前面参考资料:Statistical Learning Theory- Models, Concepts, and Results最近需要做一个统计学习理论的总结,笔者主要参考上面资料做了前面5章的总结,特此分享 ????。1 引言统计学习理论(SLT)为当代很多机器学习算法提供理论基础,也是AI最美的发展分支之一。它起源于1960年代的俄罗斯,并且在1990年代,当SVM成为从计算机视...原创 2019-12-03 12:52:26 · 3534 阅读 · 0 评论 -
《机器学习实战》笔记(2):决策树
接上一节:《机器学习实战》笔记(1):kNN。注意:本人意在讲解数学原理,具体代码不做解释。1. 简介 决策树也是一种分类方法,如下图是一个邮件分类的决策树流程图,方框中的是邮件特征,也是树的层数,椭圆框的则是最终分类的组别,也是树的叶子。构造决策树的关键问题就在于按顺序找出最具有决定性的特征,例如上图特征"发送邮件地址..."决定性大于"包含单词曲棍球",所以分类...原创 2019-07-11 17:23:08 · 318 阅读 · 0 评论