机器学习
文章平均质量分 60
周志华老师西瓜书读书笔记,及浙大胡老师上课笔记
Q&Cui
毕业于蓝翔技校,专业挖掘四十年。
展开
-
Multi-GPU Training of ConvNets
在这里插入图片描述原创 2021-04-01 21:58:34 · 214 阅读 · 0 评论 -
机器学习中的优化综述
A Survey of Optimization Methods from a Machine Learning Perspective 原文地址:https://arxiv.org/abs/1906.06821 Abstract摘要 机器学习发展迅速,在理论上取得了许多突破,并广泛应用于各个领域。优化作为机器学习的重要组成部分。随...转载 2021-03-23 10:20:26 · 2244 阅读 · 0 评论 -
主动学习
*主动学习就像学生(分类器)学习一样,专门学习自己不会的(最有价值的未标记样本),然后再通过老师讲解(专家标注),不断提高自己成绩 Active Learning,即主动学习,通过一定的算法查询最有用的未标记样本,并交由专家进行标记,然后用查询到的样本训练分类模型来提高模型的精确度。* 深度学习在各种各样的实际应用中取得巨大突破,其主要的推动力在于三个方面:数据,算法和算力。也就是说,在很多情况下,一个完整的解决方案,需要具备这样的条件:1)足够的.原创 2020-12-18 21:25:25 · 277 阅读 · 1 评论 -
图解Transformer(完整版)
编者按:前一段时间谷歌推出的BERT模型在11项NLP任务中夺得SOTA结果,引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于机器翻译任务,当时达到了SOTA效果。Transformer改进了RNN最被人诟病的训练慢的缺点,利用self-attention机制实现快速并行。并且Transformer可以增加到非常深的深度,充分发掘DNN模型的特性,提升模型准确率。在本文中,我们将研究Transformer模型,把它掰开揉碎,理转载 2020-12-03 16:26:52 · 1350 阅读 · 0 评论 -
机器学习中导数最优化方法(基础篇)
1. 前言熟悉机器学习的童鞋都知道,优化方法是其中一个非常重要的话题,最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单,coding 方便,是训练模型的必备利器之一。这篇博客主要总结一下使用导数的最优化方法的几个基本方法,梳理梳理相关的数学知识,本人也是一边写一边学,如有问题,欢迎指正,共同学习,一起进步。 2. 几个数学概念1) 梯度(一阶导数)考虑一座在 (x1, x2) 点高度是 f(x1, x2) 的山。那么,某一点的梯度方向是在该点坡度最陡的方向,转载 2020-07-30 23:21:56 · 1094 阅读 · 0 评论 -
Numpy入门学习之(二)linalg库----向量范数、矩阵范数、行列式、矩阵逆、幂
老师课堂总结,请勿转载Numpy中的核心线性代数工具numpy.linalg模块包含线性代数的函数。使用这个模块,我们可以计算逆矩阵、求特征值、解线性方程组以及求解行列式等。求解矩阵的范数在实数域中,数的大小和两个数之间的距离是通过绝对值来度量 的。在解析几何中,向量的大小和两个向量之差的大小是 “长度 ” 和 “ 距 离 ”的概念来度量的。为了对矩阵运算进行数值分析,我们需要对...转载 2020-07-30 23:07:45 · 1221 阅读 · 0 评论 -
机器学习中常用的矩阵求导
问题引入首先以一个网上很多博文引用的例子来开篇,例子见下图问题初试在了解向量和向量求导的时候,我看过以下一些公式:...转载 2020-07-27 23:41:08 · 331 阅读 · 0 评论 -
numpy库基础函数
安装方法numpy:pip3 install numpy11. ndarray数组基础python中用列表保存一组值,可将列表当数组使用。另外,python中有array模块,但它不支持多维数组,无论是时列表还是array模块都没有科学运算函数,不适合做矩阵等科学计算。numpy没有使用python本身的数组机制,而是提供了ndarray对象,该对象不仅能方便地存取数组,而且拥有丰富的数组计算函数。使用前先导入Numpy模块import numpy as np#或from numpy imp转载 2020-07-24 23:05:45 · 241 阅读 · 0 评论 -
计算机视觉入门
目录简介方向热点简介计算机视觉(Computer Vision)又称为机器视觉(Machine Vision),顾名思义是一门“教”会计算机如何去“看”世界的学科。在机器学习大热的前景之下,计算机视觉与自然语言处理(Natural Language Process, NLP)及语音识别(Speech R...转载 2020-05-10 22:39:41 · 810 阅读 · 0 评论 -
深度学习与神经网络的异同
相同点:二者均采用分层结构,系统包括输入层,隐藏层(多层),输出层组成的多层网络,只有相邻层节点之间有连接,同一层以及跨层节点之间相互无连接,每一层都可以看作是一个logistic回归模型。不同点:(1)神经网络:特征映射到值,特征是人工挑选的。输入层->多层隐藏层->输出层 其输出层的维度与输入层一样(a)采用BP算法调整参数,即采用迭代式算法来训练整个网络。随机设...原创 2020-04-30 16:45:29 · 11276 阅读 · 0 评论