机器学习
I AM A BIG SHARK
Just keep learning!
展开
-
机器学习中处理缺失值的7种方法
机器学习中处理缺失值的7种方法转载 |https://cloud.tencent.com/developer/article/1680427作者 | Satyam Kumar编译 | VK来源 | Towards Data Science现实世界中的数据往往有很多缺失值。丢失值的原因可能是数据损坏或未能记录数据。在数据集的预处理过程中,丢失数据的处理非常重要,因为许多机器学习算法不支持缺失值。本文介绍了7种处理数据集中缺失值的方法:删除缺少值的行 为连续变量插补缺失值...转载 2020-12-03 15:19:41 · 4118 阅读 · 0 评论 -
Pytorch 常用代码整理
基础配置检查 PyTorch 版本torch.__version__ # PyTorch versiontorch.version.cuda # Corresponding CUDA versiontorch.backends.cudnn.version() # Corresponding cuDNN versiontorch.cuda.get_device_name(0) # GPU type更新 PyTorchPyT...转载 2020-11-26 10:10:17 · 395 阅读 · 0 评论 -
深度学习 Dropout详解
1. Dropout简介1.1 Dropout出现的原因在机器学习的模型中,如果模型的参数太多,而训练样本又太少,训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题,过拟合具体表现在:模型在训练数据上损失函数较小,预测准确率较高;但是在测试数据上损失函数比较大,预测准确率较低。过拟合是很多机器学习的通病。如果模型过拟合,那么得到的模型几乎不能用。为了解决过拟合问题,一般会采用模型集成的方法,即训练多个模型进行组合。此时,训练模型费时就成为一个很大的问题,不仅训练多个转载 2020-07-14 18:02:02 · 1403 阅读 · 0 评论 -
softmax函数详解
softmax函数,又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广,目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法:下面为大家解释一下为什么softmax是这种形式。首先,我们知道概率有两个性质:1)预测的概率为非负数;2)各种预测结果概率之和等于1。softmax就是将在负无穷到正无穷上的预测结果按照这两步转换为概率的。1)将预测结果转化为非负数下图为y=exp(x)的图像,我们可以知道指数函数的值域取值范围是零到正无穷。softma原创 2020-07-12 22:39:46 · 6694 阅读 · 0 评论 -
分类问题不使用平方损失函数的原因
一般平方损失函数的公式如下图所示:h表示的是你的预测结果,y表示对应的标签,J就可以理解为用二范数的方式将预测和标签的差距表示出来,模型学习的过程就是优化权重参数,使得J达到近似最小值,理论上这个损失函数是很有效果的,但是在实践中却又些问题,它这个h是激活函数激活后的结果,激活函数通常是非线性函数,例如sigmoid之类的,这就使得这个J的曲线变得很复杂,并不是凸函数,不利于优化,很容易陷入到局部最优解的情况。吴恩达说当激活函数是sigmoid的时候,J的曲线就如下图所示,可以看到这个曲线是很...原创 2020-07-12 21:18:09 · 2103 阅读 · 0 评论 -
损失函数分类
损失函数机器学习模型关于单个样本的预测值与真实值的差称为损失。损失越小,模型越好,如果预测值与真实值相等,就是没有损失。损失函数(Loss function)是用来估量模型的预测值 f(x) 与真实值 Y 的不一致程度,它是一个非负实值函数,通常用 L(Y,f(x)) 来表示。损失函数越小,模型的鲁棒性就越好。虽然损失函数可以让我们看到模型的优劣,并且为我们提供了优化的方向,但是我们必须知道没有任何一种损失函数适用于所有的模型。损失函数的选取依赖于参数的数量、异常值、机器学习算法、梯度下降的效率、导转载 2020-06-17 19:54:59 · 4251 阅读 · 0 评论 -
理解损失函数(理论)
数学准备连续随机变量的期望:假设X是连续的随机变量,f(X)是其概率密度函数,那么X的期望是:0-1损失函数:当f(x)=y时,等于1,当f(x)≠y时,等于0。性能度量与损失函数机器学习的三要素就是:表示,评估和优化。正如我们在《非参数模型》中提到的:机器学习分为表示、评估和优化。表示指的是将样本空间映射到一个合适的特征空间,一般地,我们更青睐于这样的表示是低维度的,是更加稀疏交互的,同时也希望是相互独立的。而评估指的是模型在数据上表现的量化形式,...转载 2020-06-08 17:47:09 · 2005 阅读 · 0 评论 -
Pytorch 获取神经网络权重、偏执等参数
方法一:提取各层的参数output_1=model.fc1.bias.dataoutput_1=model.fc1.weight.data方法二:提取模型中所有weight的参数(bias一样)for name, parameters in model.state_dict().items():if “weight” in name:print(name,’:’,parameters.detach().numpy())方法三:提取所有的parametersparams = list(mo原创 2020-05-28 17:16:02 · 13571 阅读 · 6 评论 -
SKlearn概述
SKlearn简介scikit-learn,又写作sklearn,是一个开源的基于python语言的机器学习工具包。它通过NumPy, SciPy和Matplotlib等python数值计算的库实现高效的算法应用,并且涵盖了几乎所有主流机器学习算法。SKlearn官网:http://scikit-learn.org/stable/index.html在工程应用中,用python手写代码来从头...转载 2020-04-20 21:39:31 · 1325 阅读 · 0 评论 -
机器学习 岭回归和lasso中乘调优参数λ的确定
转自:https://blog.csdn.net/weixin_43374551/article/details/83688913 一、岭回归1.参数推导线性回归模型的目标函数J(β)=∑(y−Xβ)2J(β)=∑(y−Xβ)2J(β)=∑(y−Xβ)2J(β)=∑(y−Xβ)2J(β)=∑(y...转载 2019-07-20 20:22:58 · 13646 阅读 · 1 评论 -
机器学习 Sparsity and Some Basics of L1 Regularization
转载:http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/#67364f6b44ff80f9f952d5a46f2307425d2ee9ac Sparsity 是当今机器学习领域中的一个重要话题。John Lafferty 和 Larry Wasserma...转载 2019-07-19 15:39:58 · 191 阅读 · 0 评论 -
机器学习 常用算法导读
【新智元导读】本文将带你遍历机器学习领域最受欢迎的算法。系统地了解这些算法有助于进一步掌握机器学习。当然,本文收录的算法并不完全,分类的方式也不唯一。不过,看完这篇文章后,下次再有算法提起,你想不起它长处和用处的可能性就很低了。本文还附有两张算法思维导图供学习使用。在本文中,我将提供两种分类机器学习算法的方法。一是根据学习方式分类,二是根据类似的形式或功能分类。这两种方法都很有用,不过,本文将...转载 2019-07-01 11:31:45 · 213 阅读 · 0 评论 -
机器学习 最小角回归法 LARS
在介绍最小角回归算法前,我们需要了解两个相关算法,一个是前向选择算法(Foward Selection),一个是前向梯度算法(Forward Statgewise)。1.前向选择算法(Foward Selection) 假设有Y=Xθ,X为m*n的矩阵,Y为m*1的矩阵,我们要找到一个θ,最大程度的拟合输入和输出。 这里把X看成n个m*1的的向量Xi。 第一步:选择和目标Y最...转载 2019-07-01 11:02:55 · 1532 阅读 · 0 评论 -
机器学习 一般回归问题
Given a labeled training set learn a general mapping which a...转载 2019-06-27 16:45:28 · 1533 阅读 · 0 评论 -
机器学习 稀疏性的优点
稀疏指的是参数或者数据中零的个数,零的个数越多,参数或者数据就越稀疏.这种稀疏性带来许多优点.参数稀疏有什么好处1)特征选择(Feature Selection): 大家对稀疏规则化趋之若鹜的一个关键原因在于它能实现特征的自动选择。一般来说,xi的大部分元素(也就是特征)都是和最终的输出yi没有关系或者不提供任何信息的,在最小化目标函数的时候考虑xi这些额外的特征,虽然可以获得更小的训练误...转载 2019-06-13 15:40:02 · 6055 阅读 · 0 评论 -
机器学习 正则化
正则化1. The Problem of Overfitting1还是来看预测房价的这个例子,我们先对该数据做线性回归,也就是左边第一张图。如果这么做,我们可以获得拟合数据的这样一条直线,但是,实际上这并不是一个很好的模型。我们看看这些数据,很明显,随着房子面积增大,住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。我们把此类情况称为欠拟...转载 2019-06-13 17:25:19 · 172 阅读 · 0 评论 -
机器学习 线性回归
线性回归原理小结 线性回归可以说是机器学习中最基本的问题类型了,这里就对线性回归的原理和算法做一个小结。1. 线性回归的模型函数和损失函数 线性回归遇到的问题一般是这样的。我们有m个样本,每个样本对应于n维特征和一个结果输出,如下: (x(0)1,x(0)2,...x(0)n,y0),(x(1)1,x(1)2,...x(1)n,y1),...(x(m)1,x(m)...转载 2019-06-20 11:06:46 · 209 阅读 · 0 评论 -
机器学习 最小二乘法
最小二乘法小结 最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习,尤其是回归模型中,经常可以看到最小二乘法的身影,这里就对我对最小二乘法的认知做一个小结。1.最小二乘法的原理与要解决的问题 最小二乘法是由勒让德在19世纪发现的,原理的一般形式很简单,当然发现的过程是非常艰难的。形式如下式:目标函数=∑(观测值−理论值)2目标函数=∑(观测值−理论值)2 ...转载 2019-06-20 11:07:45 · 2008 阅读 · 0 评论 -
机器学习 梯度下降(Gradient Descent)
梯度下降(Gradient Descent)小结 在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法(详见另一文章)。这里就对梯度下降法做一个完整的总结。1. 梯度 在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。比如函数f(x...转载 2019-06-20 14:39:12 · 260 阅读 · 0 评论 -
机器学习 Lasso回归算法
Lasso回归算法: 坐标轴下降法与最小角回归法小结 前面的文章对线性回归做了一个小结,文章在这:线性回归原理小结。里面对线程回归的正则化也做了一个初步的介绍。提到了线程回归的L2正则化-Ridge回归,以及线程回归的L1正则化-Lasso回归。但是对于Lasso回归的解法没有提及,本文是对该文的补充和扩展。以下都用矩阵法表示,如果对于矩阵分析不熟悉,推荐学习张贤达的《矩阵分析与应用》...转载 2019-06-20 15:44:51 · 6172 阅读 · 0 评论 -
机器学习 LRAS Lasso
日后学习记录一下:分组最小角回归算法(group LARS):https://cosx.org/2011/04/group-least-angle-regression-algorithm/LARS算法简介:https://cosx.org/2011/04/an-introduction-to-lars/修正的LARS算法和lasso:https://cosx.org/20...原创 2019-06-21 17:38:11 · 708 阅读 · 0 评论 -
机器学习 最小角回归Least Angle Regression(LARS),forward stagewise selection
推荐阅读:https://blog.csdn.net/xbinworld/article/details/44284293原创 2019-06-25 17:18:49 · 385 阅读 · 0 评论 -
机器学习 最小角回归 LARS
推荐阅读:http://mlnotes.com/2013/08/21/lars.html原创 2019-07-01 16:58:29 · 470 阅读 · 0 评论 -
机器学习 子集选择 subset selection
本节主要想表述选取子集的方法,就是在很多个variable里面选择其中比较好的几个来regression,而不是用所有的variable来做regression,那如何衡量选取的好坏呢?还是用那个最小二乘的方法。1 best-subset selection:这个方法显得非常直观,对于选取k个variable,就是花极高的复杂度,来枚举所有情况求出最小的,下图很好的说明了这个:红...转载 2019-06-27 15:30:55 · 6134 阅读 · 0 评论 -
机器学习中的范数与稀疏性
机器学习中的范数与稀疏性监督机器学习问题无非就是“minimize your error while regularizing your parameters”,也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据,而规则化参数是防止我们的模型过分拟合我们的训练数据。因为参数太多,会导致我们的模型复杂度上升,容易过拟合,也就是我们的训练误差会很小。但训练误差...原创 2019-06-13 15:38:44 · 4961 阅读 · 0 评论