机器学习
Track48
zhengzhaozuo
展开
-
df节省内存函数
通过改变每一条数据的数据类型来节省内存结果:-- Mem. usage decreased to 5.56 Mb (50.0% reduction),time spend:0.00 min-- Mem. usage decreased to 174.98 Mb (74.9% reduction),time spend:1.30 min可以看出,优化还是挺棒的代码:import pandas as pdimport numpy as npimport time# 节约内存..原创 2020-12-24 15:17:25 · 559 阅读 · 0 评论 -
new optimization
new optimizer for deep learning1、SGD2、SGD with momentum前一步的累积会移动到下一步当中,就算达到鞍点和局部最低点,带有动量的SGD还是会继续前行,下一步的movement等于: -u*梯度+v*动量3、Adagrad即在梯度方向乘了一个数,如果过去的梯度很大,就要降低学习率,因为梯度很大,说明在一个很崎岖的路上寻找全局最低,比如上面图的绿色方向,梯度比较大,所以需要用一个比较小的学习率4、RMSProp原理和Adagr原创 2020-12-06 10:39:17 · 204 阅读 · 0 评论 -
梯度下降3tips
最简单的原则:学习率会随着迭代次数的增多而减小;因为在开始的时候,我们离目的地太远,所以需要使用比较大的学习率,经过好几次的参数更新之后,离目标已经很近了比如常见的例子经过t次之后,另外不同的参数需要不同的学习率Adagrad:每一个参数的学习率都除上之前迭代次数中所计算的该参数的导数的均方根,所以每个参数的学习率都不一样(1) (2) (3)i从0开始,所以是t+1经过上(1-2-3-)式(4)上面(4)有个矛盾的地方,越大,代表其梯度越大,参数更新越快,但...原创 2020-11-24 14:00:22 · 104 阅读 · 0 评论 -
bias + variance
Bias:偏差Variance:方差Loss=bias+variance模型越复杂,方差越大,偏差越小模型越简单,方差越小,偏差越大怎么判断是过拟合还是欠拟合?是方差大还是偏差大?假如在训练集上拟合的不好就是欠拟合(偏差大)假如在训练集上表现不错,但是在测试集表现不咋样,那就是过拟合(方差大)假如是欠拟合,可以选择增加一些特征或者选择更复杂的模型假如是过拟合,可以选择 使用更多的数据(数据增强),regularization,剪枝等等所以需要平衡这两个误差..原创 2020-11-23 22:13:45 · 141 阅读 · 0 评论 -
IID独立同分布假设
1.独立同分布independent and identically distributed (i.i.d.)在概率统计理论中,如果变量序列或者其他随机变量有相同的概率分布,并且互相独立,那么这些随机变量是独立同分布。在西瓜书中解释是:输入空间中的所有样本服从一个隐含未知的分布,训练数据所有样本都是独立地从这个分布上采样而得。2.简单解释独立、同分布、独立同分布(...转载 2020-04-01 21:11:30 · 3363 阅读 · 0 评论 -
判别式模型和生成式模型
# 判别式模型与生成式模型生成式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于:(对于输入x,类别标签y)1. 生成式模型估计它们的联合概率分布P(x,y)2. 判别式模型估计决策函数F(X)或条件概率分布P(y|x)3. 生成式式模型可以根据贝叶斯公式得到判别式模型,但反过来不行## 生成式模型1....原创 2019-05-09 14:53:12 · 328 阅读 · 0 评论 -
SVM的核函数
支持向量机是建立在统计学习理论基础之上的新一代机器学习算法,支持向量机的优势主要体现在解决线性不可分问题,它通过引入核函数,巧妙地解决了在高维空间中的内积运算,从而很好地解决了非线性分类问题。构造出一个具有良好性能的SVM,核函数的选择是关键.核函数的选择包括两部分工作:一是核函数类型的选择,二是确定核函数类型后相关参数的选择.因此如何根据具体的数据选择恰当的核函数是SVM应用领域遇到的一个重...原创 2019-05-09 14:49:13 · 1245 阅读 · 0 评论 -
生成学习算法(Generative Learning algorithms)
转载:https://www.cnblogs.com/czdbest/p/5771500.html一:引言在前面我们谈论到的算法都是在给定x的情况下直接对p(y|x;Θ)进行建模。例如,逻辑回归利用hθ(x) = g(θTx)对p(y|x;Θ)建模。现在考虑这样一个分类问题,我们想根据一些特征来区别动物是大象(y=1)还是狗(y=0)。给定了这样一个训练集,逻辑回归或感知机算法要做的就...转载 2019-04-25 16:36:57 · 450 阅读 · 0 评论 -
机器学习博客
1、逻辑回归2、多元线性回归3、凸优化,Hessian,牛顿法4、正则化5、生成学习算法6、SVM7、梯度下降1、RNN、原理解释2、softmax3、深度学习的经验...原创 2019-04-30 01:35:05 · 130 阅读 · 0 评论 -
【机器学习笔记】
1.2基本术语假设:学得模型对应了关于数据的某种潜在的规律真相(ground-truth):数据的潜在规律假设空间:所有假设构成的集合归纳偏好(简称"偏好"):机器学习算法在学习过程中对某种类型假设的偏好。任何一个有效的机器学习算法必须有其归纳偏好奥卡姆剃刀:若有多个假设与观察一致,则选最简单的那个第2章2.1经验误差和过拟合训练误差(training error)...原创 2019-04-29 15:42:33 · 128 阅读 · 0 评论 -
模拟退火算法
转载: https://www.cnblogs.com/ranjiewen/p/6084052.html著名的模拟退火算法,它是一种基于蒙特卡洛思想设计的近似求解最优化问题的方法。一、什么是退火——物理上的由来在热力学上,退火(annealing)现象指物体逐渐降温的物理现象,温度愈低,物体的能量状态会低;够低后,液体开始冷凝与结晶,在结晶状态时,系统的能量状态最低。大自...转载 2019-04-24 19:22:52 · 264 阅读 · 0 评论 -
凸优化
凸优化理论本身非常博大,事实上我也只是了解了一个皮毛中的皮毛,但是对于广大仅仅想要了解一下机器学习或者深度学习的同学来说,稍微了解一点凸优化也就够了。在实际工程问题中,比如现在我们用的最多的深度神经网络的求解优化问题,都是非凸的,因此很多凸优化理论中非常有价值的定理和方法,在非凸优化问题中不适用,或者说并没有收敛保证等。但是,作为知识的基础,依然有必要来理解和学习一下凸优化,本篇整理了非常基础的一...转载 2019-04-27 23:05:25 · 1846 阅读 · 0 评论 -
【机器学习】非凸优化
原文链接: https://blog.csdn.net/ChenVast/article/details/79278156非凸优化http://arxiv.org/pdf/1712.07897.pdf将学习问题表达为非凸优化问题的便利方式使算法设计者获得大量的建模能力流行的解决方案是将非凸问题近似为凸优化,使用传统方法解决近似(凸)优化问题。但是该方法可能造成损失,且对于大规模优...转载 2019-04-26 15:18:31 · 2350 阅读 · 0 评论