机器学习
我冬
这个作者很懒,什么都没留下…
展开
-
Domain-Adversarial Training of Neural Networks
主要思想:训练过程中:判别性--在源域上的学习任务 非判别性--在源域和目标域之间shift学习一个有判别能力的分类器或者其他预测器学习训练分布和测试分布之间切换被认为是域适配(domain adaptation)。他构建了源域和目标域之间的映射,以至于从源域学习到的分类器也可以运用到目标域。因此本论文所提出模型DANN(domain-adversarial neural network)的主要目标是:最小化源域学习任务上的损失 最大化域分类器的损失...原创 2021-03-23 14:47:28 · 839 阅读 · 0 评论 -
data augmetation
基于机器学习的无监督数据增强时,增强几倍,在测试的时候通常使用相应倍数的batch进行测试,因为batch小的话很可能结果不稳定,因为增强的时候:一个图片分成两个或者更多个子图片,这些图片的标签都是一样的,在训练过程中,一旦没有训练得到或者在训练效果不佳的情况下,在测试的时候就会造成增强后的子图像分类要么全正确,要么全部错误。因此通过提高测试的batch size 来提升测试结果的稳定性。...原创 2019-05-08 16:32:14 · 151 阅读 · 0 评论 -
win10 gtx1080 python aconda pycharm tensorflow-gpu
对于一个干净,gang刚装过系统的win10系统:1、安装anaconda3,选择添加默认路径我装的是Anaconda3-4.4.0-Windows-x86_64,python默认的是3.5版本接下来 创建虚拟环境:方法一:打开anaconda navigator,"environments"--->"create"--->选择uninstalled--->sea...原创 2019-03-04 19:53:48 · 159 阅读 · 0 评论 -
win10+anaconda+tensorflow+theano+lasagne
1、首先安装anaconda2、安装cuda,cudnn,根据显卡适合的版本3、conda install tensorflow-gpu4、conda install lasagne(会直接把theano安装上去的) 随后再慢慢补充吧...原创 2019-01-03 00:06:54 · 422 阅读 · 0 评论 -
Win10环境下安装theano并配置GPU详细教程
本文转自https://www.cnblogs.com/zhangjianheng/p/6215529.html写的超级棒,转存一下Win10环境下安装theano并配置GPU详细教程一.软件和环境(1)安装日期2016/12/23;(2)原材料VS2013,cuda-8.0(最好下载cuda7.5,目前theano-0.8.2对cuda-8支持不是很好),Anaconda3-...转载 2018-12-29 14:50:59 · 3345 阅读 · 5 评论 -
Improved Techniques for Training GANs中文部分翻译版
Improved Techniques for Training GANs中文翻译版3 关于GAN训练的收敛性训练GANs就是要在两个不合作的游戏玩家之间找到一个NASH平衡。每一个玩家都希望自己的损失最小化,J (D)(θ(D); θ(G)) for the discriminator andJ (G)(θ(D); θ(G)) for the generator. 一个纳西平衡就是一个关...翻译 2018-12-27 16:21:43 · 809 阅读 · 1 评论 -
lightGBM
1. forewordTSA比赛中,开始整的LR,把原始特征one-hot处理后输入LR训练。过了段时间开始搞RF和XGB,再后面搞LightGBM。2. lightGBM简介xgboost的出现,让数据民工们告别了传统的机器学习算法们:RF、GBM、SVM、LASSO……..。现在微软推出了一个新的boosting框架,想要挑战xgboost的江湖地位。顾名思义,lightGBM包含...转载 2018-10-21 20:34:54 · 359 阅读 · 4 评论 -
迁移学习算法之TrAdaBoost
转自https://www.cnblogs.com/bonelee/p/8921579.html TradaBoost算法由来已久,具体算法可以参考作者的原始文章,Boosting For Transfer Learning。1.问题定义 传统的机器学习的模型都是建立在训练数据和测试数据服从相同的数据分布的基础上。典型的比如有监督学习,我们可以在训练数据上面训练得到一...转载 2018-09-14 11:17:42 · 3771 阅读 · 0 评论 -
L1和L2正则化的直观理解
这部分内容将解释为什么L1正则化可以产生稀疏模型(L1是怎么让系数等于零的),以及为什么L2正则化可以防止过拟合。L1正则化和特征选择假设有如下带L1正则化的损失函数: J=J0+α∑w|w|(1)其中J0是原始的损失函数,加号后面的一项是L1正则化项,α是正则化系数。注意到L1正则化是权值的绝对值之和,J是带有绝对值符号的函数,因此J是不完全可微的。机器学习的任务就是要通过一些方法(比如梯度下降...转载 2018-07-09 15:02:54 · 874 阅读 · 3 评论 -
error ,model selction,research design(李宏毅机器学习2016)
样本量N越大,越接近于西格玛的平方bias和variance:下图右下方为例:bias:可以认为射箭,靶心就瞄错了。variance:由于个人,空气等原因形成的偏差。右上方:瞄准了,但是空气等因素形成的偏差。简单的model受样本的数目比较小下图中,bias越来越小,variance越来越大,如何选择模型呢?使用training set训练模型,使用validation set 选择model。...翻译 2018-06-26 10:55:34 · 139 阅读 · 0 评论 -
gradient descent
stochastic gradient descentgradient descent和stochastic gradient descent区别f例如,下图左右部分比较,左面x2对y影响比较大,因此在w2方向上的变化比较sharp陡峭在w1方向上比较缓和。featuring scaling 有很多,下面是比较普遍的途径之一:梯度下降的理论基础:每一次更新参数的时候都得到一个新的theta,这样一...翻译 2018-06-26 10:01:49 · 156 阅读 · 0 评论 -
active learning主动学习
active learning 是半监督式的机器学习的一种,这种机器学习算法能够交互式地查询用户或者信息源,从而对于一个新的数据样例得到可人的输出。在统计学文献中,它有时也被称为最佳实验设计。在这样的一种情形下:无标签的数据量很大,而且手工打标签很昂贵。在这样的一种局面下,学习算法就可以主动向用户或者教员查询标签。这种迭代监督学习被称为主动学习。 由于学习者选择了这些例子,因此学习概念的例子数量往...翻译 2018-06-15 18:57:03 · 1433 阅读 · 0 评论