深度学习、机器学习
NeverMoreH
^_^
展开
-
2020北京智源大会 图神经网络专题 总结
目录引言[1] 基于感知和认知系统的逻辑关系推理作者介绍分享内容system1 和 syetem2 reasoningGMNN: Graph Markov Neural Networks (ICML2019)Probabilistic Logic Neural Networks for Reasoning (NeurIPS2019)总结[2] 图神经网络在信息检索等领域的应用作者介绍分享内容数据:结构化、半结构化Free-Text Knowledge Graph (WebConf2020)Transform原创 2020-07-06 11:44:28 · 966 阅读 · 0 评论 -
联邦学习综述
目录引言横向联邦学习纵向联邦学习联邦学习迁移联邦学习开源框架结论参考文献引言 在联邦学习白皮书[1]中给出了明确的联邦学习的定义:各方数据都保留在本地,不泄露隐私也不违反法规;多个参与者联合数据建立虚拟的共有模型,并且共同获益的体系;在联邦学习的体系下,各个参与者的身份和地位平等;联邦学习的建模效果和将整个数据集放在一处建模的效果相同,或相差不大(在各个数据的用户对齐或特征对齐的条件下);迁移学习是在用户或特征不对齐情况下,也可以在数据间通原创 2020-12-28 21:19:48 · 1911 阅读 · 0 评论 -
正则化和范数
目录预备知识L0范数L1正则化L2正则化为什么参数越小越好预备知识在深度学习中,模型的参数优化可以看做最大后验估计,损失函数即为似然函数。所谓正则化,可以视为给予了模型参数估计的一个先验知识。而似然函数*先验信息即为最大后验估计。θ∗=argmaxθ(∏iP(Yi∣Xi,θ)∏iP(θi))=argminθ(∑i∣∣f(Xi)−Yi∣∣2+∑ilnP(θi))\theta^*=argmax_{\theta}(\prod_i P(Y_i|X_i,\theta)\prod_i P(\theta_i))=a原创 2020-05-18 18:20:50 · 527 阅读 · 0 评论 -
过拟合、欠拟合的原因和解决办法
目录偏差和方差过拟合原因解决办法欠拟合原因解决办法偏差和方差偏差用来描述模型输出结果的期望和样本真实结果的差距。方差用来描述模型对于给定值的输出稳定性。具体的可以看下图:过拟合指的就是高方差,欠拟合则是高偏差。过拟合原因模型的复杂度(维度)过高。模型拟合了数据集中的噪声。数据集太小,无法了解其真实分布。模型的迭代次数过多。解决办法增加训练数据,做数据增强。降低模型复杂度。减少特征数。添加正则化约束。使用BN。使用DropOut提前结束训练。欠拟合原因原创 2020-05-18 17:52:17 · 2597 阅读 · 0 评论 -
Batch Normalization的作用及原理
目录声明BN是什么为什么提出BNBN的作用及原因加速训练,提高收敛速度缓解梯度消失(梯度爆炸)缓解过拟合声明由于学习本篇博客的内容时翻阅了很多资源,如知乎、他人博客等,很多内容已经不记得是在哪学到的了,也没有办法一一列举了,如有侵权,请联系我删除,谢谢。BN是什么BN是谷歌在这篇文章中提出的。为什么提出BNBN的作用及原因加速训练,提高收敛速度缓解梯度消失(梯度爆炸)缓解过拟合...原创 2020-05-18 11:19:06 · 1605 阅读 · 0 评论 -
计算机视觉 - 知识点总结(面试、笔试)
目录简历内容Faster RCNN整体流程各个层常见cv面试题简历内容Faster RCNN整体流程各个层常见cv面试题原创 2019-09-15 15:52:26 · 3490 阅读 · 0 评论 -
EM算法
目录预备知识极大似然估计Jensen不等式EM算法       预备知识极大似然估计             &原创 2019-02-20 16:38:02 · 255 阅读 · 0 评论 -
模型学习 - VAE(变分自编码)专题
目录生成模型VAE模型理解角度1理解角度2       理解出错之处望不吝指正。       今天听师兄给我们讲了VAE,觉得颇有收获,分享一下,希望大家批评指正。生成模型  &原创 2019-01-07 21:00:09 · 1029 阅读 · 1 评论 -
模型学习 - RNN及一系列发展
本学弱喜欢在本子上记笔记,但字迹又丑。望看不懂我的字的大佬不要喷我,看得懂的大佬批评指正。 本篇博客主要介绍了RNN(模型及学习算法BPTT)、SRNN、BRNN、DBRNN、ESN、LSTM(及一系列变体)、GRU...原创 2018-08-01 17:21:58 · 2634 阅读 · 0 评论 -
模型学习 - ELM
本学弱喜欢在本子上记笔记,但字迹又丑。望看不懂我的字的大佬不要喷我,看得懂的大佬批评指正。原创 2018-08-01 17:18:07 · 3878 阅读 · 1 评论 -
模型学习 - SVM
本学弱喜欢在本子上记笔记,但字迹又丑。望看不懂我的字的大佬不要喷我,看得懂的大佬批评指正。原创 2018-08-01 17:17:28 · 157 阅读 · 0 评论 -
模型学习 - AE及一系列发展
本学弱喜欢在本子上记笔记,但字迹又丑。望看不懂我的字的大佬不要喷我,看得懂的大佬批评指正。 这篇博客中主要介绍了AE、SAE(堆叠)、SparseAE、DAE、SDAE、RAE、CAE、VAE...原创 2018-08-01 17:14:48 · 570 阅读 · 0 评论 -
模型学习 - CNN及一系列发展
本学弱喜欢在本子上记笔记,但字迹又丑。望看不懂我的字的大佬不要喷我,看得懂的大佬批评指正。原创 2018-08-01 17:11:08 · 397 阅读 · 0 评论 -
模型学习 - HNN、RBM、DBN
本学弱喜欢在本子上记笔记,但字迹又丑。望看不懂我的字的大佬不要喷我,看得懂的大佬批评指正。原创 2018-08-01 17:07:59 · 1255 阅读 · 0 评论 -
Visual Tracking:运行ECO模型
ECO是MD大神发表在CVPR2017上的论文《ECO: Efficient Convolution Operators for Tracking》中的模型。下面介绍如何在本机中运行和测试ECO模型。 环境:Ubuntu 18.04 LST、Matlab2016b、gcc6.4.0 以下翻译部分源于“https://github.com/martin-danelljan/ECO”;...原创 2018-07-26 15:11:53 · 2239 阅读 · 1 评论 -
Ubuntu16.04下CUDA 9.0 + cuDNN v7.0 + tensorflow 1.6.0(GPU)环境搭建
由于自己攒了个主机,第一次安装GPU版本的tensorflow,mark一下。说明一下,本篇上接《Ubuntu16.04LTS下搭建强化学习环境gym、tensorflow》这篇文章,只不过修改了第四步(安装tensorflow)。说一下环境的版本:系统:Ubuntu 16.04.3显卡:gtx 1080(索泰 至尊Plus OC)CUDA 9.0cuDNN v7.0.5 for CUDA 9.0...原创 2018-03-11 14:02:35 · 6559 阅读 · 3 评论 -
Ubuntu16.04LTS下搭建强化学习环境gym、tensorflow
1.安装Anaconda。去清华镜像下载anaconda3_4.3.0-linux-x86_64.sh,然后在终端中输入以下命令进行安装:cd downloadsbash anaconda3_4.3.0-linux-x86_64.sh2.创建虚拟环境。//gymlab是自己起的虚拟环境名称 python=x.y指定python版本conda create --name gymlab pytho...原创 2018-01-21 21:09:57 · 13184 阅读 · 2 评论 -
TensorFlow:简单的卷积层、池化层(采样层)示例
卷积层:ws=tf.get_variable('w',[5,5,3,16],initializer=tf.truncated_normal_initializer(stddev=0.1))bs=tf.get_variable('b',[16],initializer=tf.constant_initializer(0.1))conv=tf.nn.conv2d(input,ws,strid原创 2017-09-13 19:20:40 · 5596 阅读 · 0 评论