深度学习
深度学习相关知识与开发分享
liz_lee
NUAA小硕,航空宇航,智能制造
研究方向:元学习,因果推断,刀具磨损预测
展开
-
ppt:神经网络技巧
20年神经网络ppt神经网络训练相关的自制ppt分享:原创 2021-05-01 19:20:33 · 292 阅读 · 0 评论 -
已阅论文汇总:迁移学习
目录注:论文路径2007- Boosting for Transfer Learning(回归)2011-Adaptive Trading Agent Strategies Using Market Experience(博论)2014-迁移学习研究进展2014-ImportanceWeighted Inductive Transfer Learning for Regression(回归)2018-GLoMo: Unsupervisedly Learned Relational Graphs as Tra原创 2020-11-05 11:11:19 · 674 阅读 · 0 评论 -
思维导图:GAN-NIPS2014
原创 2020-09-28 16:52:07 · 208 阅读 · 0 评论 -
思维导图:随机森林
原创 2020-09-28 16:43:36 · 313 阅读 · 0 评论 -
思维导图:WGAN
原创 2020-09-28 16:38:39 · 88 阅读 · 0 评论 -
思维导图:神经图灵机NTM
原创 2020-09-28 16:37:03 · 270 阅读 · 0 评论 -
小结:常用激活函数
这里写目录标题1 sigmoid1.1 概念1.2 优点1.3 缺点2 tanh2.1 概念2.2 优点2.3 缺点3 ReLU3.1 概念3.2 优点3.3 缺点3.4 leakyReLU(PReLU)参考1 sigmoid1.1 概念1.2 优点(1)实现非线性变换(2)梯度容易计算(3)可以进行数据压缩1.3 缺点双边饱和,易出现梯度消失2 tanh2.1 概念 tf.nn.tanh2.2 优点(1)实现非线性变换(2)梯度容易计算(3)可以进行数据压缩(4)近原创 2020-07-23 11:33:47 · 536 阅读 · 0 评论 -
学习分享:RNN(持续更新)
目录1 RNN基础1.1 what RNN?1.2 why RNN?1.3 how RNN?1.3.1 隐含到隐含1.3.2 输出到隐含1.3.3 标签到隐含(导师驱动)1.4 RNN的问题2 Bi-RNN3 gated RNN3.1 LSTM3.2 窥孔LSTM3.3 耦合LSTM3.4 GRU参考1 RNN基础1.1 what RNN?用于处理序列数据(可变长)的NN1.2 why RNN?在模型不同部分,共享参数在几个时间步内,不需要分别学习权重也能能泛化到不同长度的样本 为什么每原创 2020-07-23 11:06:58 · 330 阅读 · 0 评论 -
小结:归一化Normalization(持续更新)
目录0 归一化(N)1 批归一化(BN)1.1 提出背景1.2 思路1.3 算法步骤1.3 可学习参数(γ,β)1.4 公式1.4 测试时怎么用?1.5 BN的优势2 样本归一化(IN)3 权重归一化(WN)4 层归一化(LN)5 组归一化(GN)参考0 归一化(N)1 批归一化(BN)Batch Normalization1.1 提出背景2015,Google,Sergey Ioffe&Christian Szegedy DNN难训练的原因:层与层间高度关联与耦合本质原因:(1)底原创 2020-07-15 22:22:55 · 2533 阅读 · 0 评论 -
论文分享:学会仿真
目录0 题目1 背景2 问题3 现状与GAP3.1 匹配真实数据分布3.2 仿真数据指导4 难点5 创新点6 内容7 验证7.1 SVM分类7.2 车辆识别提问0 题目learning to simmulate1 背景ML得到好的模型,去预测,泛化好的模型需要好的数据训练数据获取成本高仿真环境下获取:丰富,安全,成本低真实数据:参数是真实值,存在偏差(真实-理想),偏差随机,服从一定分布仿真数据:参数是理想值,生成样本唯一(为了更真实,要做随机化处理)随机化方法(域随原创 2020-07-10 18:04:52 · 662 阅读 · 0 评论 -
论文分享:异构域适应TIT
目录0 题目1 背景2 问题3 现状与GAP3.1 现有研究3.2 GAP4 难点5 创新点6 内容6.1 广义分布匹配6.2 广义知识迁移6.3 正则化7 验证8 总结0 题目1 背景大数据——>数据标记是先决条件,但是很难域适应可以处理有标签源域,和无标签目标域的知识迁移2 问题如何用基于域适应的机器学习模型实现无标签数据的迁移?3 现状与GAP3.1 现有研究符合同构域适应情况很难找到,实际大多都是异构域适应(HDA)模型比较3.2 GAP训练时都需要标记目标域的样原创 2020-07-10 12:13:59 · 727 阅读 · 0 评论 -
AI顶会&顶刊
目录顶会人工智能计算机视觉自然语言处理数据库及数据挖掘机器人领域综合交叉方向顶刊参考顶会人工智能第一档:NIPS,ICML, ICLR第二档:AAAI,IJCAI, COLT计算机视觉CVPR,ECCV,ICCV自然语言处理ACL,EMNLP,NAACL数据库及数据挖掘SIGMOD, SIGKDD,SIGIR机器人领域ICRA,RSS综合交叉方向顶刊最好的是JMLRMLJ和PAMI次之TNN、neural computation、PR再次一些PRL、neur原创 2020-07-10 12:00:24 · 1125 阅读 · 0 评论 -
学习分享:神经网络理论
这里写目录标题NN为何高效?学习的本质是?为什么DNN比SNN更高效?NN不适用什么问题?参考NN为何高效?两大原因:(1)分布式表示(distributed representation)(2)组合(compositionality)总:并行的先验,使模型可用线性数量的样本学习指数数量的变体学习的本质是?本质:将变体拆分成因素和知识变体(variation):同类事物的不同形态因素(factor)为什么DNN比SNN更高效?DNN:深层神经网络,deep neural network原创 2020-06-01 19:54:44 · 273 阅读 · 0 评论 -
论文分享:可微分架构搜索(DARTS)
目录0 题目(期刊,团队)1 背景2 问题3 现状&GAP3.1 基于RL的NAS3.2 基于进化算法的NAS3.3 GAP4 难点5 创新点6 内容6.1 定义搜索空间6.2 搜索空间连续化6.3 近似梯度优化7 验证7.1 CNN验证7.2 RNN验证8 提问8.1 关于背景、问题8.2 关于现状、GAP、难点、创新点8.3 关于内容8.4 关于验证0 题目(期刊,团队)(1)题目DARTS:Differential Architecture Search(2)期刊ICLR2019(原创 2020-07-04 19:50:08 · 4076 阅读 · 0 评论 -
在linux下用终端训练和测试模型
目录步骤参考步骤(1)在python中,指定要使用的gpu,代码如下:import osos.environ["CUDA_VISIBLE_DEVICES"] = "0" # 指定第一块gpu(2)在py文件所在目录,打开终端运行py文件,命令如下:CUDA_VISIBLE_DEVICES=0 python main.py # 终端运行py时,指定gpu (3)其它命令,如下:CUDA_VISIBLE_DEVICES=0 nohup python main.py &原创 2020-06-23 10:21:34 · 902 阅读 · 0 评论 -
论文分享:从数据中发现信息物理系统(CPS)
目录题目1 背景1.1 CPS基本概念1.2 CPS的重要性1.3 CPS辨识的必要性1.4 CPS的数学形式2 问题3 现状与GAP3.1 目前的研究方法3.1.1 代数几何3.1.2 基于聚类3.1.3 贝叶斯方法3.1.4 基于有界误差3.1.5 稀疏辨识3.2 GAP4 难点5 创新点6 内容6.1 子系统推断6.2 过渡逻辑推断7 验证7.1 恒温器系统7.2 多领域通用验证7.2.1 智能小车设计7.2.2 复杂电路7.2.3 风电机组状态监测7.2.4 智能电网7.2.5 输电线路7.2.6原创 2020-06-20 10:49:43 · 1487 阅读 · 2 评论 -
深度学习大佬们(持续更新)
目录目录David Abel目录David Abel学校:美国布朗大学导师:Michael Littman研究方向:抽象概念及其在智能中的应用牛津大学,Future of Humanity Institute 的实习生个人主页:https://david-abel.github.io/被我看上原因:各顶会笔记共享(笔记内容包括:深度学习理论、强化学习、博弈论、元学习)...原创 2020-06-19 17:03:53 · 723 阅读 · 0 评论 -
学习分享:tensorflow
目录0 tensorflow背景0.1 tensorflow的历史0.2 tensorflow的应用场景0.3 tensorflow的落地应用0.4 tensorflow的发展现状1 tensorflow开发环境1.1 tensorflow的支持平台1.2 tensorflow的使用方法1.2.1 命令行1.2.2 交互式开发环境1.2.3 容器(docker)2 tensorflow的模块&架构2.1 tensorflow模块&API2.2 tensorflow架构3 数据流图3.1 数据原创 2020-06-17 17:27:25 · 371 阅读 · 0 评论 -
学习分享:Kaggle比赛
目录1 实际问题分类1.1 回归1.2 分类1.3 聚类1.4 关联分析2 常用工具3 解决问题的流程参考1 实际问题分类1.1 回归应用:销量预测,股市预测方法:回归,决策树,随机森林1.2 分类方法: 树,逻辑回归, BN,SVM,KNNBN简单,粗暴,数据分布很均匀,NLP上效果好SVM适用于中小型数据集1.3 聚类应用:数据降维蕨类结果作为监督学习的特征方法:k-means,PCA,SVD1.4 关联分析方法:Apriori,FP-Growth2 常用工具s原创 2020-06-16 12:00:42 · 280 阅读 · 0 评论 -
学习分享:推荐系统
目录资料资料推荐系统技术:https://blog.csdn.net/xwd18280820053/article/details/90316416推荐系统方法概览:https://blog.csdn.net/xwd18280820053/article/details/76012945原创 2020-06-01 10:22:56 · 223 阅读 · 0 评论 -
学习分享:CNN(持续更新)
目录1 基本信息2 计算2.1 一次卷积后特征图大小2.2 感受野RF1 基本信息输入图尺寸:n*n滤波器/卷积核尺寸:k*k(奇数)填充padding大小:p步长stride大小:s2 计算2.1 一次卷积后特征图大小先把图n填充p,图尺寸变为:(n+2p)*(n+2p)把卷积核k放入图n+2p上,还剩:(n+2p)-k格每步s,需要走:(n+2p-k)/s步刚开始算1个值,每走一步算1次,总共算:(n+2p-k)/s+1次1次卷积,最终输出特征图尺寸为原创 2020-06-14 16:30:14 · 970 阅读 · 0 评论 -
小结:监督学习常用损失函数
目录问题定义分类问题的损失函数回归问题的损失函数参考文献监督学习问题的定义训练样本:(xi,yi)(x_i,y_i)(xi,yi)=(第i个样本点特征,第i个样本点标签)模型:f(.,θ):X−>Yf(.,\theta):X->Yf(.,θ):X−>Yfff:预测值yyy:实际值损失函数是模型的评估指标,损失函数越小,表明模型在该样本上的匹配程度越高。...原创 2020-02-25 20:56:21 · 2541 阅读 · 0 评论 -
开发分享:神经网络调试与优化技巧(持续更新)
目录一、神经网络架构怎么选?二、卡在local minima怎么办?三、欠拟合怎么办?四、过拟合怎么办?参考一、神经网络架构怎么选?NN《==》矩阵线性变换+激活函数非线性变换NN有效地原因:分布式表示(distributed representation)+组合性(compositionality)增加神经元个数(一层)《==》 矩阵线性转换的能力增加层数 《==》增加非线性转换的次数浅层:模拟任何函数,数据量代价不可接受深层:模拟任何函数,数据量需求降低(前提:空间中的元素可以由发展迭原创 2020-06-01 17:41:34 · 471 阅读 · 0 评论 -
学习分享:无监督学习
目录非监督学习定义学习方法分类学习方法k-均值聚类高斯混合模型自组织映射神经网络非监督学习定义从大量x中,寻找共性特征/结构/模式没有标签y学习方法分类非监督学习,包括两大类学习方法:(1)数据聚类多次迭代,找到最优分割(2)特征变量关联相关性分析,找到变量间关系学习方法k-均值聚类k-means clustering:类内,样本相似度高;类间,样本相似度低核心思想:迭代,找k个簇,给出簇中心代价函数:各簇中,样本距簇中心的误差平方和算法步骤:(1)数据预处理(2)选随原创 2020-06-05 19:50:23 · 269 阅读 · 0 评论 -
学习分享:提升方法/集成学习
目录1 什么是提升方法?1.1 定义1.2 起源1.3 分类1.4 步骤2 boosting方法2.1 基本思想2.2 算法AdaBoost(Adaptive Boosting)3 bagging方法1 什么是提升方法?1.1 定义提高任意学习算法准确度的方法集成学习:模型融合策略和方法“三个臭皮匠,顶过一个诸葛亮”1.2 起源Valiant,PAC学习模型弱学习:准确率(略)> 50%,仅比随机猜略高强学习:准确率很高,多项式时间内完成弱学习器提升为强学习器1.3 分类(1)原创 2020-06-09 22:45:19 · 184 阅读 · 0 评论 -
学习分享:优化算法
目录1 经典优化算法1.1 直接法1.2 迭代法1.2.1 一阶法1.2.2 二阶法(牛顿法)2 梯度下降法2.1 GD2.2 SGD1 经典优化算法1.1 直接法定义:直接给出优化问题的最优解需满足2条件:(1)L是凸函数充要条件:最优解处的梯度为0(2)梯度=0的方程有闭式解(解析解)典型例子:岭回归1.2 迭代法定义:迭代地修正对最优解的估计1.2.1 一阶法定义:对L做一阶泰勒展开缺点:收敛速度慢升级版本: 一阶加速算法1.2.2原创 2020-06-09 23:07:01 · 288 阅读 · 0 评论