- 博客(21)
- 资源 (9)
- 收藏
- 关注
RSS订阅转载 深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
前言（标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此我就不赘述了。SGD此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent的...
2018-10-31 13:02:02
371
转载 ######好好好，本质#####基于LSTM搭建一个文本情感分类的深度学习模型:准确率往往有95%以上
基于情感词典的文本情感分类传统的基于情感词典的文本情感分类，是对人的记忆和判断思维的最简单的模拟，如上图。我们首先通过学习来记忆一些基本词汇，如否定词语有“不”，积极词语有“喜欢”、“爱”，消极词语有“讨厌”、“恨”等，从而在大脑中形成一个基本的语料库。然后，我们再对输入的句子进行最直接的拆分，看看我们所记忆的词汇表中是否存在相应的词语，然后根据这个词语的类别来判断情感，比如“我喜欢数学”...
2018-10-31 11:09:40
895
1
转载 ######好好好######MSE与CE的区别？数学推导 本质理解
面试官先问了几个简单问题，精灵自然轻松答出来了。终于面试官问到了MSE和CE的区别。面试官：MSE和CE你熟悉吗？精灵：熟悉，MSE就是mean square error，CE就是cross entropy。面试官：没错，是这样的，训练神经网络时，你经常用哪一个？精灵：如果是回归问题，用MSE，如果是分类问题，一般用CE。（这是一个小坑，先要区分问题是分类还是回归，面试官故意...
2018-10-31 10:57:46
1579
转载 [NLP自然语言处理]谷歌BERT模型深度解析
BERT模型代码已经发布，可以在我的github: NLP-BERT--Python3.6-pytorch 中下载，请记得start哦目录一、前言二、如何理解BERT模型三、BERT模型解析 论文的核心：详解BERT模型架构 关键创新：预训练任务 实验结果四、BERT模型的影响对BERT模型的观点参考文献一、前言 最近谷...
2018-10-30 19:32:31
4070
转载 #####好好好好####Keras深度神经网络训练分类模型的四种方法
Github代码： Keras样例解析欢迎光临我的博客：https://gaussic.github.io/2017/03/03/imdb-sentiment-classification/(转载请注明出处：https://gaussic.github.io)Keras的官方Examples里面展示了四种训练IMDB文本情感分类的方法，借助这4个Python程序，可以对Keras的使用...
2018-10-30 17:29:34
495
转载 Keras 处理 不平衡的数据的分类问题 imbalance data 或者 highly skewed data
处理不平衡的数据集的时候，可以使用对数据加权来提高数量较小类的被选中的概率，具体方式如下 fit(self, x, y, batch_size=32, nb_epoch=10, verbose=1, callbacks=[], validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sampl...
2018-10-29 11:37:41
3017
转载 ##############缺失值填充的几种方法
常见的缺失值填充方法有填充默认值、均值、众数、KNN填充、以及把缺失值作为新的label通过模型来预测等方式，为了介绍这几种填充方法的使用以及填充效果，本文将在真实数据集上进行简单比较。1. 数据集介绍数据集来源于 天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测。该数据集共有1000条数据，特征共83维，加上id和label共85列，每维特征缺失数量范围为0~911。为了简单比较各种填...
2018-10-23 17:12:14
4605
转载 ####好好好＃＃＃＃＃＃＃让Keras更酷一些！Keras模型杂谈
Keras伴我走来 #回想起进入机器学习领域的这两三年来，Keras是一直陪伴在笔者的身边。要不是当初刚掉进这个坑时碰到了Keras这个这么易用的框架，能快速实现我的想法，我也不确定我是否能有毅力坚持下来，毕竟当初是theano、pylearn、caffe、torch等的天下，哪怕在今天它们对我来说仍然像天书一般。后来为了拓展视野，我也去学习了一段时间的tensorflow，用纯tenso...
2018-10-17 16:21:34
506
转载 简明条件随机场CRF介绍（附带纯Keras实现）
笔者去年曾写过博文《果壳中的条件随机场(CRF In A Nutshell)》，以一种比较粗糙的方式介绍了一下条件随机场（CRF）模型。然而那篇文章显然有很多不足的地方，比如介绍不够清晰，也不够完整，还没有实现，在这里我们重提这个模型，将相关内容补充完成。本文是对CRF基本原理的一个简明的介绍。当然，“简明”是相对而言中，要想真的弄清楚CRF，免不了要提及一些公式，如果只关心调用的读者，可以直...
2018-10-17 13:33:24
1530
1
转载 ###好好好####Tensorflow将模型导出为一个文件及接口设置
在用PMML实现机器学习模型的跨平台上线中，我们讨论了使用PMML文件来实现跨平台模型上线的方法，这个方法当然也适用于tensorflow生成的模型，但是由于tensorflow模型往往较大，使用无法优化的PMML文件大多数时候很笨拙，因此本文我们专门讨论下tensorflow机器学习模型的跨平台上线的方法。1. tensorflow模型的跨平台上线的备选方案 tensorf...
2018-10-17 10:20:47
824
转载 深度增强学习综述
本文是对《深度增强学习综述》一文的解读。文章从增强学习谈起，谈到对深度学习的引入，层层递进、简明扼要地从技术层面阐释了深度增强学习的原理和效用。当今世界，科技发展日新月异。即便是业界中人，往往也搞不清同行们的动态。所以，隔三差五需要有人梳理业界的动态。“Deep ReinforcementLearning: An Overview” [1] 这篇论文的作者，梳理了深度学习与增强学习相融合的...
2018-10-15 14:01:39
3137
转载 tensorflow中的共享变量（sharing variables） 最佳方式variable_scope()命名空间来完成
当训练复杂模型时，可能经常需要共享大量的变量。例如，使用测试集来测试已训练好的模型性能表现时，需要共享已训练好模型的变量，如全连接层的权值。而且我们还会遇到以下问题：比如，我们创建了一个简单的图像滤波器模型。如果只使用tf.Variable，那么我们的模型可能如下def my_image_filter(input_images): conv1_weights = tf.V...
2018-10-14 11:31:56
378
转载 #####好好好####从Google Visor到Microsoft NNI再到Advisor调参服务接口发展史
从Google Visor到Microsoft NNI再到Advisor调参服务接口发展史tobeContributor to the world.10 人赞了该文章介绍从规则编程到机器学习，从人工调参到AutoML（meta-machine learning），一直是整个行业发展的趋势。目前各种黑盒优化算法、增强学习算法也越来越得到工业界接受，最著名的当属来自Deep...
2018-10-13 22:55:16
1241
2
转载 Keras 多任务实现，Multi Loss #########Keras Xception Multi loss 细粒度图像分类
这里只摘取关键代码：# create the base pre-trained modelinput_tensor = Input(shape=(299, 299, 3))base_model = Xception(include_top=True, weights='imagenet', input_tensor=None, input_shape=None)plot_model(b...
2018-10-12 23:54:58
1531
1
转载 Tensorflow 多任务学习 概念介绍
建立多任务图多任务的一个特点是单个tensor输入(X)，多个输出(Y_1,Y_2...)。因此在定义占位符时要定义多个输出。同样也需要有多个损失函数用于分别计算每个任务的损失。具体代码如下：# GRAPH CODE# ============# 导入 Tensorflowimport Tensorflow as tf# ======================# 定...
2018-10-12 23:53:06
299
转载 贝叶斯优化: 一种更好的超参数调优方式
简介本文受 浅析 Hinton 最近提出的 Capsule 计划 启发，希望以更通俗的方式推广机器学习算法，让有数学基础和编程能力的人能够乐享其中。目前人工智能和深度学习越趋普及，大家可以使用开源的Scikit-learn、TensorFlow来实现机器学习模型，甚至参加Kaggle这样的建模比赛。那么要想模型效果好，手动调参少不了，机器学习算法如SVM就有gamma、kernel、ceo...
2018-10-12 17:36:20
35878
6
转载 梯度爆炸的解决办法：clip gradient
1.梯度爆炸的影响在一个只有一个隐藏节点的网络中，损失函数和权值w偏置b构成error surface，其中有一堵墙，如下所示 损失函数每次迭代都是每次一小步，但是当遇到这堵墙时，在墙上的某点计算梯度，梯度会瞬间增大，指向某处不理想的位置。如果我们使用缩放，可以把误导控制在可接受范围内，如虚线箭头所示2.解决梯度爆炸问题的方法通常会使用一种叫”clip gradients “的方法...
2018-10-12 10:21:34
2027
转载 强化学习的历史和学习博客网址
强化学习推荐学习网站：莫凡博客https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/ 1.强化学习的历史发展1956年Bellman提出了动态规划方法。 1977年Werbos提出只适应动态规划算法。 1988年sutton提出时间差分算法。 1992年Watkins 提出Q-...
2018-10-09 15:22:46
951
转载 利用深度学习病历分析前沿进展
邓侃博士又一力作，看深度学习如何让电子病历分析取得突破：Word2Vec、AutoEncoder让文字转换为张量，有助于更精准的预测；医学知识图谱，让我们能够清晰、量化地定义疾病表型；将图像也编码成张量，构建统一的患者画像，完整表达病情描述，实现临床导航和发病预测……曾经是冷门中的冷门，正在迎来一个又一个的进展。 2018年1月，谷歌头号技术大神 Jeff Dean，携手谷歌大脑项目组 30 ...
2018-10-01 22:31:29
1709
转载 谷歌传奇人物 Jeff Dean 联手顶级医学院，发表首篇电子病历 AI 论文
谷歌在ArXiv上公开了一篇论文，也很可能是谷歌使用深度学习模型在电子病历建模分析方面的首篇文章。这篇论文由“编译器从不警告Jeff，Jeff会警告编译器”的谷歌大脑高级研究员Jeff Dean率队，联合了UCSF、Stanford、UChicago等知名机构的众多大牛。论文地址：https://arxiv.org/pdf/1801.07860.pdf在这篇文章里，Google选择了U...
2018-10-01 22:29:28
3069
转载 论文：Scalable and accurate deep learning for electronic health records研读笔记
参考链接：https://www.cnbeta.com/articles/tech/703459.htmhttps://blog.csdn.net/cskywit/article/details/79192855http://tech.sina.com.cn/roll/2018-02-04/doc-ifyreuzn2571006.shtmlhttps://www.linuxprobe....
2018-10-01 22:08:14
3749
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人