- 博客(14)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 【深度学习】各种梯度下降优化方法总结
SGD随机梯度下降1. 在梯度平缓的维度下降非常慢，在梯度险峻的维度容易抖动2. 容易陷入局部极小值或鞍点。Zero gradient,gradient descent gets stuck （在高维空间中，鞍点比局部极小值更容易出现）mini-batch GDMoment在每次下降时都加上之前运动方向上的动量在梯度缓慢的维度下降更快，在梯度险峻的维度减少抖动v表示velocity 速率，即在原先...
2018-06-23 18:15:24
10533
原创 【深度学习】Attention机制理解与总结
深度学习中Attention Mechanism详细介绍：原理、分类及应用 目前主流的attention方法都有哪些？Attention Mechanism可以帮助模型对输入的X每个部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出更加准确的判断，同时不会对模型的计算和存储带来更大的开销，这也是Attention Mechanism应用如此广泛的原因。 之前在做知识库问...
2018-06-16 19:11:16
10162
1
原创 【论文】Match-LSTM 机器阅读理解
《Machine Comprehension Using Match-LSTM and Answer Pointer》这篇论文介绍了一种端到端解决机器阅读理解问答任务的方法，结合了Match-LSTM和Pointer Net。该文是第一个在SQuAD数据集上测试的端到端神经网络模型。最终训练效果好于原数据集发布时附带的手动抽取特征+LR模型。 match-LSTM是作者早些时候在文本蕴...
2018-05-03 22:24:04
7050
原创 Tensorflow常用函数整理
相关资料：待读：tensorflow笔记：多层LSTM代码分析极客学院 MNIST例子官方文档 函数定义矩阵生成tf.clip_by_valuetf.ones(shape, type=tf.float32, name=None)tf.ones_like(tensor, dype=None, name=None)tf.zeros([2, 3], int32)tf...
2018-04-17 20:20:19
284
原创 KBQA 知识库问答领域研究综述（未完待续。。）
论文终于提交了，心情非常激动。。从去年9月开始做知识库问答到现在，总算是可以告一段落了。从前期的调研，到11月份艰难地复现别人的论文，12月1月看论文调模型，中间几近放弃。。3.9又重新开始跑模型，3.19开始写论文，到今天全部完成，深刻地体会到科研的道路真是道阻且长。趁着对KBQA的浅薄理解，在这里做个总结吧。从开这个坑到现在已经十天过去了。。今天终于有时间来把坑填上。 这期间把论文放...
2018-04-07 16:17:53
10047
11
原创 【深度学习】Batch Normalization理解
参考资料： - 深度学习中 Batch Normalization为什么效果好？ - 斯坦福CS231 Lecture6 - Batch Normalization 学习笔记 各种讲解深度学习的课程、博客中都会强调BN（Batch Normalization）的优点和重要性，于是仔细研读了一下各种资料，发现其思想并不复杂。虽然在实际中还没有体会过它的作用。。希望有机...
2018-03-26 10:06:22
799
原创 斯坦福cs231课程笔记（下）
Lecture 8: Deep Learning SoftwareLecture 9: CNN ArchitecturesAlexNetVGGNetGoogLeNet - 22 total layers with weights (including each parallel layer in an Inception module) - “Inception modul...
2018-03-17 23:12:53
490
原创 斯坦福CS231课程笔记（上）
CS231n: Convolutional Neural Networks for Visual Recognition课程主页：http://cs231n.github.io/convolutional-networks/笔记中文翻译：https://zhuanlan.zhihu.com/p/21930884?refer=intelligentunit ...
2018-03-17 23:06:12
3064
原创 各类QA问答系统的总结与技术实现（持续更新）
问答系统是近几年大火的nlp应用之一，很多公司不论大小都一窝蜂地研发问答机器人、智能客服。不论是搜狗机器人汪仔在《一战到底》中战胜人类选手，还是前阵子火爆的直播答题类软件，都加速了问答系统走入大众的视野。但是不得不说，即使问答系统前景如此广阔，其背后的技术仍没有达到十分成熟的地步。我从去年9月开始接触QA到现在，对这一领域的一些常见任务和方法都有了初步了解，现做一个总结。根据应用场景和...
2018-03-12 22:17:26
48886
9
原创 斯坦福cs224课程笔记
CS224N: Natural Language Processing with Deep Learning课程主页：CS224n: Natural Language Processing with Deep Learninghttp://web.stanford.edu/class/cs224n/syllabus.htmlLecture 6: Dependency ParsingLecture ...
2018-03-05 09:52:58
1439
原创 【论文】文本建模框架 conv-RNN
《A Hybrid Framework for Text Modeling with Convolutional RNN》这篇论文是对深度学习语义建模的研究，文中提出了一种新的文本语义编码算法 conv-RNN，该模型在参考了较为常用的文本语义编码模型循环神经网络与卷积神经网络的同时，进行了进一步的文本语义编码优化，实现更为精准的文本分类和问答匹配。语义编码的意义自然语言是一种“非结构化数据”，文...
2018-03-02 17:39:02
2681
1
原创 Recurrent Models学习笔记
主要是自己学习Recurrent Neural Network过程中的知识梳理。涉及到的资料来源：CS224n: Natural Language Processing with Deep Learning (Lecture 8, Lecture 9, Lecture 12)CS231n: Convolutional Neural Networks for Visual Recognition (...
2017-12-02 19:47:06
932
转载 mysql导入csv文件，与python连接
csv文件导入mysql数据库表中：load data infile 'F:/eclipse2/tianchi_fresh_comp_train_user.csv' into table `shopping_records_original` fields terminated by ',' optionally enclosed by '"' escaped by '"' lines te...
2016-04-01 11:30:26
1350
java图书借阅管理系统需求分析说明书
2015-01-03
图书借阅管理系统
2015-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人