![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
笛在月明
我们采集的只是石头,却必须时刻展望未来的大教堂。
展开
-
深度学习在自然语言处理中的应用(一)
资料整理篇Overview: 深度学习浪潮中的自然语言处理技术 框架: Caffe Tensorflow 官方版教程中文版 Theano Torch NLP相关: 深度学习将会变革NLP中的中文分词 Attention Model gensim tutorials DL书籍: 在线电子书Neural Networks and Deep Learning 公原创 2016-11-07 17:07:21 · 1109 阅读 · 0 评论 -
深度学习在自然语言处理中的应用(二)
基于Tensorflow的中文文本摘要实践1.环境搭建 安装环境:Ubuntu 14.04.5 LTS 1)首先需要安装JDK,这里以jdk8为例 安装方法:https://bazel.build/versions/master/docs/install.html 2)安装Google的软件构建工具Bazel 同样可参考链接 执行bazel build -c opt –config=原创 2016-11-20 13:38:26 · 1012 阅读 · 0 评论 -
DL在NLP中的应用(三)RNN
本文译自http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ 最近一直在做数据挖掘大作业-搜索相关性评价,利用sklearn的ensemble方法GBRT与RF权重加和效果仅为52%(kappa score),想使用NN方法测试下效果,发现了RNN的两篇好文翻译 2016-12-31 14:10:27 · 3149 阅读 · 0 评论 -
机器学习中常见的问题整理(三)
本文继续整理各个平台上最热门的机器学习问题及参考解答,如有问题欢迎补充~ 1. 激活函数ReLU相比Sigmoid的优势有哪些? (1)Relu计算量小; (2)Relu没有饱和区和梯度消失; (3)用Relu去估计非线型函数时收敛更快。AlexNet论文里说大概比sigmoid快6倍。 最后,Relu有个缺点是输出为0后,梯度没法反向传递,这个Relu就死掉了。。 2. dropou...原创 2018-04-23 22:47:12 · 815 阅读 · 0 评论 -
机器学习常见的问题总结(四)
1.二阶收敛为什么比一阶收敛更快? 一阶收敛是以1/n的速度收敛,二阶收敛是以1/(n^2)的速度收敛,所以速度比较快。 2.拟牛顿法是如何近似海塞矩阵的?3.为什么BFGS效果要好于DFP? BFGS优于DFP的原因在于,BFGS有自校正的性质(self-correcting property)。通俗来说,如果某一步BFGS对Hessian阵的估计偏了,导致优化变慢,那么BFGS会在较...原创 2018-05-17 15:09:39 · 1102 阅读 · 0 评论 -
使用tensorflow seq2seq进行时间序列预测
时间序列预测可以根据短期预测,长期预测,以及具体场景选用不同的方法,如ARMA、ARIMA、神经网络预测、SVM预测、灰色预测、模糊预测、组合预测法等等。所谓没有最好的模型,只有最适合的模型。至于哪一种模型能针对特定预测问题达到最高的精度,需要通过实验来证明。本文通过生成的随机数利用tensorflow的seq2seq模型进行单变量时间序列预测实验,目的是理解seq2seq的模型基础架构以及验证模...原创 2018-05-11 16:56:52 · 16468 阅读 · 12 评论