cuncaoxin1-CSDN博客

翻译 On the difficulty of training Recurrent Neural Networks

1 摘要关于正确训练循环神经网络有两个常见的问题，梯度消失和梯度爆炸。在本文中，我们试图通过从分析，几何和动态系统的角度探索这些问题来提高对潜在问题的理解。我们的分析被用来证明一个简单而有效的解决方案。我们提出梯度范数裁剪策略来处理爆炸梯度和消失梯度问题的软约束。我们验证了我们的假设，并在实验部分提出了解决方案。2.前言RNN网络的结构与标准多层感知器的结构类似，区别在于我

2017-11-15 20:46:39 1503 1

原创周志华机器学习第二章读书笔记（二）

(1)ROC(Receiver Operating Characteristic)受试者工作特征根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，每次计算出两个重要量的值，得到ROC曲线。

2017-10-13 13:29:57 594

原创周志华机器学习读书笔记第二章（一）

模型评估与选择（1）错误率+精度=1，错误率是指分类错误的样本数占样本总数的比例。（2）误差：学习器的实际预测输出与样本的真实输出之间的差异。训练误差：学习器在训练集上的误差。泛化误差：在新样本上的误差。（3）过拟合和欠拟合：学习器把训练样本学的太好了，导致泛化性能下降；欠拟合，指对训练样本的一般性质尚未学好。过拟合是机器学习面临的关键障碍，各类算法都必然有一些针对过拟合的

2017-10-08 14:53:19 719

翻译预测的两类核心算法

（1）解决函数逼近问题的两类算法：惩罚线性回归和集成方法。（2）惩罚线性回归方法是由普通最小二乘法衍生的。最小二乘法的一个根本问题就是有时它会过拟合。（3）惩罚线性回归可以减少自由度使之与数据规模、问题的复杂度相匹配。对于有大量自由度的问题，惩罚线性回归方法获得了广泛应用。自由度：统计学上的自由度是指当以样本的统计量来估计总体参数时，样本中能独立或能自由变化的自变量的个数。个人

2017-10-05 19:37:13 391

原创 centos power8服务器安装桌面

跑代码的结果需要画图，因此本人不甘于黑漆漆的一片命令行，想要给服务器安装桌面。本来资料很多，很简单的一件事，奈何服务器安装的是centos系统+IBM的power8处理器，很多资料相悖，整整花了一晚上的时间，第二天才回去睡觉。。。下面总结一下安装的步骤，以及遇到的坑：（1）第一步先安装ghome桌面 1、使用命令 runlevel 查看当前的运行级别，如果是3，等

2017-10-03 03:30:31 1100

原创 MQTT客户端QT的配置

编译环境是win10+QT5.6.1具体步骤如下：1、源码下载：https://github.com/emqtt/qmqtt/tree/master。2、解压安装包。3、在工程目录里面有一个src文件夹，用Qt打开 %解压路径%\qmqtt-master\qmqtt-master\src.pro文件，点击右键构建此工程目（编译源码）。注：如果qt版本低于5

2017-10-03 02:36:01 2181 3

原创 MQTT服务器端配置

之前做项目的时候写了一个服务器，一开始架构没想好，在需使用长连接的地方，使用了轮询的方法，导致服务器负载很重。老板推荐使用MQTT协议作为长连接的协议，于是我就在已有的win系统下面spring框架基础上增加MQTT协议部分。花了一晚上，总结一下步骤：步骤如下：（1）下载apache-apollo-1.7.1-windows-distro.zip，下载后解压，打开cmd，cd到apache

2017-09-30 05:34:26 4586

原创周志华机器学习读书笔记第一章

（1）机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。机器学习所研究的内容，是关于在计算机上从数据中产生“模型”的算法。（2）若我们预测的是离散值，此类学习任务称为“分类”；若预测的是连续值，则称为“回归”；根据训练数据是否拥有标记信息，学习任务可大致分为两大类：“监督学习”和“无监督学习”，分类和回归是前者的代表，聚类则是后者的代表。（3）通常假

2017-09-28 12:53:58 1029

翻译 improving protein disorder prediction by deep bidirectional lstm rnn

动机：捕获蛋白质的结构序列相邻序列之间的长距离相互作用是生物信息学中长期存在的挑战性问题。近来，长时间记忆（LSTM）网络通过记录长时间事件中有用的过去信息，显着提高了语音和图像分类问题的准确性。在这里，我们在蛋白质内在障碍预测问题中实施了深层双向LSTM复发神经网络。结果：新方法，命名为SPOT-Disorder已经稳步改进了使用传统的基于窗口的神经网络（SPINE-D）以及类似方法在短时间

2017-09-26 21:01:38 588

原创 Generating Sequences With Recurrent Neural Networks（1）

摘要本文展示了LSTM循环神经网络如何能通过预测数据点来生成复杂序列。该方法针对文本（其中数据是离散的）和在线手写（数据是实值的）进行了演示。然后通过允许网络对文本序列进行预测来扩展到手写合成。所产生的系统能够以各种各样的风格产生高度逼真的草书手写。introduction循环神经网络（RNN）是一类丰富的动态模型，已被用于在音乐，文本和运动数据的捕获。可以通过一次处理实际数据序

2017-09-25 13:24:22 3050

原创 Sequence to Sequence Learning with Neural Networks论文笔记

摘要Dnn是强大的模型，在困难的学习任务上取得了出色的表现。尽管每当有很大的标签训练集时，DNN都能很好的工作，但是他们不能用于将序列映射到序列的工作。在本文中，我们提出了一般端到端的方法，对序列标签做出最小假设。我们的方法使用多层LSTM将输入序列映射到固定维度的向量，然后在使用另一个深LSTM来从向量中解码目标序列。Introduction(1)DNN介绍，举例。很强大（2）尽

2017-09-24 22:13:46 2024 1

原创第二次开博

研究生二年级，依然在想是否读博。本篇总结研究生一年的经过，以及研究生二年级的规划。研究生一年级的时候，夜以继日的给老板做项目，现在闲了一点，现在总结一下项目过程。7月份来学校，自己选择的是深度学习方向，配置了两个月caffe，这期间学些基础。9月15日（中秋当天），老板让我开始做项目，跟深度学习一点关系都没有的项目（保密的），属于IT的。我当时还是属于硬件选手，老板要我做的是摄像头方面的硬件，

2017-09-23 17:02:21 231

原创开博感想

开始的话

2016-04-29 22:11:37 192

u013261340的博客