- 博客(8)
- 收藏
- 关注
RSS订阅原创 前几天的工作
1.跟着东大实验室学习了四五篇论文，虽然没怎么听懂但是学到了看论文的方法，安装tensorflow，运行老师给的代码，出现错误，可能是版本不一样，正在解决。 2.共享杯做了数据预处理，学习并实现了几个小算法，收货满满。 3.又看了看本科别人写的python项目，学习了python框架。 几天下来什么都学了点，啥都没学透，正在努力解决。 ...
2019-07-26 21:31:52
87
原创 大整合（2）
接着上面的 以上张兴写的反向传播很好就借鉴了 以下是代码： #coding:utf-8 import random import math # 参数解释： # "pd_" ：偏导的前缀 # "d_" ：导数的前缀 # "w_ho" ：隐含层到输出层的权重系数索引 # "w_ih" ：输入层到隐含层的权重系数的索引 class NeuralNetwork:...
2019-07-26 21:20:44
130
原创 大集合及其近期工作（1）
前向传播与反向传播 ***1***这是一个神经网络的图： 这是一个常见的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层，Layer L3是隐含层，当我们输入x1,x2,x3等数据时，通过隐含层的计算、转换，输出你的期望，当你的输入和输出是一样的时候，成为自编码模型（Auto-Encoder）,而当你输入和输出是不一致的时候，也就是我们常说的人工神经网络。 其中 ...
2019-07-26 20:37:25
87
原创 第二星期第一天
Tanh函数解决了Sigmoid函数输出不是0均值的问题，但是没有解决梯度消失和指数运算的问题。 一般在二分类问题中，隐藏层用Tanh函数，输出层用Sigmoid函数。 Leaky ReLu函数在左侧给了一个很小的导数，他的优点与ReLu类似： 1）没有饱和区，不存在梯度消失问题。 2）没有指数运算，计算快。 3）收敛速度快，速度是Sigmoid和Tanh的6倍。 4）不会造成神经元失效，形...
2019-07-22 20:25:58
79
原创 赴秦皇岛第三第四天集合
Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。 Sigmoid函数由下列公式定义 其对x的导数可以用自身表示: 摘要 几个主要的损失函数：MSE均方误差损失函数、SVM合页损失函数、Cross Entropy交叉熵损失函数、目标检测中常用的Smooth L1损失函数。其中还会涉及到梯度消失、梯度爆炸等问题：ESM均方误差+Sigmoid激活函数会导致学习缓慢；Smoot...
2019-07-22 08:24:38
121
原创 赴秦皇岛第二天笔记
Gradient Descent：梯度下降 Adaptive Learning rates：自适应学习率、 Adagrad： Formal Derivation：形式推导 Taylor Series：泰勒展开式 Back to Formal Derivation：回到形式推导 ...
2019-07-18 09:10:55
79
转载 秦皇岛第二天
Classification:分类；类别 prior:在先的；优先的 gaussian distribution:高斯分布 损失函数;损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模...
2019-07-17 17:47:41
177
转载 赴秦皇岛东大第一天
第一步：找一个function。 第二步：衡量一个function是不是好的。 第三步：训练一个自动方法有一个好的演算法，挑一个更好的function regression：回归 就是能够预测出一个值的模型 classification：分类 svm：向量机 transfer learining:迁徙学习 Unsupervised learning：一般来说，比较直观的解释，supervi...
2019-07-16 18:33:16
85
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人