- 博客(13)
- 收藏
- 关注
RSS订阅原创 控制反转和依赖注入的理解
学习过Spring框架的人一定都会听过Spring的IoC(控制反转) 、DI(依赖注入)这两个概念，对于初学Spring的人来说，总觉得IoC 、DI这两个概念是模糊不清的，是很难理解的，今天和大家分享网上的一些技术大牛们对Spring框架的IOC的理解以及谈谈我对Spring Ioc的理解。一、分享Iteye的开涛对Ioc的精彩讲解 首先要分享的是Iteye的开涛这位技术牛人对Spring框架的IOC的理解，写得非常通俗易懂，以下内容全部来自原文，原文地址：http://jinnianshil
2020-08-17 21:23:03
197
原创 Self-Attention with Relative Position Representations解读
非递归的模型（attention，CNN等）并没有考虑输入序列中元素的顺序，因此在很多任务中可能需要显式地编码位置信息。这篇文章将元素与元素之间的相对位置表示引入了self-attention机制。在两个机器翻译的任务中，引入相对位置表示的self-attention比绝对位置编码的self-attention有明显的提升。背景知识Attention Mechanism 这篇文章把...
2019-11-19 21:29:29
2788
2
原创 PyTorch(1) torch.nn与torch.nn.functional之间的区别和联系
在阅读PyTorch官网的教程的时候，发现介绍如何利用Pytorch搭建一个神经网络的示例代码是这样写。迷惑的地方是在于forward的函数的定义方法。为什么要把网络中的一部分层在__init__()函数里定义出来，而另一部分层则是在__forward()__函数里定义？并且一个用的是nn，另一个用的是nn.functional。同一种层的API定义有两种，这样看似冗余的设计是为了什么呢？...
2019-11-17 21:49:43
1421
1
原创 吴恩达机器学习笔记-SVM（cs229）
下面是一个最简单的SVM： 分类算法：支持向量机（SVM）是一个分类算法（机器学习中经常把算法称为一个“机器”），它的目标是找到图中实线所表示的决策边界，也称为超平面（Hyperplane） 支持向量（Support vectors）：支持向量就是图中虚线穿过的数据点（两个×...
2019-11-16 17:59:25
1514
2
原创 深度学习中的注意力机制详解（key-value attention 2017）
注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。人类的视觉注意力从注意力模型的命名方式看，很明显其借鉴了人类的注意力机制，因此，我们首先简单介绍人类视觉的选择性注意力机制。...
2019-11-08 15:34:29
14927
原创 吴恩达机器学习笔记-机器学习系统设计
确定执行的优先级我们已经学习过一些机器学习的算法，那么如何设计一个机器学习系统呢，课程中举了一个垃圾邮件分类器的例子，例子比较简单这里就不再赘述：那么如何来提升这个分类器的准确度呢？有下面几个建议：收集更多的数据 增加更复杂的特征（比如邮件头） 开发更复杂的算法来鉴定错误拼写误差分析如果你准备研发一个机器学习应用，下面有一些关于开发的一些建议：其中误差分析不一定会...
2019-10-18 14:55:52
187
原创 吴恩达机器学习----应用机器学习的建议
第十章 应用机器学习的建议(Advice for Applying Machine Learning)获得更多的训练实例——通常是有效的，但代价较大，可考虑先采用下面的几种方法进行解决：1.尝试减少特征的数量2.尝试获得更多的特征3.尝试增加多项式特征4.尝试减少正则化程度λ5.尝试增加正则化程度λ1、评估一个假设当我们确定学习算法的参数的时候，我们考虑的是选择参量来...
2019-10-06 15:28:44
113
原创 循环神经网络（RNN）原理概述
1.RNN怎么来的？循环神经网络的应用场景比较多，比如暂时能写论文，写程序，写诗，但是，（总是会有但是的），但是他们现在还不能正常使用，学习出来的东西没有逻辑，所以要想真正让它更有用，路还很远。这是一般的神经网络应该有的结构：既然我们已经有了人工神经网络和卷积神经网络，为什么还要循环神经网络？原因很简单，无论是卷积神经网络，还是人工神经网络，他们的前提假设都是：元素之间是相互独立...
2019-10-06 12:45:32
1637
原创 BP神经网络原理和算法推导流程（吴恩达机器学习）
1 反向传播算法和BP网络简介 误差反向传播算法简称反向传播算法（即BP算法）。使用反向传播算法的多层感知器又称为BP神经网络。BP算法是一个迭代算法，它的基本思想为：（1）先计算每一层的状态和激活值，直到最后一层（即信号是前向传播的）；（2）计算每一层的误差，误差的计算过程是从最后一层向前推进的（这就是反向传播算法名字的由来）；（3）更新参数（目标是误差变小）。迭代前面两个步骤，直到...
2019-09-16 13:51:13
11052
原创 logistic回归（吴恩达机器学习第二周作业）
logistic回归的概念介绍在之前的博客总结过，传送门：https://blog.csdn.net/wu740027007/article/details/96433107这里讲一下实现过程中需要特别注意的一些问题以及代码。1.在logistic回归进行梯度的更新时，Ag没有损失函数J求导得到梯度的具体证明过程。在这里详细推导一下：假设在logistic回归中，假设我们的训练...
2019-09-06 17:55:52
345
原创 线性回归模型及梯度下降算法（吴恩达机器学习第一周作业）
1. 线性回归引例：房屋估价系统 房屋估价系统问题就是当知道房屋面积、卧室个数与房屋价格的对应关系之后，在得知一个新的房屋信息后如何得到对应的新房屋价格，这类问题可以简化为： 寻找房屋面积、卧室个数与房屋价格之间关系方程的过程就是回归，这里假设他们之间是线性关系，即房屋价格可以被表示为房屋面积与卧室个数的一维线性方程...
2019-08-31 11:07:34
1518
原创 入门学习-------logistic回归及梯度下降算法
logistic回归假设现在有一些数据点，需要用一条直线对这些数据点进行拟合，该过程就叫做回归。logistic回归主要用来解决二分类预测问题，例如判断一张图片是否是猫，一个人是否患有相关疾病等。所以logistic回归的输出值是一个介于0~1之间的概率值。如果用普通的线性函数Y=WX+b，Y的大小是跟随X的变化会线性的增加或缩小，不满足概率值的条件。所以此时可以借助sigm...
2019-07-23 22:38:38
3359
1
原创 TensorFlow学习：环境搭建及安装
入门机器学习，折腾了大半天，终于把TensorFlow gpu版装好了。。。 网上的教程有些版本都比较老了，也不是特别完整。在这里把自己的环境搭建及安装过程分享以下。 我是在win10下进行搭建的，刚开始想用anaconda搭建，但是被坑了大半天，还是没装好，各种错误在这里不多说了，感觉Win下还是不适合用控制台进行这些安装。想试试的小伙伴可以参考这篇教程https:/...
2019-07-03 23:12:14
250
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人