- 博客(11)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 局部最小值和全局最小值
基于梯度得搜索是使用最为广泛得参数寻优方法。在此类方法中，我们从某些初始解出发，迭代寻找最优参数值。每次迭代中，我们先计算误差函数在当前点的梯度，然后根据梯度确定搜索方向。例如，由于负梯度方向是函数值下降最快的方法，因此梯度下降法就是沿着负梯度方向搜索最优解。若误差函数在当前点的梯度为零，则已达到局部极小，更新量将为零，这意味着参数的迭代更新将在此停止。显然，如果误差函数仅有一个局部极小，...
2018-06-29 15:19:10
11635
2
原创 卷积神经网络的理解
卷积神经网络较全连接网络主要特点是局部相关和权值共享。局部相关的理论是对于一幅图像的一个像素点P来说，离这个像素点P越近的像素点对其影响也就越大。权值共享：根据自然图像的统计特性，某个区域的权值也可以作用于另一个区域。这里的全职共享说白了就是卷积核共享，对于卷积核将其与给定的图像做卷积，就可以提取一种图像的特征，不同的卷积核可以提取不同图像的特征。 卷积网络在图像信息提取方面较全连接网络的...
2018-06-29 10:57:58
193
转载 详解机器学习中的梯度消失、爆炸原因及其解决方法
转载：https://blog.csdn.net/qq_25737169/article/details/78847691前言本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分，第一部分主要直观的介绍深度学习中为什么使用梯度更新，第二部分主要介绍深度学习中梯度消失及爆炸的原因，第三部分对提出梯度消失及爆炸的解决方案。有基础的同鞋可以跳着阅读。 其中，梯度消失爆炸的解决...
2018-06-27 15:00:55
296
转载 python 实现线性链表（单链表）
转载：https://blog.csdn.net/King0217/article/details/78228433# -*- coding:utf-8 -*-# 结点类，class Node: def __init__(self, data): self.data = data # 数据域 self.next = Non...
2018-06-27 13:32:26
176
转载 python还能这样写
Python 还能这样写？我一看就掉下巴了……整个集合大概是按照难易程度排序，简单常见的在前面，比较少见的在最后。拆箱>>> a, b, c = 1, 2, 3>>> a, b, c(1, 2, 3)>>> a, b, c = [1, 2, 3]>>> a, b, c(1, 2, 3)>>>
2018-06-11 16:14:40
138
转载 python 列表递归求和、计数、求最大元素
转载：https://blog.csdn.net/li_zhonglei/article/details/75735556利用python的递归来执行求和、计数、求最大元素的方法简直溜到爆，这里粘贴一下代码：列表的递归求和：def sum(list): if list==[]: return 0 return list[0]+sum(list[1:])测试：p...
2018-06-11 11:01:55
1350
转载 卷积神经网络复杂度分析（时间复杂度，空间复杂度）
原文：https://blog.csdn.net/laolu1573/article/details/79196160复杂度对模型的影响时间复杂度决定了模型的训练/预测时间。如果复杂度过高，会导致模型训练和预测耗费大量时间，既无法快速的验证想法和改善模型，也无法做到快速的预测。空间复杂度决定了模型的参数数量。由于维度灾难的限制，模型的参数越多，训练模型所需的数据量就越大，而现实生活中的数据集通常不...
2018-06-05 14:51:41
10336
1
转载 Batch Normalizatoin学习笔记
原文地址：https://blog.csdn.net/hjimce/article/details/50866313我们知道再神经网络训练之前，都需要对输入数据做一个归一化处理，那么具体为什么要归一化呢？归一化之后又什么好处呢？原因在于神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另外一方面，一旦每批训练数据的分布各不相同（batch梯度...
2018-06-05 14:19:07
520
原创 深度学习面试题总结
一、CNN为什么可以在CV/NLP/Speech等领域都可以使用？1. 卷积是因为输入数据的局部相关性；2. 权值共享是因为输入数据的局部特征具有平移不变性，即在不同位置具有共性的局部特征。这样，经过多层次堆叠，低层局部特征可以抽取成高层全局特征。3. 权值共享能够降低参数量，而且降低了网络的训练难度。note: 如果权值不共享，那就是局部连接层了。在某些应用，如人脸在不同的区域存在不同的特征（眼...
2018-06-05 13:08:57
626
原创 机器学习自测题知识点总结
1、余弦相似性：把两个物品得属性看成向量，那么这两个物品得余弦相似就是这两个向量夹角得余弦。余弦得定义如下: 例题： 甲、乙、丙三人去看了两场电影。 甲对A电影的评分是3，对B电影的评分是4。 乙对A电影的评分是5...
2018-06-05 11:17:36
299
调参手册-一个框架解决几乎所有机器学习问题.pdf
2019-09-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人