- 博客(23)
- 资源 (16)
- 问答 (4)
- 收藏
- 关注
原创 Linear Regression 与 Logistic Regression的几点不同
Linear Regression 与 Logistic Regression的几点不同
2017-12-22 16:10:25 5504 1
原创 为什么梯度下降是有效的?
在机器学习的很多模型中都用到了梯度下降法或者基于梯度下降的改进算法,那么究竟梯度下降法是如何保证算法的正确性或者说它是有效的呢?接下来,本文将简单分析这个问题。1. 直观认识 以线性回归为例,这里定义了代价函数如下: 我们训练模型的目的就是求得一组解θ0, θ1使得代价函数J最小,其中θ0, θ1与代价函数J的函数图像大致如下图所示: 为了找到...
2017-12-20 12:08:07 3517
原创 结构化机器学习项目小结
花了一天时间把吴大佬的专题三《结构化机器学习项目》这块内容看完了,大概是没有什么项目经验,所以理解的不是特别透彻,现简单总结一下,等以后有经验了再来学习应该会恍然大悟、受益颇多吧!1. 正交化:通过设置独立的参数来进行训练比较,可以有效地找到最佳的模型。2 单一数字评估指标:通常一个模型,我们需要从不同维度来衡量其性能。比如在数据挖掘中的预测模型中,召回率(recall)和准确率...
2017-12-19 18:07:08 531
原创 神经网络为什么要归一化?
关于神经网络归一化问题,在神经网络为什么要归一化和深度学习(二十九)Batch Normalization 学习笔记这两篇文章已经介绍的非常清楚了。 在这里,我简单说下自己的直观理解:由于数据的分布不同,必然会导致每一维的梯度下降不同,使用同一个learning rate 也就很难迭代到代价函数最低点。经过归一化(正则化)处理后,代价函数变得“更圆”,也就很容易进...
2017-12-15 17:23:13 10765
原创 Tensorflow基本语法和实现神经网络
1. 基本语法 一般我们在用tensorflow编程时,会分为以下几个步骤:创建Tensors(变量)编写Tensors间的操作符初始化Tensors创建一个Session运行Session 示例如下:y_hat = tf.constant(36, name='y_hat') # 定义一个常量y_hat,赋值为36y = tf.constant(3...
2017-12-15 17:10:50 8274 3
原创 神经网络优化算法之不一样的梯度下降
在上一篇文章中,我们介绍了正则化的作用以及方法,有效的应对“过拟合”问题。今天我们又将提出另一优化算法——Mini-batch。1. 什么是Mini-batch 前面我们提到,为了加快训练速度我们常采用向量化的手段来一次性训练所有的训练集,但是当训练集非常大时,这一过程是缓慢的。因此提出了Mini-batch的概念——将整个训练集划分成若干个小的训练集来依次训练。我们常用...
2017-12-13 18:01:57 942
原创 深层神经网络的正则化问题
1. 什么是正则化 我们知道,在使用神经网络进行分类时,有时会出现“训练集的分类效果很好而测试集的分类效果却不理想”这种现象。这种现象称之为“过拟合”,“正则化”的提出就是为了解决这个问题。那么究竟什么才是“正则化”呢?首先让我们来看下面两个公式: (1)式是我们之前定义的代价函数,(2)式相对于(1)式而言增加了右边一项,增加的那项称之为“L2正则项”。那么“L2正则项...
2017-12-12 17:53:56 680
原创 深层神经网络的权值初始化问题
在上篇文章深层神经网络的搭建中,我们提到关于超参数权值的初始化至关重要。今天我们就来谈谈其重要性以及如何选择恰当的数值来初始化这一参数。1. 权值初始化的意义 一个好的权值初始值,有以下优点:加快梯度下降的收敛速度增加梯度下降到最小训练误差的几率2. 编写代码 为了理解上面提及的意义,下面通过比较来进行进一步地解释。2.1 数据准备import numpy as ...
2017-12-12 15:41:56 2889 2
原创 深层神经网络的搭建
在两层神经网络的设计与实现中,介绍了两层神经网络的工作原理。对于搭建多层神经网络,该方法依然适用。因此,本文不再推导公式,而是直接给出代码实现。1. 定义激活函数# 定义激活函数def sigmoid(Z): A = 1 / (1 + np.exp(-Z)) assert(A.shape == Z.shape) cache = Z return A...
2017-12-09 23:36:32 584
原创 两层神经网络的设计与实现
这几天看到了浅层网络(仅含有一层隐藏层单元的神经网络)的设计原理及思想,为了加深理解及记忆,下面做个总结。 为了简化原理思想,假设现有隐藏层只有四个隐藏单元的两层神经网络,如下图所示: 和单个神经元工作原理类似,包括前向传播和后向传播两个过程。其中,后向传播多了几个公式推导。因此,这里主要推导后向传播的相关公式。1. 前向传播 假设...
2017-12-08 15:12:26 12605
原创 基于神经网络的二分类问题
在之前的文章中,介绍了神经网络的概念和算法思想,甚至给出了公式推导。但依然没有掌握神经网络的精髓,于是打算进一步学习就在网上观看了吴恩达大佬的《神经网络和深度学习》这门课程,觉得收获很大。目前只学习了单个神经元的原理及应用,下面简单总结一下。1. 损失函数的定义 与之前介绍的单个神经元的工作原理不同之处在于损失函数的定义,这里把损失函数定义为: 推导思路:利用...
2017-12-06 21:46:44 24748
json转excel的demo示例
2023-08-08
geoip2.database包 GeoLite2-City.mmdb
2020-10-23
bilstm_crf_code.tar.gz
2020-07-24
采用fasttext对文本公告进行分类
2020-07-08
数据分析之统计分析操作.xlsx
2020-06-12
additionalCode.tar.gz
2019-11-12
xgboost源代码
2017-05-08
births_transformed.csv.gz
2004-04-03
将dataframe中的两列数据转换成字典dic,结果竟然成这样?
2019-09-10
asp.net写得网页第一次打开为何会跳动一下
2015-11-24
Asp.net中GridView中button的用法
2015-10-15
用命令行调用编译程序前必须要调用call prefix\vcvars32.bat吗?
2015-07-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人