- 博客(19)
- 收藏
- 关注
RSS订阅原创 线性模型
线性回归个人笔记之前学习的时候自己记录的笔记，字有些丑啊，不要吐槽。。会伤心的，呜呜(T＿T)。。不要要求太多，能看懂就行。。。O(∩＿∩)O哈哈~代码实现待补。。。附录：常用矩阵求导公式个人总结的求导规律：(分母布局)简单来说，对于函数中所有的x分别计算。对于出现的x，结果就是x前面的部分整体转置乘以x后面部分整体转置；对于出现的x^T，结果就是x...
2018-12-17 00:00:00
165
原创 类别不平衡解决策略
类别不平衡是指分类任务中不同类别的训练样本数目差别很大的情况。需注意的是：类别不平衡学习中通常是较小类的代价更高，否则无需特殊处理。一般情况下，正例样本较少，反例样本较多。基本策略—-再缩放：以线性分类器为例，使用y=w^{T}x+b对新样本x进行分类时，事实上是用预测值与阈值比较，通常y>0.5判为正例，否则反例。y实际上表达的是正例的可能性，几率y/(1-y)则...
2018-12-08 00:00:00
506
原创 R语言基础
R语言学习工作目录设置setwd(): 设置当前工作目录，数据和程序都将保存到该目录下getwd(): 显示当前目录安装包调用：install.package(“包名”) 等价于 library(包名)ls(): 显示内存中的对象ctrl + L: 清屏rm(): 删除内存中的对象，包括变量、数据框、函数等options(digits=)： #显示小数位数，...
2018-12-04 00:00:00
307
原创 数据挖掘-笔记
数据挖掘简介大数据呈现的特点通常有4个”V”:体量(volume)、速度(velocity)、多样性(variety)、真实性(veracity)。体量是指数据量；速度是指流速，即生成和改变数据的速度；多样性是指数据生成时的不同类型(货币、日期、数字、文本、图片等等)；真实性是指有机分布式流程(比如数百万人注册服务或免费下载)生成数据的事实。用于预测和分析的方...
2018-12-04 00:00:00
225
原创 线性和非线性的理解
线性？ 非线性？线性和非线性的区别是：是否可以用直线将样本划分开(这个观点是对的)logistics模型是线性还是非线性的？logistics模型是广义线性模型。 如何理解？举例理解如下： ...
2018-12-03 00:00:00
487
原创 欠/过拟合
欠/过拟合定义或产生的原因一般在机器学习中，将学习器在训练集上的误差称为训练误差或者经验误差，在新样本上的误差称为泛化误差。显然我们希望得到泛化误差小的学习器，但是我们事先并不知道新样本，因此实际上往往努力使经验误差最小化。然而，当学习器将训练样本学的太好的时候，往往可能把训练样本自身的特点当做了潜在样本具有的一般性质。这样就会导致泛化性能下降，称之为过拟合，相反，欠拟合一般指对训练...
2018-12-03 00:00:00
121
原创 梯度消失与梯度爆炸
产生的原因神经网络中梯度不稳定的根本原因深度神经网络训练的时候，采用的是反向传播方式，该方式使用链式求导，计算每层梯度的时候会涉及一些连乘操作，前层上的梯度的计算来自于后层上梯度的乘积，因此如果网络过深，就容易出现不稳定。如果连乘的因子大部分小于1，最后乘积的结果可能趋于0，也就是梯度消失，后面的网络层的参数不发生变化.如果连乘的因子大部分大于1，最后乘积可能趋于无穷，这...
2018-12-03 00:00:00
107
原创 特征选择与数据降维(特征提取)
降维降维的方法： 结合专业知识剔除或合并类别 通过数据概要来发现变量间的信息重叠(并剔除或合并类别) 对数据进行转换，例如将分类型变量转换为数值型变量 使用如主成分分析(PCA)这样的自动降维技术来创建一系列新的变量(原变量的加权平均)。这些变量互不相关，并且其中很小的一个子集就包含了原始数据中很大一部分信息(因此我们可以只使用新变量集的一个子集来实现降维)。...
2018-12-03 00:00:00
1716
原创 机器学习常用评价指标
常见评价指标分类和回归对应的指标 学习分类 性能指标 分类 Accuracy、precision、Recall、F1 Score、ROC Curve、PR Curve、AUC等 回归 MAE、MSE等 分类混淆矩阵详...
2018-12-03 00:00:00
227
原创 卷积神经网络(CNN)介绍10-常见的分类网络
常见网络的结构和区别CNN的演变历程见博客1以及博客2后续会将各种网络对比试验，以及针对之前几篇博客介绍的各种策略的作用和影响，通过实验更直观的看看效果。如果做好了会在博客中更新，实验代码也会上传。。。等我懒两天再做。。哈哈。 ...
2018-12-02 00:00:00
1092
原创 卷积神经网络(CNN)介绍06-损失函数
常见的损失函数和代价函数分类和回归常用的损失函数如下：公式见网页或者博客损失函数修改策略 针对利用Loss修正存在类别不平衡问题的情况，详见本人博客《类别不平衡策略》文章的介绍。 针对利用修改Loss来训练差异性较小的样本，如人脸等。为了同一类的特征更近，不同的类的特征更远，在人脸识别领域已提出多种loss。 文章人脸的各种loss中简...
2018-12-02 00:00:00
8376
原创 卷积神经网络(CNN)介绍09-BN层
BN层BN —- Batch Normalization详情见论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》文章暂未更完。。。。。。为什么深度网络会需要batchnorm？我们都知道，深度学习的话尤其是在CV上都需要对数据做归...
2018-12-02 00:00:00
1076
原创 卷积神经网络(CNN)介绍08-Dropout层
Dropout详情见论文Improving neural networks by preventing co-adaptation of feature DetectorsDropout原理如上图左，为没有Dropout的普通2层全连接结构，记为 r=a(Wv)，其中a为激活函数。如上图右，为在第2层全连接后添加Dropout层的示意图。即在模型训练时随机让网络的某些...
2018-12-02 00:00:00
4243
原创 卷积神经网络(CNN)介绍05-优化器
常见优化器介绍Batch Gradient Descent（BGD）★ 梯度更新规则:BGD 采用整个训练集的数据来计算 cost function 对参数的梯度。★ 缺点：由于这种方法是在一次更新中，就对整个数据集计算梯度，所以计算起来非常慢，遇到很大量的数据集也会非常棘手，而且不能投入新数据实时更新模型。Batch gradient descent 对于凸函数...
2018-12-02 00:00:00
4639
原创 卷积神经网络(CNN)介绍07-正则化
L1正则化L1范数是指向量中各个元素绝对值之和，也有个美称叫“稀疏规则算子”（Lasso regularization）(任何的规则化算子，如果他在Wi=0的地方不可微，并且可以分解为一个“求和”的形式，那么这个规则化算子就可以实现稀疏。)既然L0可以实现稀疏，为什么不用L0，而要用L1呢？个人理解一是因为L0范数很难优化求解（NP难问题），二是L1范数是L0范数的最优凸...
2018-12-02 00:00:00
3785
1
原创 卷积神经网络(CNN)介绍01
卷积神经网络(CNN)CNN —- Convolutional Neural Networks1.介绍卷积神经网络是一种多层神经网络，擅长处理图像特别是大图像的相关机器学习问题。卷积网络通过一系列方法，成功将数据量庞大的图像识别问题不断降维，最终使其能够被训练。CNN最早由Yann LeCun提出并应用在手写字体识别上（MINST）。LeCun提出的网络称为LeNet，其...
2018-12-01 00:00:00
247
原创 卷积神经网络(CNN)介绍02-数据预处理
数据预处理输入网络之前通常会对图片进行一些预处理操作，例如：滤波去噪(均值滤波、中值滤波、高斯滤波等)，去均值，归一化，白化等操作。标准化需要消除样本不同属性具有不同量级时的影响：1) 数量级的差异将导致量级较大的属性占据主导地位；2) 数量级的差异将导致迭代收敛速度减慢；3) 依赖于样本距离的算法对于数据的数量级非常敏感。min-max标准化（归一化）归...
2018-12-01 00:00:00
5407
原创 卷积神经网络(CNN)介绍04-激活函数
激活函数为什么要用激活函数？如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。常用的激活函数Sigmoid：用于二分类神经网络输出sigmoid函数也叫 Logistic 函数，用于隐层神...
2018-12-01 00:00:00
1114
原创 卷积神经网络(CNN)介绍03-卷积操作
卷积目录 2D卷积操作 网络层参数计算 CNN反向传播 补充3D卷积 2D卷积操作我们用一个简单的例子来讲述如何计算卷积，然后，我们抽象出卷积层的一些重要概念和计算方法。假设有一个（5，5）的图像，使用一个（3，3）的filter进行卷积，想得到一个（3，3）的feature map，如下所示：Stride=1， padding=1的卷积如下图所...
2018-12-01 00:00:00
284
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人