2018年05月_四月晴

原创 [深度学习] 损失函数

深度学习中损失函数是整个网络模型的“指挥棒”，通过对预测样本和真实样本标记产生的误差反向传播指导网络参数学习。分类任务的损失函数假设某分类任务共有N个训练样本，针对网络最后分层第 i 个样本的输入特征为 XiXiX_i ，其对应的标记为YiYiY_i是最终的分类结果（C个分类结果中的一个），h=（h1,h2,...,hch1,h2,...,hch_1, h_2,...,h_c）为网络的最...

2018-05-29 10:19:04 13783

原创 [深度学习] 激活函数

激活函数激活函数又称“非线性映射函数”，是深度卷积神经网络中不可或缺的模块。可以说，深度网络模型强大的表示能力大部分便是由激活函数的非线性单元带来的。这部分共介绍7个激活函数：Sigmoid函数，tanh函数，Relu函数，Leaky Relu函数，参数化Relu，随机化Relu和指数化线性单元（ELU）。Sigmoid型函数sigmoid函数也称Logistic函数：σ(x)...

2018-05-28 11:53:25 2637

原创 [机器学习] 贝叶斯分类器2

贝叶斯的先导知识，请戳贝叶斯分类器2贝叶斯决策论贝叶斯决策论是根据我们已知的一些概率信息和误判的损失来选择最优的类别。什么是已知的概率信息？举一个贝叶斯先导知识里的例子：设有外形完全相同的两个箱子，甲箱中有99个白球和一个黑球，乙箱有99黑球和一个白球。今随机抽取一箱，并从中随机抽取一球，结果取得白球，问这球是从哪个箱子中取出的？那么甲箱中抽取白球的概率99%，乙箱中...

2018-05-27 17:02:58 444

原创 [机器学习] 贝叶斯分类器1

基于概率论的分类方法：朴素贝叶斯条件概率所谓条件概率，它是指某事件B发生的条件下，求另一事件A的概率，记为P(A|B)P(A|B)P(A|B)，它与P(A)P(A)P(A)是不同的两类概率。举例：考察有两个小孩的家庭，其样本空间为Ω=[bb,bg,gb,gg]Ω=[bb,bg,gb,gg]\Omega = {[bb, bg, gb, gg]}, 其中b 代表男孩，g代表女孩，b...

2018-05-23 11:20:01 610

原创 [机器学习] 决策树2

决策树接着上篇文章决策树1基尼指数CART（classification and regression tree）决策树使用“基尼指数”来选择划分属性，数据集的纯度此时用基尼值来度量：Gini(D)=∑γk=1∑k′!=kpkp′kGini(D)=∑k=1γ∑k′!=kpkpk′Gini(D) = \sum_{k=1}^{\gamma}{\sum_{k' != k }}{p_kp_...

2018-05-21 14:02:27 307

原创 [深度学习] 网络参数初始化

网络参数初始化神经网络模型一般依靠随机梯度下降进行模型训练和参数更新，网络的最终性能与收敛得到的最优解直接相关，而收敛结果实际上又很大程度取决于网络参数的最开始的初始化。理想的网络参数初始化使模型训练事半功倍，相反，糟糕的初始化方案不仅会影响网络收敛，甚至会导致梯度弥散或爆炸。网络初始化的方案全零初始化当网络达到稳定状态时，参数（权值）在理想情况下应该保持正负各半（此时期望为0）...

2018-05-20 19:46:48 5265

输入归一化在图像处理中，图像的每一个像素信息同样可以看作一种特征。在实践中，对每个特征减去平均值来中心化数据是非常重要的。这种归一化处理的方式被称为“中心式归一化。卷积神经网络中的数据预处理通常是计算训练集图像像素均值，之后再处理训练集，验证集和测试图像使需要分别减去该均值。我们默认自然图像是一类平稳的数据分布（即数据的每一个维度的统计都服从相同分布），此时，在每个样本上减去数据的统计平均值可...

2018-05-20 19:18:37 1553

原创 [机器学习] 决策树1

决策树（decision tree）决策树就是用树状结构来进行分类的一种机器学习算法，是有监督学习的一种。决策树的构造优点：计算法复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。缺点：可能产生过度匹配问题适用数据类型：数值型（数值型目标变量则可以从无限的数值集合中取值，如0.100，42.001等 (数值型目标变量主要用于回归分析)）标称型（...

2018-05-19 19:15:16 336

原创 [机器学习] K近邻算法

K近邻算法 (KNN)KNN 的原理存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据之后（测试集），将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相近（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相近的数据，这就是k-近邻算法中k的出处...

2018-05-17 10:31:12 363 1

原创 [深度学习] 模型集成方法

模型集成方法集成学习（ensemble learning）是机器学习中一类学习算法，值训练多个学习器并将它们组合起来使用的方法。这类算法通常在实践中会取得比单个学习器更好的预测结果。数据层面的集成方法在训练阶段的数据扩充在测试阶段仍然使用。诸如图像多尺度，随机扣取等。以随机扣取为例，对某张测试图片可得到n 张随机扣取图像，测试阶段只需要用训练好的深度网络模型对n张图分别做预测...

2018-05-16 11:47:57 8569 4

原创 [深度学习] 不平衡样本的处理

不平衡样本的处理机器学习中经典假设中往往假定训练样本各类别是同等数量即各类样本数目是均衡的，但是真实场景中遇到的实际问题却常常不符合这个假设。一般来说，不平衡样本会导致训练模型侧重样本数目较多的类别，而“轻视”样本数目较少类别，这样模型在测试数据上的泛化能力就会受到影响。一个例子，训练集中有99个正例样本，1个负例样本。在不考虑样本不平衡的很多情况下，学习算法会使分类器放弃负例预测，因为把所有...

2018-05-15 10:55:59 28069 4

原创 [深度学习] 超参数设定和网络训练

超参数设定和网络训练介绍一些重要的网络设计过程中的超参数设定技巧和训练技巧，如学习率，批规范化操作和网络优化化策略的选择。网络超参数的设定网络超参数设定在搭建整个网络架构之前，需首先指定与网络结构相关的各项超参数：输入图像像素，卷积层个数，卷积核相关参数。输入数据像素大小使用卷积神经网络处理图像问题时，对不同输入图像为得到同规格输出，同时便于GPU运行，会将图像压缩到22222...

2018-05-12 17:59:43 20184

原创 [深度学习] 网络正则化

机器学习的核心问题是如何使学习算法不仅在训练样本上表现良好，而且在新数据上或测试集上同时奏效，学习算法在新数据上的这样一种表现我们称之为模型的泛化能力。如果一个学习算法在训练集表现优异，同时在测试集依然工作良好，可以说该学习算法有较强的泛化能力。若某算法在训练集表现优异，但是测试集却非常糟糕，我们说这样的学习并没有泛化能力，这种现象也叫做过拟合（overfitting）。如何避免过拟合？我们可...

2018-05-11 11:16:25 3476

原创 [机器学习] 逻辑回归2——多分类问题和过拟合问题

补充点上一篇博客没有提到的知识点多分类学习现实生活中常遇到很多多分类学习任务，有些二分类学习方法可以直接推广到多分类，但在现实更多情形下，我们是基于一些策略，利用二分类学习器来解决多分类问题。利用二分类学习器进行的多分类学习可以分为三种策略：一对一（One vs One）一对其余（One vs Rest）多对多（Many vs Many）一对一（One vs...

2018-05-31 13:07:14 9517

转载 [机器学习] 逻辑回归

原文请戳简介逻辑回归是面试当中非常喜欢问到的一个机器学习算法，因为表面上看逻辑回归形式上很简单，很好掌握，但是一问起来就容易懵逼。所以在面试的时候给大家的第一个建议不要说自己精通逻辑回归，非常容易被问倒，从而减分。下面总结了一些平常我在作为面试官面试别人和被别人面试的时候，经常遇到的一些问题。正式介绍如何凸显你是一个对逻辑回归已经非常了解的人呢。那就是用一句话概括它！逻辑回...

2018-05-30 13:22:26 461 1

转载《机器学习实战》第五章梯度上升算法的直观理解

原文请点击简单描述问题给定一个样本集，每个样本点有两个维度值（X1，X2）和一个类别值，类别只有两类，我们以0和1代表。数据如下所示：样本 X1 X2 类别 1 -1.4 4.7 1 2 -2.5 6.9 0 … … … …机器学习的任务是找一个函数，给定一个数据两个维度的值，该函数能够预测其...

2018-05-30 10:04:29 520

转载 [机器学习] 矩阵求导最小二乘问题

原文请点击关于最小二乘问题的求解，之前已有梯度下降法，还有比较快速的牛顿迭代。今天来介绍一种方法，是基于矩阵求导来计算的，它的计算方式更加简洁高效，不需要大量迭代，只需解一个正规方程组。在开始之前，首先来认识一个概念和一些用到的定理。矩阵的迹定义如下：一个 n*n 的矩阵的迹是指的主对角线上各元素的总和，记作tr(A)tr(A)tr(A)。即 tr(A)=∑i=1naiitr(A)=...

2018-05-28 14:01:33 1611 1

原创 [python] extend 和 append 区别

a = [1, 2, 3]b = [4, 5, 6]a.append(b)print(a)result : [1, 2, 3, [4, 5, 6]]a = [1, 2, 3]b = [4, 5, 6]a.extend(b)print(a)result : [1, 2, 3, 4, 5, 6]

2018-05-20 14:06:03 287

原创 [python] 对字典的value 进行排序

sortedClassCount = sorted(classCount.items(), key=lambda d:d[1], reverse=True)对classCount这一字典里的值进行排序

2018-05-17 10:34:13 967

原创期望，方差，协方差，标准差

期望，方差，协方差，标准差期望概率论中描述一个随机事件中的随机变量的平均值的大小可以用数学期望这个概念，数学期望的定义是实验中可能的结果的概率乘以其结果的总和。定义设P(x) 是一个离散概率分布，自变量的取值范围为{x1,x2,...,xnx1,x2,...,xnx_1, x_2,..., x_n}。其期望被定义为： E(x)=∑k=1nxkP(xk)E(x)=∑...

2018-05-14 15:03:12 59790 3

四月晴