- 博客(1019)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 【10分钟掌握深度学习3】深度学习基础8
用别人的参数、修改后的网络和自己的数据进行训练，使得参数适应自己的数据，这样一个过程，通常称之为微调（fine tuning).我们知道，CNN 在图像识别这一领域取得了巨大的进步。如果想将 CNN 应用到我们自己的数据集上，这时通常就会面临一个问题：通常我们的 dataset 都不会特别大，一般不会超过 1 万张，甚至更少，每一类图片只有几十或者十几张。这时候，直接应用这些数据训练一个网络的想法就不可行了，因为深度学习成功的一个关键性因素就是大量带标签数据组成的训练集。
2024-03-18 02:14:19
981
原创 【10分钟掌握深度学习3】深度学习基础6
无论是为了建模还是为了计算，首先基本度量单位要同一，神经网络是以样本在事件中的统计分别几率来进行训练（概率计算）和预测的，且 sigmoid 函数的取值是 0 到 1 之间的，网络最后一个节点的输出也是如此，所以经常要对样本的输出归一化处理。在 ALexNet 中，提出了 LRN 层，对局部神经元的活动创建竞争机制，使其中响应比较大对值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。个 3 维的矩阵，说白了就是把 input 的通道数当作 3 维矩阵的个数，叠加的方向也是在通道方向。
2024-03-17 00:35:43
1069
原创 【10分钟掌握深度学习3】深度学习基础5
神经元的输出就是 a = σ(z)，其中z∑wjijbz∑wjijb是输⼊的带权和。C−1n∑ylna1−yln1−aC−n1∑ylna1−yln1−a)] 其中 n 是训练数据的总数，求和是在所有的训练输⼊ x 上进⾏的， y 是对应的⽬标输出。 表达式是否解决学习缓慢的问题并不明显。实际上，甚⾄将这个定义看做是代价函数也不是显⽽易⻅的！
2024-03-17 00:35:36
855
原创 【10分钟掌握深度学习3】深度学习基础3
Pooling 层主要的作用是下采样，通过去掉 Feature Map 中不重要的样本，进一步减少参数数量。Pooling 的方法很多，最常用的是 Max Pooling。Max Pooling 实际上就是在 n*n 的样本中取最大值，作为采样后的样本值。，$ w_i $ 为层与层之间连接的权重，激活函数为 sigmoid 函数。的 Feature Map，各层独立做 Pooling，因此 Pooling 后的深度仍然为。相差还很远，现在我们对误差进行反向传播，更新权值，重新计算输出。
2024-03-16 11:32:40
785
1
原创 【10分钟掌握深度学习3】深度学习基础4
超参数:比如算法中的 learning rate （学习率）、iterations (梯度下降法循环的数量)、（隐藏层数目）、（隐藏层单元数目）、choice of activation function（激活函数的选择）都需要根据实际情况来设置，这些数字实际上控制了最后的参数和的值，所以它们被称作超参数。
2024-03-16 11:32:30
1004
原创 【10分钟掌握深度学习3】深度学习基础2
7*7*3 输入，经过两个 3*3*3 filter 的卷积(步幅为 2)，得到了 3*3*2 的输出。节点 1、2、3 是输入层的节点，所以，他们的输出值就是输入向量本身。最后输出层的两个节点编号为 8、9。比如，隐藏层的节点 4，它和输入层的三个节点 1、2、3 之间都有连接，其连接上的权重分别为是。等结点以及对应的连接权值进行加权和运算，最终结果再加上一个偏置项（图中为了简单省略了），最后在通过一个非线性函数（即激活函数），如 ReLu，sigmoid 等函数，最后得到的结果就是本层结点。
2024-03-15 00:26:04
764
2
原创 【10分钟掌握深度学习3】深度学习基础1
参数空间中学习的退化速度减慢，导致减少了模型的有效维数，网络的可用自由度对学习中梯度范数的贡献不均衡，随着相乘矩阵的数量（即网络深度）的增加，矩阵的乘积变得越来越退化；感知机单元的输出只有 0 和 1，实际情况中，更多的输出类别不止 0 和 1，而是 $ [0, 1] $ 上的概率值，这时候就需要 sigmoid 函数把任意实数映射到 $ [0, 1] $ 上。随着深度的增加，输入空间（左上角所示）会在输入空间中的每个点处被扭曲成越来越细的单丝，只有一个与细丝正交的方向影响网络的响应。
2024-03-15 00:25:52
872
原创 【10分钟掌握深度学习2】机器学习基础14
实验中，选取专门用于测试分类、聚类算法的国际通用的UCI数据库中的IRIS[13]数据集，IRIS数据集包含150个样本数据，分别取自三种不同 的莺尾属植物setosa、versicolor和virginica的花朵样本,每个数据含有4个属性，即萼片长度、萼片宽度、花瓣长度，单位为cm。在数据集上执行不同的聚类算法，可以得到不同精度的聚类结果。每一类中都存在着得到广泛应用的算法，例如：划分方法中的k-means[7]聚类算法、层次方法中的凝聚型层次聚类算法[8]、基于模型方法中的神经网络[9]聚类算法等。
2024-03-14 17:40:37
1394
原创 【10分钟掌握深度学习2】机器学习基础13
这里的某一个值到底是多少呢？目前，还没有方法来确定分类问题中的这个阈值是多少，这依赖于训练样本的数量，决策边界的复杂性以及分类器的类型。EM算法解决这个的思路是使用启发式的迭代方法，既然我们无法直接求出模型分布参数，那么我们可以先猜想隐含数据（EM算法的E步），接着基于观察数据和猜测的隐含数据一起来极大化对数似然，求解我们的模型参数（EM算法的M步)。尽管图6所示的只采用2个特征的线性分类器分错了一些训练样本，准确率似乎没有图4的高，但是，采用2个特征的线性分类器的泛化能力比采用3个特征的线性分类器要强。
2024-03-14 17:40:25
918
原创 【10分钟掌握深度学习2】机器学习基础12
支持向量机，其含义是通过支持向量运算的分类器。其中“机”的意思是机器，可以理解为分类器。什么是支持向量呢？在求解的过程中，会发现只根据部分数据就可以确定分类器，这些数据称为支持向量。见下图，在一个二维环境中，其中点R，S，G点和其它靠近中间黑线的点可以看作为支持向量，它们可以决定分类器，也就是黑线的具体参数。
2024-03-13 00:38:55
1043
原创 【10分钟掌握深度学习2】机器学习基础11
思想：计算所有特征划分数据集D，得到多个特征划分数据集D的信息增益，从这些信息增益中选择最大的，因而当前结点的划分特征便是使信息增益最大的划分所使用的特征。特征选择：从训练数据中众多的特征中选择一个特征作为当前节点的分裂标准，如何选择特征有着很多不同量化评估标准标准，从而衍生出不同的决策树算法。预剪枝：在决策树生成过程中，在每个节点划分前先估计其划分后的泛化性能， 如果不能提升，则停止划分，将当前节点标记为叶结点。8、效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。
2024-03-13 00:38:34
864
原创 【10分钟掌握深度学习2】机器学习基础10
ADASYN：根据学习难度的不同，对不同的少数类别的样本使用加权分布，对于难以学习的少数类的样本，产生更多的综合数据。（有限）的任意一个总体中抽取样本量为n的样本，当n充分大时，样本均值的抽样分布近似服从均值为、方差为的正态分布。区间估计：通过从总体中抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，以作为总体的分布参数(或参数的函数)的真值所在范围的估计。新的少数类样本产生的策略：对每个少数类样本a，在a的最近邻中随机选一个样本b，然后在a、b之间的连线上随机选一点作为新合成的少数类样本。
2024-03-12 00:08:45
902
原创 【10分钟掌握深度学习2】机器学习基础9
我们不妨举一个极端的例子：一个二类分类问题一共10个样本，其中9个样本为正例，1个样本为负例，在全部判正的情况下准确率将高达90%，而这并不是我们希望的结果，尤其是在这个负例样本得分还是最高的情况下，模型的性能本应极差，从准确率上看却适得其反。3、在样本数据大致符合正态分布的情况下，标准差具有方便估算的特性：66.7%的数据点落在平均值前后1个标准差的范围内、95%的数据点落在平均值前后2个标准差的范围内，而99%的数据点将会落在平均值前后3个标准差的范围内。偏差越大，越偏离真实数据，如下图第二行所示。
2024-03-12 00:05:54
833
1
原创 【10分钟掌握深度学习2】机器学习基础8
举例来说，对于图中的第4个样本，其“Score”值为0.6，那么样本1，2，3，4都被认为是正样本，因为它们的“Score”值都大于等于0.6，而其他样本则都认为是负样本。第三个点，(0,0)，即FPR=TPR=0，即FP（false positive）=TP（true positive）=0，可以发现该分类器预测所有的样本都为负样本（negative）。：预测出为阳性的样本中，正确的有多少。第二个点，(1,0)，即FPR=1，TPR=0，意味着这是一个最糟糕的分类器，因为它成功避开了所有的正确答案。
2024-03-11 00:00:39
922
原创 【10分钟掌握深度学习2】机器学习基础7
模型过拟合：模型在点A处，在训练集上具有较低的误差，在测试集上具有较高的误差，此时模型的方差较大。虽然模型在训练时的效果可以表现的很完美，基本上记住了数据的全部特点，但这种模型在未知数据的表现能力会大减折扣，因为简单的模型泛化能力通常都是很弱的。为了得到更为稳健可靠的模型，对模型的泛化误差进行评估，得到模型泛化误差的近似值。模型过拟合：模型在点C处，在训练集上具有较低的误差，在测试集上具有较高的误差，此时模型的方差较大。模型过拟合：在训练集上具有较低的误差，在测试集上具有较高的误差，此时模型的方差较大。
2024-03-11 00:00:18
754
原创 【信贷风控30分钟精通40】风控策略体系搭建3
贷中策略是针对在贷客群制订的一系列策略，用于降低在贷客户风险，提高在贷客户价值。贷中策略主要针对循环额度模式的信贷产品。当申请人通过了贷前审核，成为我们的客户之后，我们总是希望客户持久和更多地使用我们的信贷产品，为我们持续带来营收。为了最大限度地留住客户，延长其使用周期，我们需要注重制订贷中策略。随时间的发展，借款人的还款能力有可能发生变化，影响其正常还款，金融机构需要及时做出调整，这体现了贷中策略的重要性。
2024-03-10 17:27:56
1072
原创 【信贷风控30分钟精通39】风控策略体系搭建2
反欺诈策略是为防范恶意客户采取欺诈行为谋取利益而制订的策略，目的是通过对欺诈行为的识别，遏制欺诈风险，为金融机构止损。根据欺诈的不同维度，欺诈的分类目前，应对欺诈风险的有效措施包括反欺诈规则和反欺诈模型。
2024-03-10 17:25:57
937
原创 【10分钟掌握深度学习2】机器学习基础6
线性判别分析（Linear Discriminant Analysis，LDA）是一种经典的降维方法。和PCA不考虑样本类别输出的无监督降维技术不同，LDA是一种监督学习的降维技术，数据集的每个样本有类别输出。多维空间中，数据处理分类问题较为复杂，LDA算法将多维空间中的数据投影到一条直线上，将d维数据转化成1维数据进行处理。对于训练数据，设法将多维数据投影到一条直线上，同类数据的投影点尽可能接近，异类数据点尽可能远离。
2024-03-09 00:05:21
916
3
原创 【10分钟掌握深度学习2】机器学习基础5
由上图，假如最开始，我们在一座大山上的某处位置，因为到处都是陌生的，不知道下山的路，所以只能摸索着根据直觉，走一步算一步，在此过程中，每走到一个位置的时候，都会求解当前位置的梯度，沿着梯度的负方向，也就是当前最陡峭的位置向下走一步，然后继续求解当前位置梯度，向这一步所在位置沿着最陡峭最易下山的位置走一步。由此，从上面的解释可以看出，梯度下降不一定能够找到全局的最优解，有可能是一个局部最优解。它得到的虽然是一个全局最优解，但每迭代一步，都要用到训练集所有的数据，如果样本数据 很大，这种方法迭代速度就很慢。
2024-03-09 00:04:49
904
1
原创 【10分钟掌握深度学习2】机器学习基础4
平方误差代价函数的主要思想就是将实际数据给出的值与拟合出的线的对应值做差，求出拟合出的直线与实际的差距。假如目标是收敛到0。目标函数存在一个下界，在优化过程当中，如果优化算法能够使目标函数不断减小，根据单调有界准则，这个优化算法就能证明是收敛有效的。， 偏导数受激活函数的导数影响，sigmoid函数导数在输出接近0和1时非常小，会导致一些实例在刚开始训练时学习得非常慢。如何找到最优解呢，这就需要使用代价函数来求解，以平方误差代价函数为例，假设函数为。的梯度跟激活函数的梯度成正比，激活函数的梯度越大，权值。
2024-03-08 01:04:05
1041
原创 【10分钟掌握深度学习2】机器学习基础3
苏格拉底叫他到麦田走一次，摘一颗最大的麦穗回来，不许回头，只可摘一次。”这故事让我们明白了一个道理，因为生命的一些不确定性，所以全局最优解是很难寻找到的，或者说根本就不存在，我们应该设置一些限定条件，然后在这个范围内寻找最优解，也就是局部最优解——有所斩获总比空手而归强，哪怕这种斩获只是一次有趣的经历。这次他一身疲惫地拖了一棵看起来直挺、翠绿，却有点稀疏的杉树回来，他的理由是，有了上回的教训，好不容易看见一棵看似不错的，又发现时间、体力已经快不够用了，也不管是不是最好的，就拿回来了。为预测值的拟合函数；
2024-03-08 01:03:49
771
原创 【10分钟掌握深度学习2】机器学习基础2
神经网络就是按照一定规则将多个神经元连接起来的网络。不同的神经网络，具有不同的连接规则。有三种层：输入层，输出层，隐藏层。同一层的神经元之间没有连接。full connected的含义：第 N 层的每个神经元和第 N-1 层的所有神经元相连，第 N-1 层神经元的输出就是第 N 层神经元的输入。每个连接都有一个权值。
2024-03-07 00:01:18
901
6
原创 【10分钟掌握深度学习2】机器学习基础1
每组训练数据有一个明确的标识或结果，想象一下，我们可以训练一个网络，让其从照片库中（其中包含气球的照片）识别出气球的照片。多示例学习(multiple instance learning) ：已知包含多个数据的数据包和数据包的标签，训练智能算法，将数据包映射到标签的过程，在有的问题中也同时给出包内每个数据的标签。在此过程中，通常会通过调整和模型相关的各种事物（超参数）来重复步骤2和3，诸如里面有多少个节点，有多少层，哪些数学函数用于决定节点是否亮起，如何在反向传播阶段积极有效地训练权值等等。
2024-03-07 00:00:53
1369
原创 【10分钟掌握深度学习1】数学基础4
期望 在概率论和统计学中，数学期望（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的大小。 线性运算：EaxbycaExbEycEaxbycaExbEyc 推广形式：E∑k1naixic∑k1naiExicE∑k1naixic∑k1naiExic 函数期望：设fxf(x)fx为xxx。
2024-03-06 00:57:42
899
原创 【10分钟掌握深度学习1】数学基础3
的值为100的概率不为1,比如为50的概率是0.5,为100的概率是0.5,那么这个变量就是会随不同条件而变化的,是随机变量,取到50或者100的概率都是0.5,即50%。虽然在一次随机试验中某个事件的发生是带有偶然性的，但那些可在相同条件下大量重复的随机试验却往往呈现出明显的数量规律。的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。：已知其中一个是女孩，那么样本空间为男女，女女，女男，则另外一个仍然是女生的概率就是1/3。就是上面说的左奇异向量。
2024-03-06 00:57:18
826
原创 【10分钟掌握深度学习1】数学基础2
导数代表了在自变量变化趋于无穷小的时候，函数值的变化与自变量的变化的比值。几何意义是这个点的切线。物理意义是该时刻的（瞬时）变化率。注意：在一元函数中，只有一个自变量变动，也就是说只存在一个方向的变化率，这也就是为什么一元函数没有偏导数的原因。 在物理学中有平均速度和瞬时速度之说。平均速度有。
2024-03-05 21:45:27
834
原创 【10分钟掌握深度学习1】数学基础1
矩阵先以每一列为单位，求每一列的F范数（也可认为是向量的2范数），然后再将得到的结果求L1范数（也可认为是向量的1范数），很容易看出它是介于L1和L2之间的一种范数，上述矩阵。：矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2范数，它的有点在它是一个凸函数，可以求导求解，易于计算，上述矩阵A最终结果就是：10.0995。：矩阵的非0元素的个数，通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏，上述矩阵。：矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大），上述矩阵。
2024-03-05 21:44:36
989
原创 【信贷风控30分钟精通38】风控策略体系搭建1
风控策略体系的搭建是指搭建贯穿营销、贷前、贷中和贷后的完整策略体系架构。我们需要在各阶段设置合理的风控流程，灵活应用规则和模型的组合，才能做到有效的风险控制并取得收益最大化。
2024-03-04 18:58:21
955
原创 【信贷风控30分钟精通33】智能策略体系2
模型策略是基于已有风控模型制订最优决策的整体方法，它决定了模型价值是否能够被充分发挥，直接影响信贷业务的盈利水平。模型策略分析流程主要包含样本提取，模型策略的制订，模型策略评估，模型策略的上线与验证，以及模型策略回顾。
2024-03-03 00:25:38
795
原创 【信贷风控30分钟精通32】智能策略体系1
风控策略是指，根据不同业务场景和客群，通过一系列规则策略与模型策略的组合，对客户的风险进行判断，从而实现准入、反欺诈、授信、风险定价和催收等阶段目标，最终达到风险控制的目的。风控策略的核心目标是将风险控制在合适的范围。注意，风险并不是越低越好，我们应该在遵守监管政策和满足客户利益的前提下，实现收益的最大化。金融机构的收益与业务量有很大关系。风险控制得很好但业务规模不大，或者业务规模很大但风险太高，均对金融机构不利。因此，有效的风控策略是在保证业务稳步发展的前提下，寻求风险和收益的平衡。
2024-03-03 00:25:23
1074
原创 【信贷风控30分钟精通29】风控特征画像体系1
风控特征画像是从多个维度捡述客户风险的工具。为了描述客户风险，我们需要对客户有全面且准确的认识。风控持征画像从多个维度尽量全面地指述客户在各个维度的风险属性；维度细分有助于我们准确地刻画每个具体维度的差异，达到准确认识客户的目的。风控特征画像体系可以针对营销、贷前、贷中和贷后4个场景，选取合适的数据维度分别进行搭建。
2024-03-02 00:06:19
375
原创 【信贷风控30分钟精通31】风控特征画像体系3
在数据维度上，贷中特征画像可以使用贷前特征画像的所有数据（但特征取值可能和贷前时间点不同），如“客户安装贷款类App的个数”在贷前时间点和贷中时间点特征的变化值可以反映客户在首笔订单放款之后对资金的需求情况。除此之外，贷中特征还可以使用当前未完结订单数据（可能有已完结账单）、贷中行为埋点数据、审批结果和还款提醒数据。
2024-03-02 00:05:56
743
原创 【信贷风控30分钟精通30】风控特征画像体系2
贷前特征画像可以应用在反欺诈、信用风险评估和风险定价阶段。我们以新客户申请阶段中的信用风险评估和风险定价的应用为例进行介绍。。这些需要考虑的信息可以从，它们也是贷前特征画像主要依赖的数据维度。贷前特征画像可以使用的数据包括客户基本信息、客户行为数据、历史订单数据、客户授权数据和ID关联数据等。
2024-03-02 00:05:41
1032
原创 【信贷风控30分钟精通28】特征设计生成
通过前面的数据清洗和转换的预处理过程，我们已经获得结构化数据。在特征的设计和生成阶段，我们会完成从原始数据到特征的转化。对于那些取值规范、含义清晰、汇总粒度符合需求的字段，我们可以直接将其作为特征输出，其他的就需要进行汇总计算以产生新特征。
2024-03-01 00:03:00
886
2
原创 【信贷风控30分钟精通27】特征挖掘4
目录编辑中间数据集构建结构化数据文本数据关系网络数据中间数据集构建是将清洗完成的原始数据初步处理成结构化的数据或者适用于某些特定算法的数据格式，以方便后续特征挖掘。不同类型的原始数据需要使用不同方法来处理成中间数据集。接下来，我们将分别给出结构化数据、文本数据和关系网络数据的中间数据集构建过程。结构化数据是高度组织、格式整齐的数据，通常是可以用统一的结构（如二维表）来表达的数据。结构化数据一般使用关系型数据库且以行为单位表示。与之对应的是非结构化数据，非结构化数据是数据结构不规则或不完整，没有预定义的数据
2024-03-01 00:02:39
957
原创 【信贷风控30分钟精通26】特征挖掘2
避免时间未对齐问题是指特征挖掘时需要检查业务实际的时间窗口是否满足特征计算的时间窗口，如一个新产品的数据是从2020年1月1日开始产生的，在2020年1月末计算“近60天申请订单数”特征时，业务数据是不够的60天的，但是计算“近7天申请订单数”特征就是完整的了。选择合适的时间跨度，需要根据数据更新频率和切分后的特征维度综合决定，对于更新频率较低的数据，可以选择较长的时间窗口来切分，而对于频繁更新的数据，则选择较短的时间窗口来切分，理想的状态是平衡了数据更新频率与特征维度的切分。
2024-02-29 00:24:37
1040
原创 【信贷风控30分钟精通25】特征挖掘1
特征挖掘是从原始数据构造特征的过程。以在风控业务中产生的订单数据为例，订单存储时并未做客户维度的汇总，故将其视作原始数据。我们从订单数据中抽取一些有用的信息，比如订单的申请时间、申请金额、每笔订单的逾期天数等，然后对这些信息做客户维度的统计汇总，得到“客户近30天申请贷款金额的平均值”或者“客户历史所有订单最大逾期天数”这些特征，这个过程就是特征挖掘。特征是数据和模型之间的“纽带”。“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”，说明特征挖掘在机器学习中是至关重要的。
2024-02-29 00:24:14
1123
原创 【信贷风控30分钟精通24】风控模型体系搭建2
在贷中阶段，我们可以获得丰富的客户交易、还款和App 使用等行为数据。通过这些行为数据，我们能够全面、客观、准确地预测客户的未来表现，从而制订有针对性的贷中管理策略。下面分别介绍贷中行为模型和交易风险模型。
2024-02-28 00:42:05
1238
原创 【信贷风控30分钟精通23】风控模型体系搭建1
但是，欺诈的复杂性高，我们在很多时候无法明确地从单个维度认定欺诈，此时，我们可通过反欺诈模型，并综合多维度信息进行识别。其他欺诈相关的外部数据源等。贷中阶段会通过贷中行为模型预测客户的风险情况，制订账户管理等策略，同时，利用交易风险模型对客户贷中的提现、消费等交易行为进行风险判断。信用风险模型关注客户的信用资质，相比反欺诈模型，它应采用更长表现期下的逾期水平来定义客户的“好坏”，如将在6个月表现期下逾期超过60天的客户定义为不良客户。营销响应模型的标签是营销后客户是否响应，通常，1表示响应，0表示未响应。
2024-02-28 00:41:47
753
Spark入门.docx
2020-04-02
人手一份核武器 - Hacking Team 泄露（开源）资料导览手册 _ WooYun知识库.pdf
2020-03-27
程序设计实践中文版
2016-10-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人