- 博客(11)
- 收藏
- 关注
RSS订阅原创 K-近邻算法
K-近邻算法K Nearest Neighbor算法又叫KNN算法。如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。距离度量为了度量空间中点的距离，有许多方式，最常见的三种方式就是欧氏距离，曼哈顿距离以及切比雪夫距离。1 欧式距离(Euclidean Distance):欧氏距离是最容易直观理解的距离度量方法,通常KNN算法中使用的是欧式距离。二维平面上点 a(x1,y1)\mathrm{a}\left(\mathrm{x}_{1
2020-10-07 16:28:50
236
原创 神经网络中的BN层
BN层BN，全称Batch Normalization（批规范化）,是2015年提出的一种方法，在进行深度网络训练时，大都会采取这种算法。算法过程如下：简单来说就是对上一层输出的数据进行规范化。优势:加快网络的训练和收敛的速度，即我们可以使用较大的学习率控制梯度爆炸防止梯度消失防止过拟合1.加快训练速度在深度神经网络中中，如果每层的数据分布都不一样的话，将会导致网络非常难收敛和训练，而如果把每层的数据都在转换在均值为零，方差为1的状态下，这样每层数据的分布都是一样的训练会比较容易收敛。
2020-09-01 22:42:31
4868
1
原创 逻辑回归（Logistic Regression）
逻辑回归逻辑回归是一种有监督的统计学习方法，主要用于对样本进行分类。在线性回归模型中，输出一般是连续的，例如y=f(x)=ax+by=f(x)=a x+by=f(x)=ax+b对于每一个输入的xxx, 都有一个对应的yyy输出。模型的定义域和值域都可以是[−∞,+∞][- \infty,+\infty][−∞,+∞]。但是对于逻辑回归，输入可以是连续的[−∞,+∞][-\infty,+ \infty][−∞,+∞]，但输出一般是离散的, 即只有有限多个输出值。例如，其值域可以只有两个值{0,1}
2020-08-30 14:28:46
523
原创 python：函数传参
python函数传参Python不允许程序员选择采用传值还是传引用。Python参数传递采用的肯定是“传对象引用”的方式。实际上，这种方式相当于传值和传引用的一种综合。如果函数收到的是一个可变对象（比如字典或者列表）的引用，就能修改对象的原始值——相当于通过“传引用”来传递对象。如果函数收到的是一个不可变对象（比如数字、字符或者元组）的引用，就不能直接修改原始对象——相当于通过“传值”来传递对象。当人们复制列表或字典时，就复制了对象列表的引用，如果改变引用的值，则修改了原始的参数。python自动垃圾
2020-08-28 20:44:14
223
原创 损失函数总结
1.损失函数是什么损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。2.回归损失函数2.1平方误差损失每个训练样本的平方误差损失(也称为L2L_2L2 LossLossLoss)是实际值和预测值之差的平方：L=(y−f(x))2L=(y-f(x))^{2}L=(y−f(x))2相应的损失函
2020-08-22 15:08:39
422
原创 boosting算法整理
AdaboostAdaBoost是英文"Adaptive Boosting"（自适应增强）的缩写。它的自适应在于：前一个基本分类器被错误分类的样本的权值会增大，而正确分类的样本的权值会减小，并再次用来训练下一个基本分类器。同时，在每一轮迭代中，加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数才确定最终的强分类器。算法流程:初始化训练数据的权值分布D1D_1D1。假设有NNN个训练样本数据，则每一个训练样本最开始时，都被赋予相同的权值：w1=1/Nw_1=1/Nw1
2020-08-19 16:25:18
418
原创 集成思想（bagging、boosting、stacking）
集成算法集成算法（Emseble Learning） 是构建多个学习器，然后通过一定策略结合把它们来完成学习任务的，常常可以获得比单一学习显著优越的学习器。集成学习可以分为三大类：用于减少方差的bagging用于减少偏差的boosting用于提升预测结果的stackingbagging全称为bootstrap aggregation（引导聚合）。主要思想简单来说就是训练多个分类器取平均。可以用以下式子表示：f(x)=1/M∑m=1Mfm(x)f(x)=1 / M \sum_{m=1}^{M}
2020-08-18 21:56:21
1459
原创 决策树
决策树决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一颗熵值下降最快的树，到叶子节点处，熵值为0。其具有可读性、分类速度快的优点，是一种有监督学习。决策树的构造决策树的构造过程一般分为3个部分，分别是特征选择、决策树生产和决策树裁剪。1.特征选择：特征选择表示从众多的特征中选择一个特征作为当前节点分裂的标准，如何选择特征有不同的量化评估方法，从而衍生出不同的决策树，如ID3（通过信息增益选择特征）、C4.5（通过信息增益比选择特征）、CART（通过Gini指数选择特征）等。
2020-08-15 14:58:37
303
原创 拟合问题分析
欠拟合和过拟合机器学习和深度学习的训练过程中，经常会出现过拟合和欠拟合的现象。如图中左侧，模型过于简单，无法较好的拟合数据，即欠拟合。如图中右侧，模型过于复杂，完全拟合训练数据的特征，导致模型泛化能力差，即过拟合。欠拟合解决方式添加其他特征项，有时候我们模型出现欠拟合的时候是因为特征项不够导致的，可以添加其他特征项来很好地解决。添加多项式特征，优化模型，一般是模型过于简单无法描述样本的特性。减少其它过拟合手段。过拟合解决方式添加正则化项机器学习中几乎都可以看到损失函数后面会添加一个
2020-08-14 22:35:49
1772
原创 优化算法（梯度下降，Momentum，RMSprop，Adam）
梯度下降法梯度下降法(gradient descent)是一种常用的一阶(first-order)优化方法，是求解无约束优化问题最简单、最经典的方法之一。步骤如下：1.求解每个待优化参数对目标函数的梯度。∂∂θiJ(θ0,θ1…,θn)\frac{\partial}{\partial \theta_{i}} J\left(\theta_{0}, \theta_{1} \ldots, \theta_{n}\right)∂θi∂J(θ0,θ1…,θn)2.利用学习率与梯度更新参数。θi=θ
2020-08-14 13:09:32
351
原创 Kmeans算法
算法描述1.选取KKK个点做为初始聚集的簇心（也可选择非样本点）;2.分别计算每个样本点到 KKK个簇核心的距离（这里的距离一般取欧氏距离或余弦距离），找到离该点最近的簇核心，将它归属到对应的簇；3.所有点都归属到簇之后， MMM个点就分为了KKK个簇。之后重新计算每个簇的重心（平均距离中心），将其定为新的“簇核心”；4.反复迭代 2 - 3 步骤，直到达到某个中止条件。注：常用的中止条件有迭代次数、最小平方误差MSEMSEMSE、簇中心点变化率；优势1.简单快速，适合常规数据集劣势1.K
2020-08-13 16:40:55
457
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人