- 博客(6)
- 资源 (18)
- 收藏
- 关注
RSS订阅原创 牛顿法和拟牛顿法
牛顿法（Newton method）和拟牛顿法（quasi Newton method）是求解无约束最优化问题的常用方法，有收敛速度快的优点。牛顿法是迭代算法，每一步都需求解目标函数的海塞矩阵（Hessian Matrix），计算比较复杂。拟牛顿法通过正定矩阵近似海塞矩阵的逆矩阵或海塞矩阵，简化了这一计算过程。1、牛顿法1.1、原理 牛顿法的原理是使用函数f(x)f(...
2018-03-29 22:15:56
1988
原创 《统计学习方法》系列（3）
本篇对应全书第三章，讲的是kkk近邻法。kkk近邻法（k-nearest neighbor，k-NN）是一种基本分类与回归方法，输入为实例的特征向量，对应于特征空间中的点，输出为实例的类别，可以取多类。kkk近邻法不具有显示的学习过程，它实际上利用训练集对特征向量空间进行划分，并作为其分类的模型。kkk近邻法1968年由Cover和Hart提出。1、理论讲解 距离度量、k值的...
2018-03-24 15:17:47
233
原创 最小二乘法（Least Squares Method）
最小二乘法，是机器学习中的一个基础概念——基础却很重要，本文将对其作一个详细的讲解，以便更好地掌握和利用。1、最小二乘 最小二乘，广义上来说其实是机器学习中的平方损失函数： L(Y,f(X))=(Y−f(X))2L(Y,f(X))=(Y−f(X))2L(Y,f(X))=(Y-f(X))^2 对应于模型fff的线性和非线性之分，最小二乘也相应地分为线性最小二乘和非线性最小二...
2018-03-17 17:48:43
5575
原创 梯度下降（Gradient Descent）（三）
在之前的博客中，我们分别讲了梯度下降的基本原理和三种变体。作为当今最流行的优化（optimization）算法（尤其是在深度学习中的应用），梯度下降存在很多问题和挑战，研究人员也相应地提出了许多优化方式，本文将对此作详细的讲解，作为梯度下降系列的最后一篇。 考虑到篇幅过长，且有几篇关于此的文章已经写得非常好，笔者仅在这里给出相应的参考文献及简要介绍，读者可自行前往阅读。 [1]...
2018-03-10 17:23:53
608
原创 梯度下降（Gradient Descent）（二）
在机器学习领域，梯度下降有三种常见形式：批量梯度下降（BGD，batch gradient descent）、随机梯度下降（SGD，stochastic gradient descent）、小批量梯度下降（MBGD，mini-batch gradient descent）。它们的不同之处在于每次学习（更新模型参数）所使用的样本个数，也因此导致了学习准确性和学习时间的差异。 本文以线性...
2018-03-04 21:58:30
413
原创 《统计学习方法》系列（2）
本篇对应全书第二章，讲的是感知机。感知机（perceptron）是二类分类的线性分类模型，对应于输入空间（特征空间）中将数据进行线性划分的分离超平面，属于判别模型。感知机1957年由Rosenblatt提出，是神经网络与支持向量机的基础。1、理论讲解1.1、感知机模型 假设输入空间（特征空间）是⊆RnX⊆Rn，输出空间是={1,−1}Y={1,−1}。输入x∈x∈X表示...
2018-03-04 16:27:31
313
An overview of gradient descent optimization algorithms（译文）
2018-03-11
Gensim官方教程中译版
2018-01-31
软件工程(Shari Lawrence Pfleeger著）第4版课后完整版答案
2016-12-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人