学习中

线性回归模型理解线性回归模型找到一条连续的线（线性方程），能够最大程度的拟合所有的点如果点是二维，那么就只有y,x1y,x_1y,x1​如果是三维，那么有y,x1,x2y,x_1,x_2y,x1​,x2​以此类推也可以让x1=w2=wMx_1=w_2=w_Mx1​=w2​=wM​。即，并不严格限制方程中的xxx与数据点的维度数量对应。其中Basis function可以是多项式，...

前馈神经网络：单向传播单层感知机是最简单的前馈神经网络，没有隐藏层，只能学习线性函数多层感知机，至少一个隐藏层，可以学习非线性函数反向传播 back propagation从错误中学习：输出会和我们已知的、期望的输出进行比较，误差会「传播」回上一层。该误差会被标注，权重也会被相应的「调整」...

文章非原创，内容均引用自别处，已在下文中注明出处梯度下降 Gradient descent什么是梯度梯度是偏导数的集合梯度下降算法θ=θ0−η⋅∇f(θ0)\theta=\theta_0-\eta⋅\nabla f(\theta_0)θ=θ0​−η⋅∇f(θ0​)其中，θ0θ_0θ0​是自变量参数，即下山位置坐标，ηηη是学习因子，即下山每次前进的一小步（步进长度），θθθ是更新后的...

参考文章：一看就懂的感知机算法PLA（基础概念）感知机 PLA（Perceptron Learning Algorithm）（加深理解）McCulloch and Pitts 神经元基本原理如下图：由McCulloch和Pitts于1943年发表，简单模拟了神经元的反应流程，包括：多个带有权重的输入wi×xiw_i×x_iwi​×xi​，相当于「突触」xix_ixi​是输入值，...

References从K近邻算法、距离度量谈到KD树、SIFT+BBF算法最邻近算法 / K邻近算法 / KNN。找到离「当前点」最近的「K个数据点」，然后根据「少数服从多数」原则，对「当前点」进行分类。如果K取值太小，可能导致过度拟合。即，如果邻近样本是「噪声」，则会对训练结果造成影响——训练结果在训练集中表现变好，但在测试集中表现变差——近似误差减少，估计误差增大如果K值...

输入（Input）：输入算法中的数据输出（Output）：算法根据输入数据产生的输出数据输入向量（Input vectors）：一串实数，如（0.2，-3.5，1.21，-0.75）向量的大小（The size of vector）：向量中个元素的数量，也称为输入的维度（dimensionality of the input）。当在坐标系中画点（plot the vector as a p...

监督学习（Supervised learning）：提供带有正确结果的训练集，基于训练集，算法将归纳（generalization）出“如何正确的响应所有可能的输入”。也称之为”示例学习（learning from examples）”回归（Regression）：找到某种函数，使函数曲线的路径尽可能的靠近所有的数据点。分类（Classification）：根据训练中不同类（class）的...