MachineLearning
爱吃西瓜大人
我爱吃西瓜,你呢?
展开
-
K-近邻算法学习及简单实现
K-近邻算法学习及实现K-近邻原理 K-近邻算法采用测量不同特征值之见的距离方法进行分类。 将新数据与已知数据集(带标签)的每个样本数据进行对比(采用距离),然后算法提取出最相近的K个样本的分类标签,最相似的的k个样本对应标签出现次数最多的分类,作为新数据的分类。k-近邻算法优缺点 优点:精度高,对异常值不敏感,无数据输入假定 缺点:计算复杂度...原创 2018-08-14 14:21:27 · 219 阅读 · 0 评论 -
数据特征归一化(Feature Scaling)学习及实现
为什么需要特征归一化 不同特征指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。常用的两种归一化方法最值归一法(normaization): 最值归一法将数据映射到0-1之间。 适用于分布有...原创 2018-08-14 17:37:55 · 1335 阅读 · 0 评论 -
逻辑回归学习及实现
逻辑回归原理 将样本的特征与样本的概率联系起来,通过概率来判定所属分类;先构建多元线性方程y,然后将y带入阶跃函数(step function)sigmoid,转化成求分类概率的问题(一般概率大于0.5分类为1,小于0.5分类为0),而Logistic回归的目的是寻找一个非线性函数Sigmoid的最佳拟合参数,求解过程可以由最优化 算法来完成。在最优化算法中,最常用的就是梯度上升(下降)算...原创 2018-08-18 14:37:37 · 374 阅读 · 0 评论 -
线性回归学习及实现
线性回归学习及实现线性回归的原理 用一条直线来拟合数据样本,求得该直线的回归系数,这个过程就叫做回归,然后将回归系数带入直线回归方程,最后将待预测数据带入回归方程得到预测结果。线性回归的优缺点 优点:结果易于理解,计算上不复杂。 缺点:对非线性的数据拟合不好。 适用数据类型:数值型和标称型数据。线性回归算法分析 1.假设样本数据拟...原创 2018-08-16 16:53:17 · 345 阅读 · 0 评论 -
梯度下降法学习及实现
什么是梯度下降法 梯度下降法不是一种机器学习算法,而是一种基于搜索的最优化方法。 梯度下降法的作用在于最小化损失函数(目标函数) 与梯度下降法相对的是梯度上升法,梯度上升法在于最大化一个效用函数(目标函数) ⋆⋆\star使用梯度下降法之前,最好对数据进行归一化(正规化)处理。图解 ηη\eta成为学习率(learning rate) ηη\e...原创 2018-08-17 19:06:50 · 332 阅读 · 0 评论 -
样本特征间存在线性关系--思考
假设样本特征之间存在线性关系说明存在冗余特征在求解多元回归正规方程街的时候可能产生奇异矩阵假设样本x:x = [[1,2],[2,4]]XT∙XX^T \bullet XXT∙X = [[5,10],[10,20]]这个式子的行列式 = 0,所以就形成了奇异矩阵,奇异矩阵是没有逆的。...原创 2018-09-20 13:27:56 · 855 阅读 · 0 评论