![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MachineLearning
爱吃西瓜大人
我爱吃西瓜,你呢?
展开
-
K-近邻算法学习及简单实现
K-近邻算法学习及实现 K-近邻原理 K-近邻算法采用测量不同特征值之见的距离方法进行分类。 将新数据与已知数据集(带标签)的每个样本数据进行对比(采用距离),然后算法提取出最相近的K个样本的分类标签,最相似的的k个样本对应标签出现次数最多的分类,作为新数据的分类。 k-近邻算法优缺点 优点:精度高,对异常值不敏感,无数据输入假定 缺点:计算复杂度...原创 2018-08-14 14:21:27 · 211 阅读 · 0 评论 -
数据特征归一化(Feature Scaling)学习及实现
为什么需要特征归一化 不同特征指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。 常用的两种归一化方法 最值归一法(normaization): 最值归一法将数据映射到0-1之间。 适用于分布有...原创 2018-08-14 17:37:55 · 1329 阅读 · 0 评论 -
逻辑回归学习及实现
逻辑回归原理 将样本的特征与样本的概率联系起来,通过概率来判定所属分类;先构建多元线性方程y,然后将y带入阶跃函数(step function)sigmoid,转化成求分类概率的问题(一般概率大于0.5分类为1,小于0.5分类为0),而Logistic回归的目的是寻找一个非线性函数Sigmoid的最佳拟合参数,求解过程可以由最优化 算法来完成。在最优化算法中,最常用的就是梯度上升(下降)算...原创 2018-08-18 14:37:37 · 368 阅读 · 0 评论 -
线性回归学习及实现
线性回归学习及实现 线性回归的原理 用一条直线来拟合数据样本,求得该直线的回归系数,这个过程就叫做回归,然后将回归系数带入直线回归方程,最后将待预测数据带入回归方程得到预测结果。 线性回归的优缺点 优点:结果易于理解,计算上不复杂。 缺点:对非线性的数据拟合不好。 适用数据类型:数值型和标称型数据。 线性回归算法分析 1.假设样本数据拟...原创 2018-08-16 16:53:17 · 339 阅读 · 0 评论 -
梯度下降法学习及实现
什么是梯度下降法 梯度下降法不是一种机器学习算法,而是一种基于搜索的最优化方法。 梯度下降法的作用在于最小化损失函数(目标函数) 与梯度下降法相对的是梯度上升法,梯度上升法在于最大化一个效用函数(目标函数) ⋆⋆\star使用梯度下降法之前,最好对数据进行归一化(正规化)处理。 图解 ηη\eta成为学习率(learning rate) ηη\e...原创 2018-08-17 19:06:50 · 327 阅读 · 0 评论 -
样本特征间存在线性关系--思考
假设样本特征之间存在线性关系 说明存在冗余特征 在求解多元回归正规方程街的时候可能产生奇异矩阵 假设样本x: x = [[1,2],[2,4]] XT∙XX^T \bullet XXT∙X = [[5,10],[10,20]] 这个式子的行列式 = 0,所以就形成了奇异矩阵,奇异矩阵是没有逆的。 ...原创 2018-09-20 13:27:56 · 851 阅读 · 0 评论