![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 81
经典算法与应用
夜景黑色调
这个作者很懒,什么都没留下…
展开
-
第6章 梯度下降法
梯度下降法:(GradientDescent),梯度法用来求一个函数的最优值,如果第一个点导数不为零的话,那么这点肯定不在极值点上!有时候一上来η的取值不是很准确,需要通过调参的方式来找到适合的η值,,import numpy as npimport matplotlib.pyplot as pltplot_x=np.linspace(-1,6,14...原创 2020-01-17 21:29:00 · 98 阅读 · 0 评论 -
第1章 机器学习基础
机器学习的基础概念关于数据:大写字母X表示矩阵,小写字母y表示向量机器学习的基本任务:分类,回归分类:二分类:手写数字识别:多分类任务数字识别,图像识别,判断发放给客户信用卡的风险评级,回归:监督学习:分类问题,回归问题机器学习方法的分类:监督学习,费监督学习,半监督学习,增强学习监督学习:给机器的训练数据...原创 2019-12-15 22:41:00 · 97 阅读 · 0 评论 -
Python中的if __name__ == ‘__main__‘
if name == 'main’的意思是:当.py文件被直接运行时,if name == 'main’之下的代码块将被运行;当.py文件以模块形式被导入时,if name == 'main’之下的代码块不被运行。from here原创 2021-07-27 16:47:23 · 3521 阅读 · 0 评论 -
第2章 数据归一化
问题:样本间的距离被发现时间所主导!数据归一化的目的,就是将数据的所有特征都映射到同一尺度上,这样可以避免由于量纲的不同使数据的某些特征形成主导作用。数据归一化的方法主要有两种:最值归一化和均值方差归一化。1.最值归一化(normalizationnormalizationnormalization):把所有数据映射到0-1之间。xscale=x−xminxmax−xminx_{scale}=\frac{x-x_{min}}{x_{max}-x_{min}}xscale=xmax−xminx原创 2021-07-19 11:33:49 · 436 阅读 · 0 评论 -
第3章 衡量线性回归的指标:MSE,RMSE,MAE
简单线性回归:目标:找到a和b,使得∑i=1m(ytrain(i)−axtrain(i)−b)2\sum_{i=1}^m(y_{train}^{(i)}-ax_{train}^{(i)}-b)^2∑i=1m(ytrain(i)−axtrain(i)−b)2尽可能小原创 2021-06-18 13:11:44 · 285 阅读 · 0 评论 -
梯度下降法
简介:梯度下降法(gradient descent)或最速下降法(steepest descent)是求解无约束最优化问题的一种最常用的方法,具有实现简单的优点。梯度下降法是迭代算法,每一步需要求解目标函数的梯度向量。假设f(x)f(x)f(x)是RnR^nRn上具有一阶连续偏导数的函数。要求解的无约束最优化问题是minx∈Rnf(x)(行标)\underset{x\in{R^n}}{min}f(x)\tag {行标}x∈Rnminf(x)(行标)xk+1x^{k+1}xk+1f(x(k))f(x^原创 2021-05-17 22:40:00 · 192 阅读 · 0 评论 -
ROC,AUC
1.混淆矩阵:2.准确率=(TP+TN)/(TP+TN+FP+FN)注::由于样本不平衡的问题,导致了得到的高准确率结果含有很大的水分。即如果样本不平衡,准确率就会失效。3.精准率(precision,查准率)=TP/(TP+FP),针对预测结果而言4.召回率(Recall,查全率)=TP/(TP+FN),针对原样本而言5.精准率和召回率的关系,F1Score=2∗Precision∗RecallPrecision+RecallF1Score=\frac{2*Precision*Recal原创 2021-06-02 14:49:54 · 226 阅读 · 0 评论 -
统计学习及监督学习概论
1.统计学习简介:统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习由监督学习(supervised learning)、无监督学习(unsupervised learning)和强化学习(reinforcement learning)等组成。1)监督学习习惯上输入变量写作XXX,输出变量写作YYY。输入与输出变量的取值用小写字母表示,输入变量的取值写作xxx,输出变量的取值写作yyy。变量可以是标量或向量,都用相原创 2021-05-24 08:31:50 · 139 阅读 · 0 评论 -
第13章 集成学习和随机森林
1.什么是集成学习?kNN,逻辑回归,SVM,决策树,神经网络,贝叶斯—>>用多数算法最终给出的结果当做最终的决策依据,投票:少数服从多数 Voting Classifier(scikit-learn提供的接口,Voting Classifier分类器)少数服从多数:hard votingimport numpy as npimport matplotlib.pyplot as pltfrom sklearn import datasetsX,y=datasets.make_moo原创 2021-04-11 21:47:55 · 205 阅读 · 0 评论 -
第4章 最基础的分类算法-k近邻算法
思想极度简单应用数学知识少效果好(缺点?)可以解释机器学习算法使用过程中的很多细节问题更完整的刻画机器学习应用的流程distances = []for x_train in X_train: d=sqrt(np.sum((x_train-x)**2)) distances.append(d)View Codedistances=[sqrt(...原创 2019-12-17 20:08:00 · 153 阅读 · 0 评论 -
第5章 线性回归算法
1.解决回归问题2.思想简单,实现容易3.许多强大的非线性模型的基础4.结果具有很好的可解释性5.蕴含机器学习中的很多重要思想所谓的建模的过程,其实就是找到一个模型最大程度的拟合我们的数据。在线性回归算法中,这个模型就是一个直线方程,所谓的最大拟合我们的数据,其实本质是找到一个函数 ,在这里我们称这个函数叫做损失函数,就是lossfunction,也就是我们的这个模型没有拟合...原创 2020-01-15 21:28:00 · 115 阅读 · 1 评论 -
第7章 PCA与梯度上升法
主成分分析法:主要作用是降维疑似右侧比较好?第三种降维方式:问题:?????方差:描述样本整体分布的疏密的指标,方差越大,样本之间越稀疏;越小,越密集第一步:总结:问题:????怎样使其最大变换后:最后的问题:????注意区别于线性回归使用梯度上升法解决PCA问题:...原创 2020-03-22 22:15:00 · 118 阅读 · 0 评论 -
第9章 逻辑回归
逻辑回归:实际解决分类问题回归怎么解决分类问题?将样本的特征和样本发生的概率联系起来,概率是一个数,由于概率是一个数,所以可以管它叫做回归问题。对于机器学习算法来说,本质就是求出一个函数小f,如果此时有一个样本x,经过f的运算之后就会得到一个预测值,通常称之为y。y的值实际上就是本身我们关心的那个指标。但是在逻辑回归中,我们得到的y的值本质是一个概率值。如果我们不进行最后一步根据p的...原创 2020-03-28 13:22:00 · 82 阅读 · 0 评论 -
第8章 多项式回归与模型泛化
问题:线性回归要求假设我们的数据背后存在线性关系;,如果将x的平方理解成一个特征,x理解成另一个特征;本来只有一个特征x,现在看成有两个特征的数据集,多了一个特征,就是x的平方,其实式子本身依然是一个线性回归的式子,但是从x的角度来看,也就是所谓的非线性方程,这样的方式就叫做多项式回归PCA降维,多项式回归提升维度,import numpy as npimport ...原创 2020-04-18 15:45:00 · 218 阅读 · 0 评论 -
第10章 评价分类结果
分类算法的评价分类准确度的问题,,精准率和召回率,,,,,,Precision和Recall的平衡,,,,,,,,,ROC,AUC用来比较两个模型的优劣import numpy as npfrom sklearn import datasetsdigits=datasets.load_digits()...原创 2020-04-22 21:42:00 · 107 阅读 · 0 评论 -
第11章 支撑向量机SVM
支持向量机(support vector machines)是一种二分类模型,它的目的是寻找一个超平面来对样本进行分割,分割的原则是间隔最大化,最终转化为一个凸二次规划问题来求解。由简至繁的模型包括:当训练样本线性可分时,通过硬间隔最大化,学习一个线性可分支持向量机;当训练样本近似线性可分时,通过软间隔最大化,学习一个线性支持向量机;当训练样本线性不可分时,通过核技巧和软间隔最大...原创 2020-04-24 20:42:00 · 191 阅读 · 0 评论 -
第12章 决策树
什么是决策树:,,,,,朝着信息熵降低的方向,即让系统变得更加确定def split(X,y,d,value): # 每个节点上的维度d,相应的阈值:value index_a=(X[:,d]<=value) index_b=(X[:,d]>value) return X[index_a],X[index_b],y[index...原创 2020-04-25 23:11:00 · 107 阅读 · 0 评论 -
统计学习方法之机器学习相关理论
AI算法工程师手册一、监督学习感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归、支持向量机、提升方法、二、无监督学习聚类方法、奇异值分解、主成分分析分类算法:knn,朴素贝叶斯、决策树、支持向量机、集成方法回归算法:...原创 2021-03-22 23:20:18 · 161 阅读 · 0 评论