![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 83
EndlessLearn
这个作者很懒,什么都没留下…
展开
-
【机器学习】PLA (感知机算法 Perceptron Learning Algorithm)
1. PLA 基础理论PLA是一个线性二分类算法。1.1 Perceptron Hypothesis我们也可以把偏置项作为一个恒为1的维度并入x向量,于是得到:h(x)=sign(wTx)h(x) = sign(w^Tx)h(x)=sign(wTx)注意:这里的负样本是-1而不是0 2. PLA的算法实现过程算法步骤:选择w0=0w_0 = 0w0=0 (选择初始值,一般选0)选择一个分类错误的样本n,更新w, w1=w0+ynxnw_1 = w_0原创 2021-06-09 10:46:54 · 2038 阅读 · 0 评论 -
【机器学习】lightGBM
1. LightGBM 基础理论1.2 LightGBM优缺点优点:简单易用。高效可扩展。LightGBM直接支持缺失值与类别特征,无需对数据额外进行特殊处理.缺点:相对于深度学习模型无法对时空位置建模,不能很好地捕获图像、语音、文本等高维数据。在拥有海量训练数据,并能找到合适的深度学习模型时,深度学习的精度可以遥遥领先LightGBM。...原创 2021-04-08 18:16:17 · 641 阅读 · 0 评论 -
【机器学习】模型保存 pickle,joblib
训练好的模型可以使用pickle或者joblib进行保存。先建立一个模型from sklearn import svmfrom sklearn import datasetsclf = svm.SVC()X,y = datasets.load_iris()clf.fit(X,y)pickleimport pickle# 需要预先建立文件夹D:\study\001with open(r'D:\study\001\clf.pickle','wb') as f: pickle.dump转载 2021-03-17 15:51:21 · 248 阅读 · 0 评论 -
【机器学习】XGBoost
1. XGBoost 基础理论XGBoost (eXtreme Gradient Boosting) 本质是GBDT,但进行了算法和工程上的许多改进。XGB可做分类,亦可做回归。XGB的弱评估器是CART tree1.1 建模方法建立第一棵树。建立第二棵树,学习一个新的函数,拟合第一棵树预测的残差。… 以此类推,不断建树,不断迭代。最终预测结果为所有树对应分数的加和。1.2 XGB 与 GBDT的不同1)目标函数不同。1.3 XGBoost 优缺点优点:简单易用。相对其原创 2021-02-19 17:01:14 · 347 阅读 · 0 评论 -
【机器学习】逻辑回归
1 逻辑回归基础理论逻辑回归(Logistic regression)又叫对数几率回归,是一个分类模型。主要进行二分类。在线性回归的基础上进行一个sigmoid变换,于是得到逻辑回归模型。逻辑回归输出值在(0,1) 之间,直观含义是y=1的概率。1.1 公式y=11+e−(θTX+b)y = \frac{1}{1+e^{-(\theta^TX+b)}} y=1+e−(θTX+b)1也可以写成:lny1−y=θTX+b ln\frac{y}{1-y} = \theta^TX +bln1−yy=θ原创 2021-02-12 16:19:27 · 1489 阅读 · 0 评论