![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
yzy_1117
这个作者很懒,什么都没留下…
展开
-
机器学习sklearn-神经网络
单层神经网络在描述神经网络层数的时候我们不考虑输入层二分类单层神经网络:sigmod输出层增加sigmoid符号函数sign 阶跃函数多分类单层神经网络:softmax回归softmax三种神经网络回归问题把g(z)看做恒等函数 二分类是sigmoid 多分类是softmax...原创 2021-11-15 11:01:32 · 666 阅读 · 0 评论 -
机器学习sklearn-xgboost
集成算法 多个弱评估器,汇总所有弱评估器的建模结果,以获取比单个模型更好的回归或分类表现。提升算法 Adaboost和梯度提升树XGBoost背后也是CART树,所有树都是二叉的对于梯度提升回归树来说,每个样本的预测结果可以表示为所有树上的结果的加权求和。每次迭代过程都加一棵树XGB每个叶子节点上会有一个预测分数,也被称为叶子权重,叶子权重就是所有在这个叶子节点上的样本在这一棵树上的回归取值参数n_estimators 默认100训练中是否打印每次训练的结果 silent 监控模型.原创 2021-11-13 16:19:47 · 1670 阅读 · 0 评论 -
机器学习sklearn-朴素贝叶斯
算法得出的结论永远不是100%确定的,更多的是判断除了一种样本的标签更可能是某类的可能性,而非一种确定。朴素贝叶斯是一种直接衡量标签和特征之间的概率关系的有监督学习算法联合概率 两个事件同时发生的概率条件概率 在某个前提下某个事件发生的概率...原创 2021-11-11 22:44:56 · 1549 阅读 · 0 评论 -
机器学习sklearn-线性回归
多元线性回归多重共线性 岭回归 lasso回归多元线性回归 LinearRegression 一个样本有多个特征的线性回归问题线性回归的任务就是构造一个预测函数来映射输入的特征矩阵X和标签值y的关系。这个预测函数的本质就是我们需要构建的模型,而构造预测函数的核心就是找出模型的参数向量w损失函数如下定义:把问题定义为一个最优化问题:损失函数最小化线性回归有监督 L2范式 即欧氏距离的平方误差平方和 SSE 残差平方和RSS最小二乘法求多元线性回归的参数问题...原创 2021-11-10 17:19:52 · 1530 阅读 · 0 评论 -
机器学习sklearn-支持向量机2
支持向量机软间隔让决定两条虚线超平面的支持向量可能是来自于同一个类别的样本点,而硬间隔的时候两条虚线超平面必须是由来自两个不同类别的支持向量决定的。二分类SVC中的样本不均衡问题 重要参数class_weight让算法意识到数据标签是不均衡的,通过加惩罚项或者改变样本本身,让模型向补货少数类的方向建模通过调节参数C来调节balancedclass_weight 每个类别的权重sample_weight 每个样本的权重较大的权重加在少数类的样本上,以迫使模型向着少数类的方向建模.原创 2021-11-09 18:42:19 · 176 阅读 · 0 评论 -
机器学习sklearn-支持向量机
支持向量机SVM 支持向量网络可以做有监督学习、无监督学习、半监督学习监督学习:线性二分类与多分类、非线性二分类与多分类、普通连续性变量的回归、概率型连续变量的回归支持向量机 深度学习之外机器学习的天花板存在SVM可以用来做图像分类和图像分割系统使用支持向量机来识别用于模型预测的各种特征支持向量机的分类方法,是在这组分布中找出一个超平面作为决策边界,使模型在数据上的分类误差接近于小,尤其是在位置数据集上的分类误差尽量小。超平面:是一个空间的子控件,它是维度比所在空间小一维的空间,原创 2021-11-09 09:55:17 · 1005 阅读 · 0 评论 -
机器学习sklearn-聚类
sklearn中聚类算法有两种表现形式,一种是类,需要实例化,然后训练并调动接口,另一种是函数,输入特征矩阵和超参数就可得到结果。k-means 聚类算法的典型代表将一组n个样本的特征矩阵X划分为K个无交集的簇,直观上来看簇是一组聚集的数据,在一个簇中的数据认为同一类。簇中所有数据的均值被称为这个簇的质心。簇的个数K是一个超参数,需要认为输入来确定,kmeans的核心人物就是根据我们设定好的K找出K个最优质心,并将离这些质心最近的数据分别分配到这些质心代表的簇中。簇内差异:样本点到其所在原创 2021-11-08 12:27:20 · 1014 阅读 · 0 评论 -
机器学习sklearn-逻辑回归
损失函数不求解参数的模型没有损失函数大部分机器学习算法没有损失函数逻辑回归的损失函数是由极大似然估计推导出来的对逻辑回归中过拟合的控制,通过正则化来实现重要参数penalty C正则化 L1范数每一个参数的绝对值之和L2范数每一个参数的平方之和开平方C是用来控制正则化程度的超参数,sklearn中常数项C在损失函数的前面,通过调控损失函数本身的大小来调节对模型的惩罚penalty 默认L2正则化方式 C正则化强度的倒数L1正则化掌握稀疏性,会将参数压缩到0 ...原创 2021-11-04 19:03:31 · 366 阅读 · 0 评论 -
机器学习sklearn-降维
降维就是降低特征矩阵中特征的数量sklearn.decomposition 降维(矩阵分解)主成分分析 PCA因子分析 FactorAnalysis独立成分分析 FastICA字典学习DictionaryLearning高级矩阵分解 LDA LatentDirichletAllocation其他矩阵分解 SparseCoder稀疏编码PCA与SVD降维 减少特征的数量 能够既减少特征点额数量,又保留大部分有效信息。PCA使用的信息量衡量指标,就是样本方差,又称..原创 2021-11-03 22:57:17 · 323 阅读 · 0 评论 -
机器学习sklearn-特征工程
数据挖掘的5大流程:1、获取数据2、数据预处理3、特征工程将原始数据转换为更能代表预测模型的潜在问题的特征的过程,可以通过挑选最相关的特征,提取特征以及创建特征来是想4建模、测试模型并预测结果5、上线模型特征工程sklearn的预处理模块Preprocessing、Dimensionality reductionPreprocessing 基本包含数据预处理所有内容Impute 填补缺失值feature_selection 包含特征选择的各种方法的实践f.原创 2021-11-02 19:13:35 · 818 阅读 · 0 评论 -
机器学习sklearn-2随机森林
集成算法会考虑多个评估器的建模结果,汇总之后得到一个综合的结果,以此来获取比单个模型更好的回归或 分类表现。多个模型集成成为的模型叫做集成评估器(ensemble estimator),组成集成评估器的每个模型都叫做基评估器 (base estimator)。通常来说,有三类集成算法:装袋法(Bagging),提升法(Boosting)和stacking。 装袋法的核心思想是构建多个相互独立的评估器,然后对其预测进行平均或多数表决原则来决定集成评估器的结 果。装袋法的代表模...原创 2021-10-30 23:20:13 · 465 阅读 · 0 评论 -
机器学习sklearn-第一节
决策树交叉验证 cross_val_score(模型评估器regressor, 完整数据boston.data, 目标值boston.target, cv=10, scoring="neg_mean_squared_error")fit() 导入数据要导入二维的 ravel()降维python中一维数据部分行列最大深度max_depth 设定小的话限制模型对特征的拟合类似切片的用法 来增维 [:, np.newaxis]...原创 2021-10-27 21:38:11 · 119 阅读 · 0 评论 -
机器学习进阶HMM
HMM 隐马尔可夫模型,可用于标注问题,在语音识别、NLP 生物信息、模式识别等领域使用HMM是关于时序的概率模型,描述有一个隐藏的马尔科夫链生成不可观测的状态随机序列,再由各个状态生成观测随机序列的过程隐马尔可夫模型随机生成的状态随机序列,称为状态序列,每个状态生成一个观测,由此产生的观测随机序列称为观测序列。序列的每一个位置可看做一个时刻隐马尔可夫模型的贝叶斯网络 变量之间不独立HMM由初始概率分布π,状态转移概率分布A以及观测概率分布B确定隐状态初始可能的概率向量(初始状态)状态转原创 2021-10-24 17:27:25 · 87 阅读 · 0 评论 -
机器学习进阶-贝叶斯网络
相对熵:又称互熵,交叉熵,鉴别信息互信息:信息增益概率公式朴素贝叶斯假设一个特征出现的概率与其他特征独立,每个特征同等重要高斯朴素贝叶斯...原创 2021-10-23 10:26:59 · 230 阅读 · 0 评论 -
机器学习进阶-EM算法
无监督分类 聚类 EM第一步 估算数据来自哪个组份正态分布估计 μ 和Σ 需要先验给定算出每个样本它由第K个组份生成的概率EM算法解决高斯混合分布GMM假定训练集包含M个独立样本,希望从中找到改组数据的模型参数通过最大似然估计建立目标函数EM算法找到局部最大值Jensen不等式...原创 2021-10-21 11:05:27 · 71 阅读 · 0 评论 -
机器学习进阶-聚类
聚类聚类通过样本之间的相似性理解相似度度量聚类就是对大量位置标注的数据集,按照数据的内在相似性将数据集划分为多个类别,使类内部相似度最大。闵可夫斯基距离/欧氏距离杰卡德相似系数预先相似度...原创 2021-10-19 10:29:29 · 125 阅读 · 0 评论 -
机器学习进阶-支持向量机
支持向量机图像不用人工提取特征了,可以不需要使用支持向量机,不过其他领域使用也很多线性可分支持向量机,线性支持向量机,非线性支持向量机(增加核函数)可以进行多分类SVM可以用线性核核高斯核进行分类支撑住分割线的向量计算点到直线距离 将距离作为指标 分割线离样本的最近距离取最大线性可分SVM 线性SVM可能样本在分割面上线性支持向量机 不一定分类完全正确的超平面就是最好的 样本数据本身线性不可分可以舍弃某个样本 过渡带越宽,泛化能力越好,防止过拟合若数...原创 2021-10-16 21:01:25 · 134 阅读 · 0 评论 -
机器学习进阶-提升
由弱分类器得到强分类器:样本加权,分类器加权随机森林的决策树分别采样建立,相对独立假定当前得到m-1棵决策树,通过现有样本和决策树的信息对第m棵决策树的建立产生有益影响提升每一步产生一个弱预测模型,并加权累加到总模型中,如果每一步的弱预测模型生成都是依据损失函数的梯度方向,则成为梯度提升如果一个问题存在弱分类器,则可以通过提升的办法得到强分类器Bagging能够减少训练方差,对于不剪枝的决策树、神经网络等学习器有良好的集成效果,boosting减少偏差,能够给予泛化能力弱的学习器构造原创 2021-10-15 22:46:39 · 108 阅读 · 0 评论 -
机器学习进阶第二节-回归实践
MSE均方误差TSS总平方和RSS残差平方和 =SSE误差平方和R2 = 1-RSS/TSS R2越大拟合效果越好ESS 可解释的平方和 回归平方和TSS = ESS + RSS 只有在无偏估计时成立 否则 大于等于LWR 局部加权线性回归Logistic回归、sigmoid函数求偏导是为了做梯度下降来进行参数优化对数线性模型:一个时间的概率odds,是指该事件发生的概率与该事件不发生概率的比值...原创 2021-10-13 22:51:11 · 327 阅读 · 0 评论 -
机器学习进阶第二节-回归
线性回归使用极大似然估计解释最小二乘目标函数梯度等于0 求驻点 得到θ增加λ扰动,可以解决若XTX不可逆或防止过拟合假设:机器学习中的建模过程充斥着假设,合理的假设是合理模型的必要前提。正则项L2正则 将线性回归的目标函数增加平方和损失:岭回归lasso做特征选择 降维 L1正则Elastic Net : L1正则和L2正则结合起来梯度下降算法:初始化θ,沿着负梯度方向迭代,更新后的θ使得损失函数更小BGD批量梯度下降算法SGD随机梯度下降算法 优先选...原创 2021-10-13 15:15:16 · 68 阅读 · 0 评论 -
机器学习进阶第一节-数据清洗和特征选择
贝叶斯公式最大似然估计在实际中往往将似然函数去对数得到对数似然函数,若对数似然函数可到,可通过求导的方式,接方程组得到驻点,分析该驻点的极大值点本质:找出于样本的分布最接近的概率分布模型二项分布的最大似然估计 修正:拉普拉斯平滑数据清洗pandasFuzzywuzzy-Levenshtein distance模糊查询与替换...原创 2021-10-13 10:12:37 · 61 阅读 · 0 评论 -
机器学习基础第五节
逻辑回归 作用于二分类场景输入和线性回归一样,多项式sigmod函数 取值0-1范围逻辑回归公式:与线性回归原理相同,但由于是分类问题, 损失函数不一样,只能通过梯度下降求解损失函数:均方误差只有一个最小值,不存在局部多个最小值点对数似然损失:多个局部最小值改善方法:多次随机初始化,多次比较最小值的结果;求解过程中调整学习率12minsklearn.linear_model.LogisticRegressionsklearn.linear_model.Log.原创 2021-10-11 16:56:16 · 239 阅读 · 0 评论 -
机器学习基础第四节
误差平方和(最小二乘法)机器学习: 算法 策略 优化线性回归和k近邻 需要标准化?38min 开始线性回归代码回归性能评估 均方误差评价机制线性回归 最为简单易用的回归模型,在不知道特征之间关系的前提下,可以首要选择线性回归LinearRegressionSGDRegressor...原创 2021-10-10 16:38:20 · 57 阅读 · 0 评论