机器学习
DM_freshman
这个作者很懒,什么都没留下…
展开
-
集成学习算法(Random Forest、adBoost、GBDT、XgBoost、lightboost)
集成学习算法(Random Forest、adBoost、GBDT、XgBoost、lightboost)最近快速过了一遍集成学习的相关算法,在这里做一个小总结。集成学习:Bagging:并行式集成学习,注重降低方差;如Random ForestBoost:串行式集成学习,注重降低偏差;adboost、GBDT、XgBoost、lightboostRandom Forest算法:属于Bagging集成学习,在上一篇文章中有介绍;下面介绍的都是Boost集成学习。adboost算法:原创 2021-04-12 19:28:05 · 1232 阅读 · 0 评论 -
朴素贝叶斯
朴素贝叶斯常用于文本分类的朴素贝叶斯算法基于贝叶斯假设而来。和逻辑回归是概率判别式模型不同,朴素贝叶斯算法是概率生成式模型,不需要直接计算生成的概率值。朴素贝叶斯算法对小规模数据处理效果较好,但是若样本属性有关联时分类效果不好。其最优化目标是是使得后验概率最大,通过贝叶斯假设使得联合概率可以分开乘积(否则则要通过极大似然方法估计参数,再转化成最优化的极值问题求解),这也就大大简化了计算,算法因此也十分简洁。代码实现如下:import numpy as np#载入文本def loadDataSe原创 2021-03-22 20:58:53 · 178 阅读 · 0 评论 -
逻辑回归(logistics regression)
逻辑回归(logistics regression)逻辑回归 = 线性回归 + sigmoid函数sigmoid函数表达的是将样本分为1类的概率(二分类问题)通过sigmoid函数表示p(y|x)的概率,通过极大似然估计将参数估计变成最优化求解问题,进而采用梯度下降法或者拟牛顿法解出最优解。代码实现如下:logistic regression底层代码实现# logistic回归梯度上升优化算法底层代码实现import numpy as np#读取数据def loadDataSet(f原创 2021-03-22 20:36:40 · 444 阅读 · 2 评论 -
数据挖掘:数据处理
数据挖掘:数据处理最近学校开了数据建模课程,根据学习内容做个小结。数据清洗包括以下几个步骤:1、熟悉数据,核对数据口径(必要时查阅相关资料以加深对数据的理解)。2、探索性数据分析EDA目的:熟悉数据集,了解数据集,对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。了解变量间的相互关系以及变量与预测值之间的存在关系。引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。2.1查看数据的类型(分类型数据or数值型数据)2.原创 2021-03-20 12:34:41 · 662 阅读 · 0 评论 -
KNN算法代码实例
KNN算法代码实例KNN算法代码实例(有问题的地方请大家多多指教)#封装knn函数import numpy as npdef KNN(inX,dataset,lables,k):dist = (((inX - dataset) ** 2).sum(1)) ** 0.5sort_dist = np.argsort(dist).tolist() # 按距离升序,获取对应索引classcount = {}for i in range(k):for index, it原创 2021-02-16 18:49:21 · 600 阅读 · 1 评论