机器学习算法对数据的要求以及使用的情况

最新推荐文章于 2023-03-25 18:21:40 发布
VIP文章 最新推荐文章于 2023-03-25 18:21:40 发布
阅读量6.7k 收藏 19
点赞数 4
分类专栏： 机器学习--ML
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/UESTC_C2_403/article/details/72848650
版权
1.数据量大于10万采用随机梯度下降，效果不错，大大的节约时间成本
2.数据量小于1万的可以采用kmeans聚类算法，无效果采用特殊聚类或者GMM模型。大于1万的采用minibatch kmeans算法。使用kmeans聚类的前提是聚类类别数量知道。
3.聚类类别数量未知的情况下，数据量小于1万时，采用meanshift或者VBGMM模型，大于1万时，就咩有什么有效的算法
4.聚类算法是建立在没有标记样本的数据，属于无监督模型
最低0.47元/天 解锁文章
UESTC_C2_403
关注
  • 4
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用机器学习算法对信用卡客户UCI默认数据集进行分析和分类
02-06
本研究的目的是利用一些有监督的机器学习算法来识别决定信用卡违约可能性的关键驱动因素，强调所用方法背后的数学方面。当您严重拖欠信用卡付款时，就会发生信用卡违约。为了增加市场份额，台湾的发卡银行过度向不合格的申请人发放现金和信用卡。同时，大多数持卡人，无论他们的还款能力如何，都过度使用信用卡进行消费，积累了沉重的信用和债务 目标是建立一个自动模型，用于识别关键因素，并根据客户和历史交易的信息预测信用卡违约。稍后将报告监督机器学习范式的一般概念，以及用于构建模型的所有技术和算法的详细说明。特别地，Logistic回归、随机森林和支持向量机算法已经被应用。
聚类机器学习算法使用数据集
03-22
聚类机器学习算法使用数据集
大数据下的机器学习算法综述
03-10
随着产业界数据量的爆炸式增长，大数据(Big Data)概念引发的热情也越来越高涨。产业界需求与关注点发生了重大转变：企业关注的重点转向数据，计算机行业正在转变为真正的信息行业，从追求计算速度转变为关注大数据处理能力，软件也将从数据采集与存储为主转变为以数据处理为中心。机器学习算法在学术界具有很高的学术研究价值，在产业界有很大的实用价值。由于大数据的海量、复杂多样、变化快的特性，对于大数据环境下的应用问题，传统的在小数据上的机器学习算法很多已经不再适用。因此，研究大数据环境下的机器学习算法成为学术界和产业界共同关注的话题。本文主要对当前用于处理大数据的机器学习算法的研究现状进行了分析和总结，此外，并行是处理大数据的主流方法，因此还单独对一些并行算法进行了介绍，并引出了大数据环境下机器学习研究所面临的问题，最后指出了大数据机器学习的研究趋势。
机器学习算法详解
04-12
机器学习算法详解▪ 一、线性回归 ◦ 1、代价函数 ◦ 2、梯度下降算法 ◦ 3、均值归一化 ◦ 4、最终运行结果 ◦ 5、使用scikit-learn库中的线性模型实现 ▪ 二、逻辑回归 ◦ 1、代价函数 ◦ 2、梯度 ◦ 3、正则化 ◦ 4、S型函数（即） ◦ 5、映射为多项式 ◦ 6、使用的优化方法 ◦ 7、运行结果 ◦ 8、使用scikit-learn库中的逻辑回归模型实现 ▪ 逻辑回归_手写数字识别_OneVsAll ◦ 1、随机显示100个数字 ◦ 2、OneVsAll ◦ 3、手写数字识别 ◦ 4、预测 ◦ 5、运行结果 ◦ 6、使用scikit-learn库中的逻辑回归模型实现 ▪ 三、BP神经网络 ◦ 1、神经网络model ◦ 2、代价函数 ◦ 3、正则化 ◦ 4、反向传播BP ◦ 5、BP可以求梯度的原因 ◦ 6、梯度检查 ◦ 7、权重的随机初始化 ◦ 8、预测 ◦ 9、输出结果 ▪ 四、SVM支持向量机 ◦ 1、代价函数 ◦ 2、Large Margin ◦ 3、SVM Kernel（核函数） ◦ 4、使用中的模型代码 ◦ 5、运行结果 ▪ 五、K-Means聚类算法 ◦ 1、聚类过程 ◦ 2、目标函数 ◦ 3、聚类中心的选择 ◦ 4、聚类个数K的选择 ◦ 5、应用——图片压缩 ◦ 6、使用scikit-learn库中的线性模型实现聚类 ◦ 7、运行结果 ▪ 六、PCA主成分分析（降维） ◦ 1、用处 ◦ 2、2D-->1D，nD-->kD ◦ 3、主成分分析PCA与线性回归的区别 ◦ 4、PCA降维过程 ◦ 5、数据恢复 ◦ 6、主成分个数的选择（即要降的维度） ◦ 7、使用建议 ◦ 8、运行结果 ◦ 9、使用scikit-learn库中的PCA实现降维 ▪ 七、异常检测 Anomaly Detection ◦ 1、高斯分布（正态分布） ◦ 2、异常检测算法 ◦ 3、评价的好坏，以及的选取 ◦ 4、选择使用什么样的feature（单元高斯分布） ◦ 5、多元高斯分布 ◦ 6、单元和多元高斯分布特点 ◦ 7、程序运行结果
Python实现基于机器学习算法与因子分析的玻璃文物化学成分研究项目代码+数据+论文
03-03
Python实现基于机器学习算法与因子分析的玻璃文物化学成分研究项目代码+数据+论文 基于题目给出的数据，对数据进行了预处理与描述性分析。利用了决策树算法对玻璃的玻璃类型、纹饰、颜色和风化程度进行建模，运用随机森林回归的方法对风化前的玻璃化学成分进行预测，运用无监督学习的方式对玻璃文物进行亚分类，并通过机器学习的算法建立模型，对玻璃样品的种类进行预测，最后通过因子分析进行玻璃文物化学成分的关联性研究。
过拟合
gs344937933的专栏
07-25 431
什么是过拟合： 对训练数据表现的很好，但对其他数据拟合的很差。 发生过拟合的主要原因： （1）模型有大量参数、表现力强。 （2）训练数据少。 解决过拟合的方法： 1、权值衰减 通过在学习的过程中对大的权重进行惩罚。 2、Dropout方法 ...
机器学习中样本的样本量的估计
UESTC_C2_403的博客
06-04 1万+
在机器学习中，如果样本量不足，我们利用模型学习到的结果就有可能是错误的，因为样本不足的情况下，规则会有很多。也就是我们如果用f表示真是的规则，用g表示利用模型学习到的规则。那么我们希望g和f越接近越好，可是我们并不知道f到底是什么？如果样本不足，机器是没法学习的。 例如： 给你123，输出为246。有人会说那就是对应元素乘以2，这是一种规则。还有别的规则，第一个数字是原来数的第二位，后面两位分
机器学习需要的最小数据量是多少？
顺其自然~专栏
03-20 2578
比如在贝叶斯模型里面使用适当的先验分布，在数据少的时候能有效地提升模型效果，而在数据逐渐增大之后，不同先验的区别往往会逐渐趋近直至几乎没有区别，最后完全由数据来决定模型的推断。如果要对 GPT-2 进行微调（fine-tuning），需要在预训练数据集的基础上再增加少量的特定领域数据进行训练，通常需要至少数千条甚至更多的数据才能获得较好的效果。通常情况下，数据量越大，训练出的模型效果越好，因为大量的数据可以提供更多的信息和更全面的表示。但是，在某些情况下，即使只有很少的数据，也可以构建出有用的模型。
机器学习中的数据
ouyang953517554的专栏
10-22 579
进行机器学习，必须要准备数据集。一般情况下，所有的数据要求独立同分布（iid）。然后分成三个部分: 训练集(Train Set) 开发集(Dev Set) 测试集(Test Set) 顾名思义，训练集主要用来训练机器学习模型的参数。开发集用来对不同的超级参数进行选择，而且这一过程是个迭代过程，因为事先不知道哪个参数比较适合当前的问题，需要多次尝试。最后，测试集用来验证最终的机器学习系统的性能...
样本量很少如何获得最佳的效果？最新小样本学习工具包来啦！
张伟的专栏
03-25 1186
小样本学习方法可以在利用先验知识的前提下，仅由极少量受监督的样本，使模型通过极少步的更新快速提升泛化性能，以应用在新的相关任务上[1]。PaddleFSL提供了低层次的工具函数与接口，以供使用者设计新的小样本学习方法或构建新的小样本学习数据集，同时也提供了经典小样本学习方法的高层次实现，以及经典的小样本数据集。因此，我们引入了模型克隆（clone）的功能：与机器学习框架中张量的克隆相同，被克隆的新模型并不与原模型共享内存，从而实现独立的调整，但同时要和原模型共享计算图，从而实现梯度的关联与累积。
大数据下的机器学习算法综述_何清.pdf
11-20
随着产业界数据量的爆炸式增长,大数据概念受到越来越多的关注.由于大数据的海量、复杂多样、变化快的特性,对于大数据环境下的应用问题,传统的在小数据上的机器学习算法很多已不再适用.因此,研究大数据环境下的机器学习算法成为学术界和产业界共同关注的话题.文中主要分析和总结当前用于处理大数据的机器学习算法的研究现状.此外,并行是处理大数据的主流方法,因此介绍一些并行算法,并引出大数据环境下机器学习研究所面临的问题.最后指出大数据机器学习的研究趋势.
基于机器学习算法在数据分类中的应用研究
04-27
随着科学技术的发展，机器学习算法的应用领域也变得十分 广泛。 本文主要介绍了两种机器学习算法:粒子群算法优化支持向量机和卷积神经 网络。其中研究了粒子群算法优化支持向量机在树叶分类和癌症基因分类中的预 测...
数据科学家最常用的十大机器学习算法
02-24
模型运行被许多因素左右，例如数据集的大小和结构因此，你应该根据你的问题尝试许多不同的算法，同时使用数据测试集来评估性能并选出最优项当然，你尝试的算法必须和你的问题相切合，其中的门道便是机器学习的主要...
使用python实现机器学习算法.zip
最新发布
04-02
机器学习算法涵盖众多方法，包括但不限于逻辑回归、决策树、随机森林、支持向量机、K近邻算法、神经网络以及深度学习技术等。随着计算能力的增强和大数据时代的到来，机器学习已经在诸多领域展现出强大的功能，如...
参数(parameters)和超参数(hyperparameters)
热门推荐
UESTC_C2_403的博客
08-20 5万+
在机器学习或者深度学习领域，参数和超参数是一个常见的问题，个人根据经验给出了一个很狭隘的区分这两种参数的方法。 参数：就是模型可以根据数据可以自动学习出的变量，应该就是参数。比如，深度学习的权重，偏差等 超参数：就是用来确定模型的一些参数，超参数不同，模型是不同的(这个模型不同的意思就是有微小的区别，比如假设都是CNN模型，如果层数不同，模型不一样，虽然都是CNN模型哈。)，超参数一般就是根据
机器学习中常见的几种归一化方法以及原因
UESTC_C2_403的博客
07-22 4万+
在机器学习中，数据归一化是非常重要，它可能会导致模型坏掉或者训练出一个很奇怪的模型，为了让机器学习的模型更加适合实际情况，需要对数据进行归一化处理。 1.机器学习中常用的归一化方法： 2. 不同归一化方法分析： 线性变换和极差法（线性归一化） 将原始数据线性化的方法转换到[0 1]的范围，该方法实现对原始数据的等比例缩放。通过利用变量取值的最大值和最小值（或者最大值）将原始数据转换
三种梯度下降的方式：批量梯度下降、小批量梯度下降、随机梯度下降
UESTC_C2_403的博客
07-10 3万+
在机器学习领域中，梯度下降的方式有三种，分别是：批量梯度下降法BGD、随机梯度下降法SGD、小批量梯度下降法MBGD，并且都有不同的优缺点。 下面我们以线性回归算法为例子来对三种梯度下降法进行比较。 1. 线性回归 假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。 收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的
损失函数(Loss function)和代价函数(成本函数)(Cost function)的区别与联系
UESTC_C2_403的博客
08-18 2万+
1.损失函数(Loss function)是定义在单个训练样本上的，也就是就算一个样本的误差，比如我们想要分类，就是预测的类别和实际类别的区别，是一个样本的哦，用L表示 2.代价函数(Cost function)是定义在整个训练集上面的，也就是所有样本的误差的总和的平均，也就是损失函数的总和的平均，有没有这个平均其实不会影响最后的参数的求解结果。 注意：定义的方式不同哦，两者是相辅相成
机器学习中训练集、验证集(开发集)、测试集如何划分
UESTC_C2_403的博客
08-31 1万+
1.传统的机器学习领域中，由于收集到的数据量往往不多，比较小，所以需要将收集到的数据分为三类：训练集、验证集、测试集。也有人分为两类，就是不需要测试集。 比例根据经验不同而不同，这里给出一个例子，如果是三类，可能是训练集：验证集：测试集=6:2:2；如果是两类，可能是训练集：验证集=7:3。因为数据量不多，所以验证集和测试集需要占的数据比例比较多。 2.在大数据时代的机器学习或者深度学习领域中
使用机器学习算法对水质进行预测
04-27
对水质进行预测可以使用机器学习算法，主要步骤如下： 1. 数据采集：收集水质监测数据，包括水质指标和其它环境因素，例如气温、降雨量等。 2. 数据清洗：对收集的数据进行清洗，包括去除异常值、缺失值和重复值等。 3. 特征工程：通过特征工程将原始数据转换为可用于机器学习算法的特征向量，例如将日期、时间等时间相关特征转换为数值型特征。 4. 模型选择：选择适合于水质预测的机器学习模型，例如线性回归、决策树、随机森林等。 5. 模型训练：使用清洗后的数据集对机器学习模型进行训练。 6. 模型评估：使用测试集对训练好的模型进行评估，例如计算均方根误差（RMSE）等指标。 7. 模型优化：根据评估结果对机器学习模型进行调参和优化。 8. 模型应用：将优化后的机器学习模型应用于水质预测，例如预测下一时刻的水质指标。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值