![](https://img-blog.csdnimg.cn/20201226093100946.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习
文章平均质量分 88
机器学习相关文章
yubinCloud
哈尔滨工业大学 在校生
展开
-
【Basic】评估机器学习模型的方法
我们将数据划分为训练集、验证集和测试集,并没有在训练模型的相同数据上对模型进行评估,其原因很快显而易见:仅仅几轮过后,三个模型都开始过拟合。也就是说,随着训练的进行,模型在训练数据上的性能始终在提高,但在前所未见的数据上的性能则不再变化或者开始下降。机器学习的目的是得到可以泛化( generalize)的模型。训练集、验证集和测试集评估模型的重点是将数据划分为三个集合:训练集、验证集和测试集。在训练数据上训练模型,在验证数据上评估模型。一旦找到了最佳参数,就在测试数据上最后测试一次。为什么不是两个集原创 2021-02-08 00:20:52 · 283 阅读 · 0 评论 -
【In Action】Keras 实现“路透社数据集”的新闻分类(多分类任务)
本节使用路透社数据集,它包含许多短新闻及其对应的主题,由路透社在 1986 年发布。它是一个简单的、广泛使用的文本分类数据集。它包括 46 个不同的主题:某些主题的样本更多,但训练集中每个主题都有至少 10 个样本。 该数据集已被 Keras 内置。步骤:1. 加载数据import kerasfrom keras.datasets import reuters(train_data, train_labels), (test_data, test_labels) = reuters.load_d原创 2021-02-06 19:30:19 · 702 阅读 · 0 评论 -
【In Action】Keras 实现 “波士顿房价数据集” 的房价预测(简单回归问题)
本节将要预测 20 世纪 70 年代中期波士顿郊区房屋价格的中位数,已知当时郊区的一些数据点,比如犯罪率、当地房产税率等。本节用到的数据集与前面两个例子有一个有趣的区别。它包含的数据点相对较少,只有 506 个,分为 404 个训练样本和 102 个测试样本。输入数据的每个特征(比如犯罪率)都有不同的取值范围。例如,有些特性是比例,取值范围为 0~1;有的取值范围为 1~12;还有的取值范围为 0~100,等等。1. 加载数据集from keras.datasets import boston_hous原创 2021-02-07 16:16:18 · 1858 阅读 · 0 评论 -
【NLP】中文分词方法:规则分词(正向最大匹配、逆向最大匹配、双向最大匹配)
基于规则的分词是一种机械分词方法,需要不断维护和更新词典,在切分语句时,将语句的每个字符串与词表中的每个次进行逐一匹配,找到则切分,找不到则不予切分。按照匹配方法来划分,主要有正向最大匹配、逆向最大匹配以及双向最大匹配。1. 正向最大匹配正向最大匹配(Maximum Match,MM):从左向右取待切分汉语句的m个字符作为匹配字段,m为机器词典中最长词条的字符数。查找机器词典并进行匹配。若匹配成功,则将这个匹配字段作为一个词切分出来。 若匹配不成功,则将这个匹配字段的最后一个字去掉,剩下的字符原创 2021-02-02 17:48:37 · 4407 阅读 · 0 评论 -
【Basic】机器学习算法的性能衡量指标:TP/TN/FN/FP 生动解释
根据 “没有免费午餐定律” ,在所有机器学习算法中,并不存在最厉害的算法。没有最好的模型,只有最合适的模型。机器学习算法虽然只有几种,但需要解决的问题千千万万,哪种模型适合你所需要解决的问题,还需要具体的问题具体分析。性能衡量指标就是一种常用的分析标准。在分类问题中,将机器学习模型的预测与实际情况进行对比后,结果可以分为四种:TP、TN、FN 和 FP。每一种结果由两个字母组成,第一个字母为T或F,是True和False的首字母缩写,表示预测结果是否符合事实,模型猜的对不对;第二个字母为P或N,是Po原创 2021-01-22 14:40:02 · 1108 阅读 · 0 评论 -
【Basic】线性回归算法的 Python 实现
Scikit-Learn 中的 linear_model 是线性模型算法族库,本文将使用该库来实现基本的线性回归算法。Scikit-Learn 对各类机器学习算法都进行了良好的封装,以线性回归算法为例,只需要以下简单三步便可以进行预测:# 导入所需库from sklearn import linear_model# 训练线性回归模型model = linear_model.LinearRegression()model.fit(x, y)在导入线性模型算法后,只需要利用 fit 方法为模型原创 2021-01-23 00:56:31 · 227 阅读 · 1 评论 -
【Basic】Logistic 回归分类算法
分类问题学术上对分类问题做了细致区别,如果待分类只有两个,通常称之为“二元分类问题”,在机器学习中较多使用 Logistic 函数来解决;若待分类超过两个,则称之为“多分类问题”,较多使用 Softmax 函数来解决。对二元分类,机器学习也专门规定了术语,将“是”类成为“正类(Positive)”,而将“否”类成为“负类(Negative)”,与之对应的训练集中也可划分为“正样本”和“负样本”。Logistic 函数介绍在神经网络算法中,也称之为 Sigmoid函数,它既是一种可导的函数,也是一种阶原创 2021-01-24 01:43:31 · 353 阅读 · 0 评论 -
【Basic】KNN (K-最邻近)分类算法
KNN 算法介绍导引在机器学习中,通过不断减少偏差来实现对“神秘函数”逼近的方法非常常见,但这可能会出现陷入“局部最优解“的问题,导致这个问题的根本原因在于这种训练方法总是”走一步看一步“,也就是通常所说的”缺乏大局观“。想要有大局观也好办,只要设计一套机器学习算法,能够先获得某种全局性的统计值,然后在全局统计值的基础上完成分类等预测工作,就可以避免陷入局部最优解了。回忆一下, Logistic回归的核心机制就是用损失函数和优化方法来不断调整线性函数的权值,从而拟合“神秘函数”,而偏差可谓是这套机制原创 2021-01-24 13:15:49 · 682 阅读 · 0 评论 -
【Basic】朴素贝叶斯分类算法
我们一再说机器学习模型脱胎于统计学的知识,朴素贝叶斯分类算法应该是其中统计学味道最浓的一款算法。贝叶斯公式的基本思想朴素贝叶斯指的就是在“朴素”假设条件下运用“贝叶斯公式”。贝叶斯公式预测的核心思想就5个子——“看起来更像”。在贝叶斯看来,世界不是静止和绝对的,而是动态和相对的,希望利用已知经验来进行判断。用“经验”进行“判断”,经验怎么来?有了经验怎么判断?一句话实际包含了两轮过程:第一轮的分级:是已知类别而统计特征,即某一特征在该类中的出现概率,是把类别分解成特征概率的过程。第二轮的还原:原创 2021-01-24 19:19:07 · 303 阅读 · 0 评论 -
【Basic】决策树分类算法
决策树分类算法介绍决策树算法其实不是一种机器学习算法,而是一类机器学习算法或者是一种机器学习算法的框架,它们的共同特点是都采用了树形结构,基本原理都是用一长串的 if-else 完成样本分类,区别主要在纯度度量等细节上选择了不同的解决方案。如何选择判断条件来生成判断分支是决策树算法的核心要点,有人称之为节点划分,也有人称之为节点分裂,指的都是生成 if-else 分支的过程。决策树的重点概念:决策树的分类方法分支节点的划分纯度度量要想成为真正的决策树,就得学会怎样挑选判别条件。这是决策树算原创 2021-01-26 19:23:12 · 1114 阅读 · 0 评论 -
【Basic】SVM(支持向量机)分类算法
支持向量机(Support Vector Machine,SVM)算法兼具形式优美和高效好用,难得地受到了跨学术界和工业界的好评。一、SVM 算法介绍在支持向量机中有三个重要概念,也是组成支持向量机的重要构件:最大间隔高维映射核方法这三个部件是彼此独立又互相关联的关系,他们在一起共同成就了SVM算法。1.1. 距离是不同类别的天然间隔数据点的“位置”实质是在不同维度有着不同现实含义的信息。在分类时若想提高鲁棒性,就得多留点余地,也就是给正负类两边都多留点,使得分割线距离两边都达到最大间原创 2021-01-27 14:54:35 · 3428 阅读 · 0 评论 -
【Basic】K-means 聚类算法
K-means 聚类算法属于无监督学习,即数据没有“标准答案”。业界也逐渐开始探索将有监督学习和无监督学习结合在一起,首先通过聚类等无监督学习的算法处理数据,通过各种假设和结合聚类结果来给数据打标签然后再把这些数据输送给有监督学习来进行建模训练,使得未经人工标注的数据,也能起到提高有监督学习模型预测准确度的效果。这种集两家之长的方法称为半监督学习是当前机器学习研究的热点之一。K-means 算法的重点概念:聚类问题簇(cluster)质心多数表决簇(cluster)在聚类问题中,“簇”(原创 2021-01-27 17:38:35 · 314 阅读 · 0 评论 -
【Basic】集成学习方法导引
集成学习方法与经典机器学习算法的关系集成方法并不是一种独立的机器学习算法,而是一套能够把独立的机器学习算法“捏”到一起,共同解决问题的协作框架。要介绍集成方法,首先得介绍一个术语:学习器( Learner)。不用担心,它并不是一种新的概念,如前面我们介绍过的决策树、支持向量机等机器学习算法实现的机器学习模块,都可称为学习器。集成学习中把学习器分为两种,一种为“基学习器”(Base Learning)”,另一种为“弱学习器( Weak Learning)”。基学习器:前面我们说过,集成学习就是把许多独原创 2021-01-27 18:53:39 · 229 阅读 · 0 评论