机器学习
文章平均质量分 81
yangtom249
这个作者很懒,什么都没留下…
展开
-
神经网络之CNN
卷积神经网络(Convolutional Neural Networks, CNN)是计算机视觉技术最经典的模型结构,主要知识点包括:卷积、池化、激活函数、批归一化、丢弃法等。卷积神经网络对特征的提取,既能提取到相邻像素点之间的特征模式,又能保证参数的个数不随图片尺寸变化。典型的卷积神经网络结构中,在输入图片上使用多层卷积和池化层组合,在网络的最后通常会加入一系列全连接层,ReLU激活函数一般加在卷积或者全连接层的输出上,网络中通常还会加入Dropout来防止过拟合。原创 2021-03-11 11:56:33 · 730 阅读 · 1 评论 -
机器学习之神经网络
神经网络中最基本的成分是神经元(neuron)模型。在生物神经网络中,每个神经元与其他神经元相连,当神经元的电位超过"阈值" (threshold),它就会被激活, 即"兴奋"起来,向其他神经元发送化学物质,从而改变其他神经元内的电位。Sklearn提供的是伯努利限制玻尔兹曼机(BernoulliRBM),实现的训练算法被称为随机最大似然(Stochastic Maximum Likelihood )或持续对比发散(Persistent Contrastive Divergence )原创 2021-03-06 16:50:56 · 1042 阅读 · 0 评论 -
机器学习之概率图模型
概率图模型(probabilistic graphical model)是一类用图来表达变量相关关系的概率模型。第一类是使用有向无环图表示变量间的依赖关系,称为有向图模型或贝叶斯网(Bayesian network); 第二类是使用无向图表示变量间的相关关系,称为无向图模型或马尔可夫网(Markovnetwork)。原创 2021-02-23 11:22:39 · 362 阅读 · 0 评论 -
机器学习之半监督学习
让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能,就是半监督学习(semi-supervised learning)。sklearn库提供了两种标签传播模型: LabelPropagation 和 LabelSpreading ,以及SelfTrainingClassifier类原创 2021-02-22 22:16:33 · 878 阅读 · 0 评论 -
机器学习之特征选择与稀疏学习
从给定的特征集合中选择出相关特征子集的过程,称为"特征选择" (feature selection)。作用:一是解决维数灾难问题,二是去除不相关特征降低学习任务的难度。处理高维数据的两大主流技术:特征选择、降维。原创 2021-02-21 17:37:13 · 1636 阅读 · 1 评论 -
机器学习之降维与度量学习
线性降维方法假设从高维空间到低维空间的函数映射是线性的。k 近邻(k-Nearest Neighbor)学习是一种常用的监督学习方法,使用某种距离算法找到K个最近的样本,基于K个邻居进行预测(近朱者赤近墨者黑)。主成分分析(Principal Component Analysis)是最常用的一种降维方法,用于提取数据的主要特征分量。主成分分析是一种无监督的线性降维方法,有监督线性降维方法最著名的是线性判别分析(LDA)。原创 2021-02-21 12:58:25 · 474 阅读 · 1 评论 -
机器学习之集成学习
集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务。集成方法的目标是把多个使用给定学习算法构建的基估计器的预测结果结合起来,从而获得比单个估计器更好的泛化能力/鲁棒性。集成学习方法大致可分为两大类:个体学习器间存在强依赖关系、必须串行生成的序列化方法;比如:Boosting个体学习器间不存在强依赖关系、可同时生成的并行化方法。代表是Bagging 和"随机森林" (Random Forest)原创 2021-02-20 22:32:18 · 296 阅读 · 0 评论 -
机器学习之贝叶斯分类器
贝叶斯决策论(Bayesian decision theory)是概率框架下实施决策的基本方法。对分类任务来说,在所有相关概率都己知的理想情形下,贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。GaussianNB 实现了运用于分类的高斯朴素贝叶斯算法。MultinomialNB 实现了服从多项分布数据的朴素贝叶斯算法。ComplementNB实现了补充朴素贝叶斯(CNB)算法。原创 2021-02-20 15:47:45 · 4516 阅读 · 0 评论 -
机器学习之支持向量机
SVM的目标是寻找到最优的超平面,可以将不同类别的样本数据分隔开。即:寻求最优分类边界。SVM的关键技术是核函数,核函数可以将在低维度空间中的线性不可分问题映射为高维度空间中的线性可分问题。支持向量机 (SVMs) 可用于的监督学习算法包括分类,回归 和 异常检测。多元分类:SVC, NuSVC 和 LinearSVC;回归:SVR, NuSVR 和 LinearSVR;异常检测:类OneClassSVM实现了一个用于离群点检测的单类SVM。原创 2021-02-19 20:56:48 · 411 阅读 · 0 评论 -
机器学习之层次聚类
层次聚类(hierarchical clustering)试图在不同层次对数据集进行划分,从而形成树形的聚类结构。数据集的划分可采用"自底向上"的聚合策略(AGNES),也可采用"自顶向下"(DIANA) 的分拆策略。Sklearn库内两种层次聚类算法:AgglomerativeClustering 和 Birch类的代码实现。原创 2021-02-19 15:01:44 · 514 阅读 · 1 评论 -
机器学习之密度聚类(DBSCAN)
密度聚类亦称"基于密度的聚类" (density-based clustering) ,此类算法假设聚类结构能通过样本分布的紧密程度确定。DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一种著名的密度聚类算法。通常情形下,密度聚类算法从样本密度的角度来考察样本之间的可连接性,并基于可连接样本不断扩展聚类簇以获得最终的聚类结果。原创 2021-02-19 12:05:30 · 4256 阅读 · 0 评论 -
机器学习之K均值的SSE和轮廓系数
SSE(sum of the squared errors)是对簇松散度的衡量,作为目标函数其实是一个严格的坐标下降(Coordinate Decendet)过程。SSE不能保证找到全局最优解,只能确保局部最优解。轮廓系数法结合了聚类的凝聚度(Cohesion)和分离度(Separation),用于评估聚类的效果。指标:内部距离最小化,外部距离最大化。平均轮廓系数的取值范围为[-1,1],系数越大,聚类效果越好。原创 2021-02-19 09:43:06 · 10066 阅读 · 1 评论 -
机器学习之原型聚类算法(K均值和高斯混合)
原型聚类算法是假设聚类结构能通过一组原型进行刻画,通常情形下,算法先对原型进行初始化,然后对原型进行迭代更新求解。采用不同的原型表示、不同的求解方式,将产生不同的算法。K均值和LVQ算法的主要差异是更新原型向量的方法,K均值是根据分配到簇内的所有样本计算新的均值向量;LVQ是随机抽取一个样本,找到与其最近的原型向量,如果标记相同,则计算出更靠近随机样本的新原型向量,否则相反计算出更远的新原型向量。K均值、LVQ 用原型向量来刻画聚类结构,高斯混合聚类采用概率模型来表达聚类原型。原创 2021-02-18 21:54:25 · 2010 阅读 · 2 评论 -
机器学习之聚类相关术语
在"无监督学习" (unsupervised learning) 中,训练样本的标记信息是未知的,目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律,常见的无监督学习任务有聚类 (clustering)、密度估计(densityestimation)、异常检测(anomaly detection) 等。原创 2021-02-17 22:33:01 · 713 阅读 · 1 评论 -
机器学习之决策树
决策树(decision tree) 是一类常见的机器学习方法。顾名思义,决策树是基于树结构来进行决策的,其基本流程遵循简单且直观的"分而治之" (divide-and-conquer) 策略。决策树学习的关键是如何选择最优划分属性,使得分支结点的"纯度" (purity) 越来越高。决策树是一种用来 classification 和 regression 的无监督学习方法。Sklearn库中类DecisionTreeClassifier分类算法,类DecisionTreeRegressor 回归算法。原创 2021-02-17 21:36:28 · 288 阅读 · 1 评论 -
机器学习之多分类相关术语
多分类学习的基本思路是“拆解法”,即将多分类任务拆为若干个二分类任务求解。类别不平衡(class-imbalance)就是指分类任务中不同类别的训练样例数目差别很大的情况。原创 2021-02-17 11:11:02 · 233 阅读 · 0 评论 -
机器学习之线性判别分析LDA
线性判别分析(Linear Discriminant Analysis, 简称LDA)是一种经典的线性学习方法,LDA算法既可以用来监督式的降维,也可以用来分类。LDA思想:给定训练样例集,设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离。在Sklearn库中逻辑回归模型使用 LinearDiscriminantAnalysis类,其求解器(solver)可使用的优化算法,包括svd(奇异值分解) 、lsqr(最小二乘)和 eigen(特征分解)。原创 2021-02-16 23:22:17 · 517 阅读 · 1 评论 -
机器学习之逻辑回归(对率回归)
线性回归模型帮助我们用最简单的线性方程实现了对数据的拟合,即实现了对连续值的预测。那怎么预测离散值(分类)呢?在数学意义上,就是找到一个单调可微函数将分类任务的标记与线性回归模型的预测值相关联。形似S的Sigmoid函数可以实现将连续的预测值转换为离散的预测值。对于二分类任务,当线性预测值大于零,则输出离散值为正例;当线性预测值小于零, 则输出离散值为反例。原创 2021-02-16 17:22:19 · 4774 阅读 · 1 评论 -
机器学习工具之sklearn库
scikit-learn是基于 Python 语言的机器学习工具,简称sklearn。它是SciPy的扩展,建立在Numpy和matplolib库的基础上。sklearn包括了分类,回归,降维和聚类等四大机器学习算法,还包括了特征提取,数据处理和模型评估者三大模块。特点 •简单高效的数据挖掘和数据分析工具 •开源,可商业使用 - BSD许可证原创 2021-02-15 23:14:26 · 2786 阅读 · 0 评论 -
机器学习之线性回归
线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数,线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记。均方误差是回归任务中最常用的性能度量,因此我们可试图让均方误差最小化。均方误差对应了常用的欧几里得距离,简称欧氏距离(Euclidean distance)。原创 2021-02-15 18:02:05 · 914 阅读 · 1 评论 -
机器学习的实现和方法论
归纳与演绎是科学推理的两大基本手段,类似的,实现机器学习也可以分成两步:训练(归纳)和预测(演绎)。机器学习模型构成的三个部分是模型假设、评价函数(损失/优化目标)和优化算法。可以把机器学习过程看作一个在所有假设(hypothesis)组成的空间中进行搜索的过程,搜索目标是找到与训练集“匹配fit”的假设。原创 2021-02-15 12:37:35 · 1270 阅读 · 0 评论 -
机器学习之模型评估的术语
过拟合(overfitting、过度匹配):过度训练样本以至于将某些样本自身的个别特点,作为样本的一般性质,导致模型泛化能力较差的机器学习现象。欠拟合(underfitting):训练不足以至于没有掌握样本的一般性质。误差(error):实际预测输出与样本的真实输出之间的差异,即模型预测错误数原创 2021-02-14 17:01:56 · 449 阅读 · 1 评论 -
机器学习入门术语
本文内容整理自周志华机器学习,机器学习研究的主要内容:在计算机中从数据中产生“模型 model”的算法,即“学习算法 learning algorithm”。A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P if its performance at tasks in T, as measured by P原创 2021-02-14 11:34:05 · 198 阅读 · 0 评论