机器学习算法和知识点(学习笔记)
文章平均质量分 73
机器学习算法和知识点
涂作权的博客
To do what I want to do!
展开
-
18.HMM隐马尔可夫模型
以上就是鲍姆-韦尔奇算法的整个过程。注意上面有个参数covariance_type,取值为"full"意味所有的μ,Σ都需要指定。取为“spherical”则原创 2021-05-28 01:07:39 · 553 阅读 · 0 评论 -
11.EM算法
11.EM算法本文主要转自:https://www.cnblogs.com/pinard/p/6912636.htmlEM算法也称期望最大化(Expectation-Maximum,简称EM)算法,它是一个基础算法,是很多机器学习领域算法的基础,比如隐式马尔科夫算法(HMM), LDA主题模型的变分推断等等。本文就对EM算法的原理做一个总结。11.1.EM算法要解决的问题我们经常会从样本观察数据中,找出样本的模型参数。 最常用的方法就是极大化模型分布的对数似然函数。但是在一些情况下,我们得到的观察原创 2021-05-28 00:52:32 · 330 阅读 · 0 评论 -
9.LDA(线性判别分析)
原创 2021-05-28 00:46:41 · 579 阅读 · 0 评论 -
8.Xgboost
8.Xgboost8.1.XGBoost算法https://www.cnblogs.com/mantch/p/11164221.htmlXGBoost是陈天奇等人开发的一个开源机器学习项目,高效地实现了GBDT算法并进行了算法和工程上的许多改进,被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。说到XGBoost,不得不提GBDT(Gradient Boosting Decision Tree)。因为XGBoost本质上还是一个GBDT,但是力争把速度和效率发挥到极致,所以叫X原创 2021-05-28 00:41:48 · 752 阅读 · 0 评论 -
6.支持向量机(SVM)、什么是SVM、支持向量机基本原理与思想、基本原理、课程中关于SVM介绍
6.支持向量机(SVM)6.1.什么是SVM6.2.支持向量机基本原理与思想6.2.1.支持向量机6.2.2.基本原理6.3.课程中关于SVM介绍6.支持向量机(SVM)6.1.什么是SVM以下转自:https://www.zhihu.com/question/21094489支持向量机/support vector machine (SVM)。可以从一个了解什么是SVM,以及要做的事情。在很久以前的情人节,大侠要去救他的爱人,但魔鬼和他玩了一个游戏。魔鬼在桌子上似乎有规律放了两种颜原创 2021-05-28 00:09:46 · 2505 阅读 · 0 评论 -
5.贝叶斯算法、单词拼写错误案例
5.贝叶斯算法5.1.单词拼写错误案例5.贝叶斯算法贝叶斯简介贝叶斯(约1701-1761) Thomas Bayes,英国数学家。贝叶斯方法源于他生前解决一个”逆概”问题写的一篇文章。生不逢时,死后它的作品才被世人认可。贝叶斯要解决的问题:正向概率:假设袋子里面有N个白球,M个黑球,你伸手进去摸一把,摸出黑球的概率是多大逆向概率:如果我们事先并不知道袋子里面黑白球的比例,而是闭着眼睛摸出一个(或好几个)球,观察这些取出来的球的颜色之后,那么我们可以就此对袋子里面的黑白球的比例原创 2021-05-27 23:44:06 · 332 阅读 · 0 评论 -
4.K-MEANS聚类算法
4.K-MEANS聚类算法4.1.概述4.2.算法核心思想4.3.K-Means原理初探4.4.传统K-Means算法流程4.5.K-Means初始化优化K-Means++4.7.大样本优化Mini Batch K-Means4.8.K-Means与KNN4.9.KMEANS术语4.10.KMEANS算法优缺点4.11.K-Means算法API文档简介4.12.K-MEANS算法样例演示4.13.KMeans算法的十大应用4.13.1.文档分类器4.13.2.物品传输优化4.1原创 2021-05-27 23:13:10 · 9518 阅读 · 1 评论 -
3.TF-IDF算法介绍、应用、NLTK实现TF-IDF算法、Sklearn实现TF-IDF算法、算法的不足、算法改进
3.TF-IDF3.1.TF-IDF算法介绍3.2.TF-IDF应用3.3.NLTK实现TF-IDF算法3.4.Sklearn实现TF-IDF算法3.5.Jieba实现TF-IDF算法3.6.TF-IDF算法的不足3.7.TF-IDF算法改进—TF-IWF算法3.TF-IDF以下转自:https://blog.csdn.net/asialee_bird/article/details/814867003.1.TF-IDF算法介绍TF-IDF(term frequency–inverse原创 2021-05-27 22:53:28 · 2342 阅读 · 0 评论 -
2.1.决策树和随机森林
2.1.决策树和随机森林决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。决策树是一种基本的分类和回归方法,学习通常包含三个步骤:特征选择、决策树的生成和决策树的剪枝。在机器学习中,决策树是一个预测模型,他代表的是对象属性与对象值之间的一种映射关系。分类树(决策树)是一种十分常用的分类方法。数据挖掘中决策树是原创 2021-05-27 22:21:44 · 2091 阅读 · 0 评论 -
优化器(AdaGrad,AdaDelta,RmsProp,Adam,Nadam,Nesterovs,Sgd,momentum)
以下来自:https://my.oschina.net/u/2935389/blog/2967242https://mp.weixin.qq.com/s/NmSVXezxsQOZzK8pne3pCw1.5.1.1.AdaGrad(自适应学习率算法)1.5.1.2.AdaDelta1.5.1.3.RmsProp1.5.1.4.Adam1.5.1.5.AdaMax1.5.1.6.Nadam1.5.1.7.AMSGrad1.5.1.8.Nesterovs(动量的随机梯度下降法)1.5.1.9转载 2021-01-17 01:10:35 · 3708 阅读 · 0 评论 -
[机器学习] ML重要概念:梯度(Gradient)与梯度下降法(Gradient Descent)
本文转自:https://blog.csdn.net/walilk/article/details/50978864引言机器学习栏目记录我在学习Machine Learning过程的一些心得笔记,涵盖线性回归、逻辑回归、Softmax回归、神经网络和SVM等等,主要学习资料来自网上的免费课程和一些经典书籍,免费课程例如Standford Andrew Ng老师在Coursera的教程以及UFLDL Tutorial,经典书籍例如《统计学习方法》等,同时也参考了大量网上的相关资料(在后面列出)。前言机转载 2021-01-14 20:39:41 · 507 阅读 · 0 评论 -
梯度下降(Gradient Descent)小结
本博文转自:https://www.cnblogs.com/pinard/p/5970503.html转载 2021-01-14 19:54:06 · 224 阅读 · 0 评论 -
16_非监督学习、k-means 4阶段、kmeans API、Kmeans性能评估指标、案例
1、聚类算法介绍关于聚类算法,可以查看:常见的六大聚类算法2、k-means 4阶段K-means通常被称为劳埃德算法,这在数据聚类中是最经典的,也是相对容易理解的模型。算法执行的过程分为4个阶段。1.首先,随机设K个特征空间内的点作为初始的聚类中心。2.然后,对于根据每个数据的特征向量,从K个聚类中心中寻找距离最近的一个,并且把该数据标记为这个聚类中心。3.接着,在所有的数据都被标记过聚类中心之后,根据这些数据新分配的类簇,通过取分配给每个先前质心的所有样本的平均值来创建新的质心重,新对K个原创 2020-05-24 23:07:23 · 728 阅读 · 0 评论 -
常见的六大聚类算法:转自:https://blog.csdn.net/Katherine_hsr/article/details/79382249
1、K-Means(K均值)聚类算法步骤:(1) 首先我们选择一些类/组,并随机初始化它们各自的中心点。中心点是与每个数据点向量长度相同的位置。这需要我们提前预知类的数量(即中心点的数量)。(2) 计算每个数据点到中心点的距离,数据点距离哪个中心点最近就划分到哪一类中。(3) 计算每一类中中心点作为新的中心点。(4) 重复以上步骤,直到每一类中心在每次迭代后变化不大为止。也可以多次随机初始化中心点,然后选择运行结果最好的一个。下图演示了K-Means进行分类的过程:优点:速度快,计算简便转载 2020-05-24 20:55:57 · 1216 阅读 · 0 评论 -
15_岭回归-Ridge、岭回归API、线性回归和岭回归的对别;逻辑回归、sigmoid函数、逻辑回归公式、损失函数、逻辑回归API、逻辑回归案例、逻辑回归的优缺点、逻辑回归 VS 线性回归等
1、岭回归岭回归是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法,对病态数据的拟合要强于最小二乘法。1.1 Ridge线性回归sklearn APIsklearn.linear_model.Ridgeclass sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True, normalize=False, copy_原创 2020-05-24 12:42:10 · 2586 阅读 · 0 评论 -
14_过拟合与欠拟合,过拟合和欠拟合产生的原因以及解决办法,正则化,L1和L2
问题:训练数据训练的很好啊,误差也不大,为什么在测试集上面有问题呢?比如:原创 2020-05-19 20:13:05 · 2651 阅读 · 0 评论 -
13_线性回归分析、线性模型、损失函数、最小二乘法之梯度下降、回归性能评估、sklearn回归评估API、线性回归正规方程,梯度下降API、梯度下降 和 正规方程对比
1.线性回归1.1 线性模型试图学得一个通过属性的线性组合来进行预测的函数:1.2 定义定义:线性回归通过一个或者多个自变量与因变量之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合。一元线性回归:涉及到的变量只有一个。多元线性回归:涉及到的变量两个或两个以上。要注意的是:预测结果与真实值是有一定的误差的。单变量:多变量:1.3 损失函数(误差大小)如何去求模型当中的W,使得损失最小?(目的是找到最小损失对应的W值)缺点:当特征过于复杂,求解速原创 2020-05-18 21:26:03 · 1232 阅读 · 0 评论 -
12_信息熵,信息熵公式,信息增益,决策树、常见决策树使用的算法、决策树的流程、决策树API、决策树案例、随机森林、随机森林的构建过程、随机森林API、随机森林的优缺点、随机森林案例
1 信息熵以下来自:https://www.zhihu.com/question/22178202/answer/1617326051.2 信息熵的公式先抛出信息熵公式如下:1.2 信息熵信息量是对信息的度量,就跟时间的度量是秒一样,当我们考虑一个离散的随机变量x的时候,当我们观察到的这个变量的一个具体值的时候,我们接收到了多少信息呢?多少信息用信息量来衡量,我们接受到的信息量跟具体发生的事件有关。信息的大小跟随机事件的概率有关。越小概率的事情发生了产生的信息量越大,如湖南产生的地震了;越大原创 2020-05-14 20:55:59 · 2467 阅读 · 0 评论 -
11_模型的选择与调优,交叉验证,超参数搜索-网格搜索sklearn.model_selection.GridSearchCV
1、交叉验证交叉验证:为了让被评估的模型更加准确可信。交叉验证:将拿到的数据,分为训练和验证集。以下图为例:将数据分成5份,其中一份作为验证集。然后经过5次(组)的测试,每次都更换不同的验证集。即得到5组模型的结果,取平均值作为最终结果。又称5折交叉验证。2、超参数搜索-网格搜索通常情况下,有很多参数是需要手动指定的(如k-近邻算法中的K值),这种叫超参数。但是手动过程繁杂,所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。3、超参数搜索-网格原创 2020-05-11 16:50:41 · 1130 阅读 · 0 评论 -
10_分类算法-朴素贝叶斯算法应用场景、联合概率和条件概率、朴素贝叶斯介绍、朴素贝叶斯公式、朴素贝叶斯模型流程、半朴素贝叶斯分类器、sklearn朴素贝叶斯实现API、拉普拉斯平滑、优缺点、面试题
1、应用场景1.1 垃圾邮件分类2、概率基础概率定义为一件事情发生的可能性问题:1、女神喜欢的概率?2、职业是程序员并且体型匀称的概率?3、在女神喜欢的条件下,职业是程序员的概率?4、在女神喜欢的条件下,职业是产品,体重是超重的概率?2.1 联合概率和条件概率以下主要来自:https://blog.csdn.net/sinat_30353259/article/deta...原创 2020-05-11 15:49:41 · 2764 阅读 · 0 评论 -
机器学习数据资料下载地址
国内数据链接:https://pan.baidu.com/s/1kVKhEez密码:qjt1全球社交媒体链接:https://pan.baidu.com/s/1o7LNjQi密码:ftol好玩的数据集链接:https://pan.baidu.com/s/1kULToKv密码:lq5q各大企业电话邮箱创立时间链接:https://pan.baidu.com...转载 2020-04-29 20:34:43 · 1857 阅读 · 1 评论 -
09_分类算法--k近邻算法(KNN)、案例、欧氏距离、k-近邻算法API、KNeighborsClassifier、及其里面的案例(网络资料+学习资料整理笔记)
1 分类算法–k近邻算法(KNN)定义:如果一个样本在特征空间中**k个最相似(即特征空间中最邻近)**的样本中的大多数属于某一个类别,则该样本也属于这个类别,则该样本也属于这个类别。1.1 计算距离公式两个样本的距离可以通过如下公式计算,又叫欧氏距离,比如说,a(a1,a2,a3),b(b1,b2,b3)1.2 sklearn k-近邻算法APIsklearn.neighbors.K...原创 2020-04-28 20:14:34 · 6032 阅读 · 0 评论 -
08_sklearn数据集,数据集划分train_test_split,sklearn.datasets及其api,sklearn分类数据集,sklearn回归数据集,转换器与预估器
1、sklearn数据集与估计器1.1 数据集划分机器学习一般的数据集会划分为两个部分训练数据:用于训练,构建模型测试数据:在模型检验时使用,用来评估模型是否有效1.1.1 sklearn数据集划分APIsklearn.model_selection.train_test_split功能将数组或矩阵拆分为随机的训练子集和测试子集 。输入和输出输入:1、arrays: 具有相同...原创 2020-04-23 22:25:37 · 1204 阅读 · 0 评论 -
07_数据降维,降维算法,主成分分析PCA,NMF,线性判别分析LDA
1、降维介绍保证数据所具有的代表性特性或分布的情况下,将高维数据转化为低维数据。聚类和分类都是无监督学习的典型任务,任务之间存在关联,比如某些高维数据的分类可以通过降维处理更好的获得。降维过程可以被理解为数据集的组成成分进行分解(decomposition)的过程,因此sklearn为降维模块命名为decomposition。在对降维算法调用需要使用sklearn.decomposition...转载 2020-04-21 00:38:22 · 3322 阅读 · 0 评论 -
06_特征选择,特征选择的原因,sklearn特征选择API
1、特征选择1.1 特征选择原因冗余:部分特征的相关度高,容易消耗计算性能噪声:部分特征对预测结果有负影响1.1 特征选择是什么?特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征,特征在选择前和选择后可以改变值、也不改变值,但是选择后的特征维数肯定比选择前小,毕竟我们只选择了其中的一部分特征。主要方法(三大武器):Filter(过滤式):VarianceThreshol...原创 2020-04-16 12:15:41 · 1486 阅读 · 0 评论 -
05_数据的特征处理,归一化,标准化、缺失值处理,以及案例,使用场景,处理办法等
1.数据的特征处理1.1.特征处理是什么通过特定的统计方法(数学方法)将数据转换成算法要求的数据1.1.1.特征处理的方法1.1.1.1特征处理方法特征处理主要有以下几种方法:数值型数据:标准缩放1、归一化2、标准化3、缺失值类别型数据:one-hot编码时间类型:时间的切分1.1.1.1.1 数值型数据—归一化特点: 通过对原始数据进行变换把数据映射到某个区间之间(默...原创 2020-04-14 12:55:04 · 22855 阅读 · 0 评论 -
04_机器学习概述,什么是机器学习,应用场景,数据来源与类型,网上可用的数据集、常用数据集数据的结构组成、特征工程是什么、意义、特征抽取、sklearn特征抽取API、文本特征抽取(学习笔记)
机器学习概述人工智能、机器学习、深度学习之间的关系机器学习框架PytorchCaffe2theanoChainerScikit-learn语言支持机器学习书籍《面向机器智能 TensorFlow实践》《MACHINE LEARNING 机器学习》,周志华《TensorFlow技术解析与实践》什么是机器学习机器学习是从数据中自动分析获得规律(模型),并利用规律对未知数...原创 2020-04-10 00:58:44 · 591 阅读 · 0 评论 -
03_数据的特征抽取,sklearn特征抽取API,字典特征抽取DictVectorizer,文本特征抽取CountVectorizer,TF-IDF(TfidfVectorizer),详细案例
数据的特征抽取A:特征抽取实例演示通过演示得出结论:特征抽取针对非连续型数据特征抽取对文本等进行特征值化注:特征值化是为了计算机更好的去理解数据。B:sklearn特征抽取APIsklearn.feature_extraction模块,可以用于从包含文本和图片的数据集中提取特征,以便支持机器学习算法使用。注意:Feature extraction与Feature Selecti...原创 2020-04-10 00:55:39 · 1997 阅读 · 1 评论 -
02_混淆矩阵、准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F值(F-Measure) +Roc曲线和PR曲线+sklearn中分类模型评估API+ 自己补充整理
一、准确率、精确率、召回率和F值是选出目标的重要评价指标。不妨先看看这些指标的定义:(1)若一个实例是正类,但是被预测成为正类,即为真正类(True Postive TP)(2)若一个实例是负类,但是被预测成为负类,即为真负类(True Negative TN)(3)若一个实例是负类,但是被预测成为正类,即为假正类(False Postive FP)(4)若一个实例是正类,但是被预测成为负...原创 2020-04-09 18:19:47 · 5053 阅读 · 0 评论 -
01_什么是one-hot编码、one-hot编码过程详解、为什么需要one-hot编码?one-hot编码的优缺点、使用sklearn中的API举例
以下资料来自:网络+最后的整合https://www.cnblogs.com/shuaishuaidefeizhu/p/11269257.htmlhttps://www.cntofu.com/book/85/ml/clean-feature/one-hot.md一、什么是one-hot编码One-Hot编码,又称为一位有效编码,主要是采用N位状态寄存器来对N个状态进行编码,每个状态都由他独...转载 2020-04-08 19:40:50 · 7055 阅读 · 1 评论