Machine Learning
文章平均质量分 95
bryant_meng
究天人之际,通古今之变,成一家之言。
展开
-
【HMM】Hidden Markov Model
文章目录1 引入1.1 Markov property1.2 Markov chain1.3 一阶离散马尔可夫模型2 HMM理论3 HMM中三个基本问题的求解3.1 评估问题3.2 解码问题3.3 学习问题4 HMM在语音识别中的应用5 Matlab 实现基于 HMM 的男女声识别仿真声明:参考程窦华的报告1 引入1.1 Markov property如果一个过程的“将来”仅依赖“现在”而不依赖“过去”,则此过程具有马尔可夫性,或称此过程为马尔可夫过程(日光族,积蓄什么的不存在的)。X(t原创 2024-03-20 10:00:41 · 998 阅读 · 0 评论 -
《Scikit Learn | MorvanZhou 》learning notes
学习资源https://scikit-learn.org/stable/https://morvanzhou.github.io/tutorials/machine-learning/sklearn/文章目录1 Why Scikit Learn2 通用学习模式(牛刀小试)1 Why Scikit LearnScikit learn 也简称 sklearn, 是机器学习领域当中最知名...原创 2023-04-17 10:49:14 · 959 阅读 · 0 评论 -
k-Nearest Neighbor
CS231n课程笔记翻译:图像分类笔记(上)CS231n课程笔记翻译:图像分类笔记(下)文章目录1 With N examples, how fast are training and prediction?2 hyper-parameters(choices about the algorithm that we set rather than learn)3 k-Nearest Neig...原创 2018-10-28 21:08:39 · 399 阅读 · 0 评论 -
【Keras-MLP】Titanic
目录原创 2018-07-24 09:30:09 · 925 阅读 · 0 评论 -
Support Vector Machine
文章目录1 SVM2 SVM+soft margin3 SVM + kernel function4 SVM + regression1 SVM目标函数详细的推导可以看 支持向量机原理篇之手撕线性SVM [★★★★★ 推荐], 此处不赘述,看完后,看能不能回答如下几个问题:margin 的求法,1的由来(放缩)min max L 中 max 由来(max L 等价于 带约束的最小...原创 2018-10-27 00:43:39 · 250 阅读 · 0 评论 -
Expectation Maximization
文章目录1 Introduction2 Algorithm2.1 Convex function2.2 Jensens inequality(琴生不等式)2.3 Gauss3 Algorithm3.1 问题引入3.2 Maximum Likelihood Estimate(MLE)3.2.1 Latent Variable3.2.2 收敛性3 Example1 IntroductionEM算...原创 2018-11-06 02:33:01 · 1270 阅读 · 0 评论 -
Gradient Boosting Decision Tree
文章目录1 GBDT概述2 GBDT的负梯度拟合3 GBDT回归算法4 Demo5 优缺点【附录】GBDT和XGBoost的区别参考借鉴博客 GBDT原理与Sklearn源码分析-回归篇 (★★★★★)1 GBDT概述 梯度提升树属于Boosting集成学习算法的一种,其思想不同于随机森林、Bagging的并行化、投票的流程,GBDT模型所输出的结果是由其包含的若干棵决策树累加而得到的...原创 2018-12-30 17:49:18 · 687 阅读 · 0 评论 -
Singular Value Decomposition
文章目录1 特征分解1.1 相似矩阵1.2 正交矩阵1.3 实对称矩阵1.4 特征值、特征向量1.5 二次型1.6 正定二次型和正定矩阵1.7 特征分解2 SVD 分解2.1 推导2.2 计算一个矩阵的 SVD 形式3 逆矩阵4 伪逆矩阵5 最小范数解向量矩阵可视化的 demo 可以参考 【python】Linear Algebra对矩阵进行线性表示,类比泰勒公式!1 特征分解1.1 ...原创 2019-08-08 23:29:38 · 3308 阅读 · 1 评论 -
Principal Component Analysis
PCA(Principal Component Analysis) 和 SVD (参考Singular Value Decomposition)一样,也是数据压缩的一种方法!文章目录1 最小重构误差2 最大方差1 最小重构误差图片来自于葫芦书(《百面机器学习》)中心化就是每个维度都减去该维度的均值!原来每一个样本点需要 xxx 和 yyy 两个维度来表示,如果把样本点投影到上图所示的直...原创 2019-08-09 22:55:47 · 227 阅读 · 0 评论 -
Unconstrained and Constrained Optimization
文章目录1 无约束的最优化问题1.1 梯度下降法1.2 牛顿法1.3 梯度下降法和牛顿法的比较1.4 阻尼牛顿法1.5 拟牛顿条件2 有约束的最优化问题2.1 等式约束2.2 不等式约束(KKT)3 例题1 无约束的最优化问题无约束优化问题是机器学习中最普遍、简单的优化问题。x∗=minxf(x),x∈Rnx^{*}=\underset{x}{min}f(x),x\in \mathbb{R}...原创 2019-08-20 21:11:23 · 573 阅读 · 0 评论 -
MLE, MAP and LSM
文章目录1 最大似然估计法1.1 似然函数1.2 最大似然估计1.3 求解步骤1.4 Demo(高斯函数的均值和方差)2 最大似然估计和最小二乘法的联系3 最大后验概率估计最小二乘法(Least Squares Method)和最大似然估计(Maximum Likelihood Estimate)有内在的联系吗?本博客阐述的是二者之间的千丝万缕!对于最小二乘,当从模型总体随机抽取 nnn 组样...原创 2019-08-22 22:56:52 · 572 阅读 · 0 评论 -
Cluster(Simple Example)
文章目录1 基本概念1.1 聚类的定义1.2 应用聚类分析的例子1.3 什么是一个好的聚类方法?2 相似性度量3 Simple Eaxmple3.1 划分聚类(Partitional Clustering)3.2 层次聚类(Hierarchical Clustering)1 基本概念1.1 聚类的定义聚类:将一个包含 nnn 个数据对象的集合组织成 kkk 个划分(k⩽nk\leqslan...原创 2018-07-06 23:04:27 · 466 阅读 · 0 评论 -
【Tips of machine learning and deep learning】
Levers are simple too, but they can move the world1.文章目录Occam’s razorNo Free Lunch TheoremUgly duckling theoremFeature combinationsDiscriminative vs. GenerativeLoss functions深度学习模型超参数搜索1)Hyper-para...原创 2018-07-23 17:34:35 · 694 阅读 · 1 评论 -
【matlab】线性回归
1 单变量线性回归1.1 可视化数据集fprintf('Plotting Data ...\n')data = load('ex1data1.txt');% 第一列数和第二列数分别为x,y,X = data(:, 1); %(97,1)y = data(:, 2);%(97,1)m = length(y); % 训练样本的个数,97figure; % open a new figure原创 2017-11-26 22:05:06 · 13331 阅读 · 2 评论 -
【matlab】Logistic Rgression
参考吴恩达的course1 载入数据 载入数据,数据有三列,前两列是x1x_{1}、x2x_{2},第三列是 yy,可以形象化为两位面试官给应聘者打分,分数为x1x_{1}、x2x_{2},y的值是0或者1,表示录用或者不录用。data = load('ex2data1.txt');%(100,3)X = data(:, [1, 2]); y = data(:, 3);%y是0,1 可视化原创 2019-08-24 01:56:07 · 3687 阅读 · 3 评论 -
【python】CART
1 复杂数据的局部性建模2 连续和离散型特征的树的构建3 将CART算法用于回归3.1 构建树3.2 运行代码4 剪枝4.1 预剪枝4.2 后剪枝节选自《Machine Learning in Action》——Peter Harrington 中文版是《机器学习实战》 本文介绍的是CART算法,用python实现,编译器为jupyter1 复...原创 2018-06-29 19:42:29 · 880 阅读 · 0 评论 -
【weka】决策树C4.5
参考C4.5算法详解(非常仔细)用 WEKA 进行数据挖掘,第 2 部分weka算法参数整理文章目录1 算法原理1.1 计算类别信息熵1.2 计算每个属性的信息熵1.3 计算信息增益1.4 计算属性分裂信息度量1.5 计算信息增益率2 weka上的实现2.1 WEKA 数据集2.2 在 WEKA 内进行分类1 算法原理 首先,C4.5是决策树算法的一种。决策树算法作为一种分类算法,...转载 2018-03-08 00:21:41 · 15719 阅读 · 3 评论 -
【python】ID3
节选自《Machine Learning in Action》——Peter Harrington中文版是《机器学习实战》本文介绍的是ID3算法,用python实现,编译器为jupyter文章目录1 决策树的构造1.1 信息增益1.2 划分数据集1.3 递归构建决策树2 在Python中使用Matplotlib注解绘制树形图2.1 Matplotlib注解2.2 构造注解树3 Simple...原创 2018-03-06 14:19:30 · 423 阅读 · 0 评论 -
【python】Scikit-learn中决策树可视化方法
参考官方文档,决策树的介绍官方文档,回归树使用参数介绍官方文档,回归树小的例子scikit-learn决策树算法类库使用小结(分类回归树参数对比介绍与可视化方法)官方回归树的example代码如下print(__doc__)# Import the necessary modules and librariesimport numpy as npfrom s...原创 2018-03-19 19:49:05 · 15147 阅读 · 5 评论 -
Bagging and Boosting
从算法来看,Bagging关注的是多个基模型的投票组合,保证了模型的稳定,因而每一个基模型就要相对复杂一些以降低偏差(比如每一棵决策树都很深);而Boosting采用的策略是在每一次学习中都减少上一轮的偏差,因而在保证了偏差的基础上就要将每一个基分类器简化使得方差更小。这两种方法都是把若干个分类器整合为一个分类器的方法,只是整合的方式不一样,最终得到不一样的效果,将不同的分类算法套入到此类算法框架中一定程度上会提高了原单一分类器的分类效果,但是也增大了计算量。原创 2018-04-09 10:55:23 · 408 阅读 · 0 评论 -
Naive Bayes(Simple Example)
文章目录1 假设2 Notion3 Simple Example4 基于最小错误率的贝叶斯决策5 基于最小风险贝叶斯决策1 假设计算P(X∣Ci)P(X|C_i)P(X∣Ci),朴素贝叶斯分类假设类条件独立,即给定样本属性值相互条件独立。P(x1,…,xk∣Ci)=P(x1∣Ci)⋅…⋅P(xk∣Ci)P(x_1,…,x_k|C_i) = P(x_1|C_i)·…·P(x_k|C_i)P(x1,…,xk∣Ci)=P(x1∣Ci)⋅…⋅P(xk∣Ci)2 Notion贝叶斯定理:P原创 2018-06-29 23:00:31 · 368 阅读 · 0 评论 -
Apriori and FP-tree(Simple Example)
关联规则挖掘从交易数据库中挖掘一维的布尔形关联规则从交易数据库中挖掘多层次关联规则在交易数据库和数据仓库中挖掘多维关联规则从关联挖掘到相关性分析定义:在交易数据、关系数据或其他信息载体中,查找存在于项目集合或对象集合之间的频繁模式、关联、相关性、或因果结构。应用:购物篮分析、交叉销售、产品目录设计、 loss-leader analysis、聚集、分类等。...原创 2018-06-30 11:03:10 · 415 阅读 · 0 评论 -
Conditional Random Field
作者:milter 链接:https://www.jianshu.com/p/55755fc649b1 來源:简书1 从例子说起——词性标注问题2 定义CRF中的特征函数3 从特征函数到概率4 几个特征函数的例子5 CRF与逻辑回归的比较6 CRF与HMM的比较 假设你有许多小明同学一天内不同时段的照片,从小明提裤子起床到脱裤子睡觉各个时间段都有(小明是照...转载 2018-07-02 20:12:52 · 812 阅读 · 0 评论 -
Probabilistic Graphical Model
文章目录1 HMM1.1 Notion1.2 产生观测序列2 MRF2.1 什么是 MRF2.2 团(clique)2.3 联合概率2.4 分离集(separating set) 概率图模型(probabilistic graphical model)是一类用图来表达变量相关关系的概率模型(是否独立) 大致分为两类 1)用有向无环图表示变量间的依赖关系,称为有向图模型或者 Bayesian network 2)用无向图表示变量之间的相关关系,成为无向图模型或者马尔可夫网(Markov ne原创 2018-07-03 20:53:34 · 1549 阅读 · 0 评论