Machine Learning
文章平均质量分 87
机器学习
天真的和感伤的想象家
这个作者很懒,什么都没留下…
展开
-
机器学习中隐马尔可夫模型(Hidden Markov Model, HMM)理论
隐马尔可夫模型(Hidden Markov Model, HMM)前言 :内容从实际案例到模型提取、建立、求解以及应用,侧重于该模型在机器学习中的研究和应用。参考书:《统计学习方法》《The Model Thinker》文章目录隐马尔可夫模型(Hidden Markov Model, HMM)1. 马尔可夫宿命论1.1 案例1.2 宿命2. 马尔可夫过程3. 隐马尔可夫模型3.1 从 EM 算法3.2 从马尔可夫过程3.3 到隐马尔可夫模型(HMM)3.3.1 形式定义3.3.2 模型建立3.原创 2020-06-26 22:59:39 · 874 阅读 · 0 评论 -
模糊C聚类(Fuzzy C-means Clustering, FCM)
文章目录模糊C聚类(Fuzzy C-means Clustering, FCM)1. 思想2. 说明3. 推导3.1 初始条件3.2 目标函数3.3 最优化求解3.4 问题解决4. 实现4.1 代码4.2 结果模糊C聚类(Fuzzy C-means Clustering, FCM)1. 思想簇内距离尽量小(*)簇间距离尽量大2. 说明某种程度上类似于 LDA 的思想,但他们间有明显差距,LDA是属于监督学习下的降维操作,而该聚类基于非监督;过程跟k-means聚类类似,区别在于FC原创 2020-06-17 23:19:45 · 4700 阅读 · 7 评论 -
机器学习之聚类(Clustering,包含k-means,DBSCAN等算法)
聚类(Clustering)文章目录聚类(Clustering)基本内容1. 关于主要思想(聚类任务)2. 关于聚类规则(聚类算法)2.1 划分方法(partitioning method)2.1.1 k-means 算法算法步骤编程实现结果心得优缺点2.1.2 高斯混合聚类2.2 层次方法(hierarchical method)2.3 基于密度(density-based method)2.3.1 具有噪声应用的基于密度的空间聚类(Density-Based Spatial Clustering of原创 2020-06-09 23:33:01 · 611 阅读 · 0 评论 -
深度学习之数据增强(数据集扩充)方式和实现总结
数据增强相关实现总结如下:import cv2import numpy as npimport tensorflow as tfimport imutilsimport skimageimport pillowpath = '/home/zhangwei/workfiles/deeplearning/dogVScat/data/cat_1.jpg'img = cv2.imread...原创 2020-03-17 22:47:43 · 27738 阅读 · 7 评论 -
机器学习之期望最大化算法(Expectation Maximization, EM)
文章目录期望最大化算法(Expectation Maximization, EM)1. 基本内容2. 从三硬币模型2.1 问题提出2.2 解决方案2.3 换个角度3. 到高斯混合模型(Gaussian misture model)3.1 模型建立3.2 问题提出3.3 解决方案4. EM算法4.1 总结4.2 主要思想4.3 算法步骤5. 实例说明6. 应用期望最大化算法(Expectation Maximization, EM)1. 基本内容用于含有隐变量的概率模型参数的极大似然估计EM 是个一原创 2020-06-02 10:12:21 · 1420 阅读 · 0 评论 -
特征抽取与数据降维(LDA,SVD,PCA)
文章目录特征抽取与数据降维(LDA,SVD,PCA)线性代数基础1. 正交矩阵 /幺正矩阵2. 相似矩阵3. 对称矩阵/埃尔米特矩阵4. 基变换与坐标变换5. 投影矩阵6. 协方差矩阵7. 矩阵求导8. 瑞利熵奇异值分解(Singular Value Decomposition, SVD)1. 正交对角分解2. 奇异值分解主成分分析(Principal Component Analysis, PCA)总体概括问题引入推导过程0. 条件1. 思路基于最近重构性基于最大可分性2. 方法基于拉格朗日乘子基于奇异值原创 2020-05-24 16:32:31 · 1494 阅读 · 3 评论 -
关于目标检测模型 R-CNN 模型简单总结(R-CNN,SPPnet, Fast R-CNN)
文章目录一些基础概念R-CNN(2014)SPPnet(2015)Fast R-CNNFaster R-CNN一些基础概念fine-tuneIoU 指标Region Proposals算法selective searchobjectnesscategory-independen object proposalsconstrained parametric min-cutsmul...原创 2020-05-07 12:17:50 · 697 阅读 · 0 评论 -
基于卷积神经网络(CNN)的几个网络模型(LeNet, AleNet, VGG, GoogLeNet)总结
文章目录LeNet(1998)AlexNet(2012)VGG(2014)GoogLeNet(2014)LeNet(1998)论文:Gradient-based learning applied to document recognition结构:LayerDescriptionoutSizeparamsinput32 x 32 x 11Conv 5...原创 2020-05-03 17:29:38 · 1349 阅读 · 0 评论 -
机器学习之支持向量机 (Support Vector Machines, SVM)
前言: 学习笔记,记录下对于一些问题的记录和理解,复习和加深记忆用,挖坑补坑用。参考:李航 《统计学习方法》基本内容支持向量机是一种二类分类模型。学习策略是间隔最大化,可形式化为求解一个凸二次规划问题,或等价于最小化正则化的合页损失函数。支持向量机从简至繁模型线性可分支持向量机(硬间隔最大化)线性支持向量机(软间隔最大化)非线性支持向量机(核技巧+软间隔最大化)从感知机模型...原创 2020-04-28 23:34:34 · 359 阅读 · 0 评论 -
机器学习的基础补充知识(最优化理论,雅克比、海森矩阵、函数空间等)
Turing Machine 图灵机基本思想:用机器模拟人类用纸笔数学运算过程图灵机构造:纸带,读写头,控制指令,状态存储器图灵完备:可计算的问题图灵机都能计算,满足这样要求的逻辑系统、装置或编程语言就叫图灵完备文章参考:https://www.cs.virginia.edu/~robins/Turing_Paper_1936.pdf视频参考:https://www.bili...原创 2020-04-25 10:05:30 · 430 阅读 · 0 评论 -
机器学习之最大熵模型(Maximum Entropy Model)
前言: 学习笔记,记录下对于一些问题的记录和理解,复习和加深记忆用,挖坑补坑用。参考:李航 《统计学习方法》0. 基本内容最大熵原理熵:表征信息的不确定程度(how?)H(p)=−∑xP(x)logP(x)H(p) = - \sum\limits_x P(x) logP(x)H(p)=−x∑P(x)logP(x)原理:在满足约束条件(如何规定?how?)的模型集合...原创 2020-04-23 22:44:40 · 603 阅读 · 0 评论 -
机器学习之逻辑斯蒂回归(Logistic Regression)
前言: 学习笔记,记录下对于一些问题的记录和理解,复习和加深记忆用,挖坑补坑用。参考:李航 《统计学习方法》0. 基本内容逻辑斯蒂分布(logistic distribution)分布函数F(x)=11+e−(x−μ)/γF(x) = \frac{1}{1+e^{-(x-\mu)/\gamma}}F(x)=1+e−(x−μ)/γ1密度函数f(x)=e−(x−μ)...原创 2020-04-21 20:10:42 · 474 阅读 · 0 评论 -
机器学习之集成学习(Ensemble Learning)
**前言: ** 学习笔记,记录下对于一些问题的记录和理解,复习和加深记忆用,挖坑补坑用。参考:李航 《统计学习方法》0. 集成学习集成学习思想是组合多个弱分类器(基分类器),从而得到一个更好更全面的强分类模型。即,将几种机器学习技术组合,达到减少偏差、方差或改进预测的效果。基分类器可以使用不同类别的基本分类器(ID3/C4.5/CART/SVM/LOGISTIC等),组合。模型组...原创 2020-04-19 23:02:01 · 857 阅读 · 0 评论 -
机器学习之决策树(decision tree)
**前言: ** 学习笔记,记录下对于一些问题的记录和理解,复习和加深记忆用,挖坑补坑用。参考:李航 《统计学习方法》0. 基本内容决策树可认为是定义在特征空间与类空间上的条件分布。其学习通常包括三个步骤:特征选择、决策树生成和决策树的剪枝。1.导读三要素:模型(决策函数),策略(损失函数和风险函数最小化),算法(具体计算方法)熵、条件熵、信息增益、信息增益率熵的由来,...原创 2020-04-15 21:29:47 · 230 阅读 · 0 评论 -
机器学习之朴素贝叶斯法(naive Bayes)
前言: 学习笔记,记录下对于一些问题的记录和理解,复习和加深记忆用,挖坑补坑用。参考:李航 《统计学习方法》0. 基本内容P(Y=ck∣X=x)=P(Y=ck)P(X=x∣Y=ck)P(X=x)P(Y=c_k|X=x) = \frac{P(Y=c_k)P(X=x|Y=c_k)}{P(X=x)}P(Y=ck∣X=x)=P(X=x)P(Y=ck)P(X=x∣Y=ck)1. 问题...原创 2020-04-08 00:08:59 · 214 阅读 · 0 评论 -
机器学习之k近邻算法(k-nearest neighbor, k-NN)
**前言: ** 学习笔记,记录下对于一些问题的记录和理解,复习和加深记忆用,挖坑补坑用。参考:李航 《统计学习方法》0. 基本内容k近邻算法(kNN)是一种基本分类和回归方法。其不具有显式的学习过程,而是通过给定的训练集合数据,通过k个最近邻的训练实例通过多数表决的方式,进行预测。1. 问题与理解几种距离特征空间中两“点” xi=(xi(1),xi(2),...,xi(n))...原创 2020-04-04 22:36:35 · 880 阅读 · 0 评论 -
机器学习之感知机模型(Perceptron)
前言: 学习笔记,记录下对于一些问题的记录和理解,复习和加深记忆用,挖坑补坑用。参考:李航 《统计学习方法》0. 基本内容感知机(perceptron)是用于二分类的一种线性分类器,是支持向量机(support vector machines, SVM)和神经网络(neural network, NN)的基础。1. 问题及理解判别模型与生成模型挖坑超平面严格定义...原创 2020-04-04 16:18:42 · 999 阅读 · 0 评论 -
从编译过程到关键词( static / extern )
前言: 之前总是对于c++中的一些关键字的用法理解得云里雾里,此篇便是自己从头总结梳理了一下。从根本上理解和应用好这些关键词。此篇也给自己挖了许多待填的坑,浏览查看《编译原理》。1. 从c++的程序实现说起曾对编程了解甚少的时候,就特别好奇一行行字母代码是如何让计算机听话的,是如何转化为计算机“行动”,完成很多不可思议的动作的。后来接触微机原理,再后来读到一些关于计算机实现的硬件原理的书,...原创 2020-01-31 14:32:03 · 414 阅读 · 0 评论