Machine Learning
WNotSyer
DDL是第一生产力~
展开
-
(系列笔记)4.逻辑回归(上)
逻辑回归(Logistic Regression)——非线性逻辑函数的由来1、逻辑回归先来看LR本身,LR的模型函数记作:y=h(x)y=h(x)y=h(x),具体形式:对应一元自变量的形式:函数在二维坐标中(没错,就是Sigmoid函数):2、指数增长用一个例子来说明指数增长。最初,学者们将人口数量与时间的函数定义为W(t)W(t)W(t),ttt为时间,W(t)W(t)W(t...原创 2019-03-08 22:48:48 · 291 阅读 · 0 评论 -
(系列笔记)29.深度学习(下)
深度学习的愿景、问题、应用和资料深度学习的愿景深度学习的现实机器学习和深度学习深度学习的落地点深度学习的局限深度学习资料原创 2019-03-20 09:43:41 · 1517 阅读 · 0 评论 -
(系列笔记)8.SVM系列(1)
SVM——线性可分 SVM 原理线性可分和超平面二分类问题二分类问题就是:给定的各个样本数据分别属于两个类质疑,而目标是确定新数据点将归属到哪个类中。在机器学习的应用中,至少现阶段,分类是一个非常常见的需求,特别是二分类,它是一切分类的基础,而且很多情况下,多分类问题都可以转化为二分类问题来解决。特征的向量空间模型具体的样本在被机器学习算法处理时,由其特征来表示,换言之每个现实世界的事...原创 2019-03-11 20:30:05 · 602 阅读 · 0 评论 -
(系列笔记)9.SVM系列(2)
SVM——直观理解拉格朗日乘子法拉格朗日乘子法是一种多元函数在变量收到条件约束时,求极值的方法,这里用来解决SVM目标函数最优化问题。1、可视化函数及其约束条件以二元函数为例。(被约束的)函数假设z=f(x,y)z=f(x,y)z=f(x,y),涉及x,y,z,可以再三维空间中画图图像:(函数的)约束条件函数f(x,y)f(x,y)f(x,y)的约束条件为g(x,y)=0g(x,y...原创 2019-03-11 23:40:30 · 333 阅读 · 0 评论 -
(系列笔记)20.由KNN引出KMeans
从有监督到无监督:由 KNN 引出 KMeans从有监督学习到无监督学习有监督学习和无监督学习,是机器学习的两个大类别。我们之前讲的都是有监督学习,毕竟有监督学习现阶段还是机器学习在实际应用中的主流。有监督学习(Supervised Learning)所谓有监督学习,即:训练数据同时拥有输入变量(x)和输出变量(y);用一个算法把输入到输出的映射关系——y=f(x)y=f(x)y=f...原创 2019-03-16 23:12:52 · 258 阅读 · 0 评论 -
(系列笔记)21.KMeans聚类算法
KMeans——最简单的聚类算法什么是聚会(Clustering)聚类并非一种机器学习专有的模型或算法,而是一种统计分析技术,在许多领域得到广泛应用。广义而言,聚类就是通过对样本静态特征的分析,把相似的对象,分成不同子集(后面我们将聚类分出的子集称为“簇”),被分到同一个子集中的样本对象都具有相似的属性。在机器学习领域,聚类属于一种无监督式学习算法。许多聚类算法在执行之前,需要指定从输入...原创 2019-03-16 23:55:07 · 1204 阅读 · 0 评论 -
(系列笔记)10.SVM系列(3)
SVM——对偶学习算法对偶问题上一篇z,g分别代表一个二元函数和一个一元函数,一般情况下,我们用x代表一个函数的自变量,而这个x本身可以是多维的。而且,同一个函数可能同时既有等式约束条件,又有不等式约束条件。主问题考虑在d维空间上有m个等式约束条件和n个不等式约束条件的极小化问题,这样的问题可以写作:我们把上述问题称为“原始最优化问题”,也可以叫做“原始问题”或“主问题”。为了解决原...原创 2019-03-12 21:00:49 · 302 阅读 · 0 评论 -
(系列笔记)11.SVM系列(4)
SVM——线性SVM,间隔由硬到软从线性可分SVM到线性SVM对偶法最优化线性SVM主问题线性 SVM 的支持向量原创 2019-03-12 21:03:03 · 344 阅读 · 0 评论 -
(系列笔记)12.SVM系列(5)
SVM——非线性SVM和核函数非线性分类问题非线性SVM核函数的性质核函数的种类构建自己的核函数数据归一化原创 2019-03-12 21:17:23 · 338 阅读 · 0 评论 -
(系列笔记)22.谱聚类
谱聚类——无需指定簇数量的聚类无须事先指定簇数量的聚类说到聚类,最常见的模型当然是 KMeans。不过如果使用 KMeans 的话,需要在算法运行前指定 k 的值——也就是要在训练前指定最后的结果被分为几簇。现实中有相当多的聚类问题,无法事先指定簇的数量。KMeans 就无法完成这类任务。好在聚类方法有很多,有一种算法,不仅不需要事先指定 k 值,还可以在结果中保证每个簇中的个体数量低于某...原创 2019-03-17 21:04:29 · 1683 阅读 · 4 评论 -
(系列笔记)23.EM算法
EM算法——估计含有隐变量的概率模型的参数含有隐变量的概率模型EM算法的推导过程原创 2019-03-17 21:09:00 · 264 阅读 · 0 评论 -
(系列笔记)24.GMM算法(上)
GMM——将“混”在一起的样本各归其源个体 vs 集体已知每个簇的原始分布已知分布条件下的样本归属学习概率密度函数参数同分布的混合模型原创 2019-03-18 21:41:55 · 383 阅读 · 1 评论 -
(系列笔记)25.GMM算法(下)
GMM——用 EM 算法求解 GMM高斯分布高斯混合模型(GMM)用 EM 算法学习 GMM 的参数GMM 实例原创 2019-03-18 21:43:11 · 1392 阅读 · 1 评论 -
(系列笔记——收官)30.人工智能、机器学习和深度学习
文章目录人工智能、机器学习和深度学习人工智能的发展人工智能、机器学习和深度学习的关系什么是神经网络神经网络的两个要素神经网络的训练对人类神经系统的模拟已知和未知训练过程人工智能、机器学习和深度学习人工智能(Artificial Intelligence,AI)人工智能的字面意义就已经解释了它的内在含义,所谓人工智能,包括两个部分:人工:人造的,非天生的(非生物的);智能:能够独立...原创 2019-03-24 06:47:11 · 611 阅读 · 0 评论 -
(系列笔记)28.深度学习(上)
几种深度学习网络神经网络的历史沿革深度学习(Deep Learning)不同种类的深度学习网络原创 2019-03-20 09:40:53 · 966 阅读 · 0 评论 -
(系列笔记)19.CRF(下)
CRF——三个基本问题线性链CRF的形式化表示CRF的三个基本问题原创 2019-03-15 16:30:37 · 532 阅读 · 0 评论 -
(系列笔记)18.CRF(上)
CRF——概率无向图模型到线性链条件随机场概率无向图条件随机场(Conditional Random Field,CRF)线性链CRFHMM和线性链CRF原创 2019-03-15 16:29:17 · 496 阅读 · 0 评论 -
(系列笔记)13.SVR模型
SVR——一种“宽容的回归模型”严格的线性回归线性回归:在向量空间里用线性函数去拟合样本。该模型以所有样本实际位置到该线性函数的综合距离为损失,通过最小化损失来求取线性函数的参数。对于线性回归而言,一个样本只要不算正好落在作为模型的线性函数上,就要被计算损失。宽容的支持向量回归(SVR)介绍一种“宽容的”回归模型:支持向量回归(Support Vector Regression,SVR)...原创 2019-03-13 22:13:01 · 56255 阅读 · 8 评论 -
(系列笔记)14.SVM和SVR
直观认识SVM和SVR1、SVM实例整理一下,前面讲了线性可分 SVM、线性 SVM、非线性 SVM 和核函数,这次笔记就通过一些例子来直观理解一下,特征采用的是一维特征。线性可分SVM import numpy as np import matplotlib.pyplot as plt from sklearn.svm import SVC # "Support v...原创 2019-03-13 22:38:03 · 3375 阅读 · 0 评论 -
(系列笔记)5.逻辑回归(下)
逻辑回归——用来做分类的回归模型1、回归模型做分类线性回归的预测结果是一个连续值域上的任意值,而朴素贝叶斯分类模型的预测结果则是一个离散值,但LR却是用来做分类的,其模型函数:在二维坐标中形成S形曲线:图中,z是自变量(横轴),最终计算出的因变量y(纵轴),是一个[0,1]区间内的实数值。一般而言,y>0.5y>0.5y>0.5时,z被归类为真(Tru...原创 2019-03-09 13:15:54 · 231 阅读 · 0 评论 -
(系列笔记)15.HMM系列(1)
HMM——定义和假设概念讲解概率模型(Probabilistic Model)所谓概率模型,顾名思义,就是将学习任务归结于计算变量的概率分布的模型。概率模型非常重要。在生活中,我们经常会根据一些已经观察到的现象来推测和估计未知的东西——这种需求,恰恰是概率模型的推断(Inference)行为所做的事情。推断(Inference)的本质是:利用可观测变量,来推测未知变量的条件分布。我们下...原创 2019-03-14 23:11:21 · 371 阅读 · 1 评论 -
(系列笔记)16.HMM系列(2)
HMM——三个基本问题三个基本问题概率计算问题预测问题学习问题举例子背景问题分析求解三个基本问题的现实意义原创 2019-03-14 23:14:15 · 282 阅读 · 1 评论 -
(系列笔记)17.HMM系列(3)
HMM——三个基本问题的计算1、概率计算问题直接计算前向-后向算法2、预测算法直接求解维特比算法3、学习算法有监督学习无监督学习4、HMM实例code & result...原创 2019-03-14 23:17:10 · 271 阅读 · 0 评论 -
(系列笔记)6.决策树(上)
决策树——既能分类又能回归的模型1、决策树决策树上一中非常基础又常见的机器学习模型。一颗决策树(Decision Tree) 是一个树结构(可以是二叉树或非二叉树),每个非叶节点对应一个特征,该节点的每个分支代表这个特征的一个取值,而每个叶节点存放一个类别或一个回归函数。使用决策树进行决策的过程就是从根节点开始的,提取出待分类项中相应的特征,按照其值选择输出分支,以此向下,知道达到叶子节点,...原创 2019-03-10 22:30:34 · 235 阅读 · 0 评论 -
(系列笔记)7.决策树(下)
决策树——告诉你Hello Kitty是人是猫(案例)1、背景2014年8月,研究 Hello Kitty 多年的人类学家 Christine R. Yano 在写展品解说时,却被 Hello Kitty 持有商三丽鸥纠正:Hello Kitty 是一个卡通人物,她是一个小女孩,是一位朋友,但她“绝不”是一只猫。那让我们来用计算机给出答案,它到底是什么?2、训练数据如图所示,左边是一群小...原创 2019-03-10 23:15:39 · 235 阅读 · 0 评论 -
(系列笔记)26.主成分分析——PCA(上)
PCA——利用数学工具提取主要特征泛滥成灾的特征维度降低数据维度主成分分析(PCA)的原则PCA 的优化目标原创 2019-03-19 20:08:30 · 1092 阅读 · 0 评论 -
(系列笔记)27.主成分分析——PCA(下)
PCA——用 SVD 实现 PCAPCA 优化算法PCA的优化算法目的是优化它的目标函数:算法一,拉格朗日乘子法:令:然后对W求导,并令导函数为0可得:这是一个标准的特征方程求解问题,只需要对协方差矩阵XXTXX^TXXT进行特征值分解,将求得的特征值排序:λ1≥λ2≥...≥λd\lambda_1\ge\lambda_2\ge...\ge\lambda_dλ1≥λ2≥......原创 2019-03-19 20:21:53 · 968 阅读 · 0 评论 -
(系列笔记)3.有监督学习——朴素贝叶斯分类器(2)
朴素贝叶斯分类器——条件概率的参数估计1、朴素贝叶斯公式符号说明:符号含义D训练集DcD_cDc训练集中最终分类结果为c的那部分样本的集和X单个训练样本xi(j)x_i^{(j)}xi(j)第j个样本的第i个特征的特征值mD中样本的个数mcm_cmcDcD_cDc中样本的个数,一般情况下(mcm_cmc<m)...原创 2019-03-07 23:35:08 · 599 阅读 · 0 评论 -
(系列笔记)1.绪论
1.绪论附逻辑回归code: from numpy import * from sklearn.datasets import load_iris # import datasets # load the dataset: iris iris = load_iris() samples = iris.dat...原创 2019-03-07 23:48:16 · 269 阅读 · 0 评论 -
(系列笔记)2.基本原理
1、机器是如何学习的2、机器学习三要素之数据、模型、算法3、模型的获取与改进4、模型的质量和评价标准5、梯度下降法原文档上传至:https://download.csdn.net/download/qq_41909317/11072287...原创 2019-03-07 23:55:41 · 170 阅读 · 2 评论 -
labelme产生的json文件批量转化label.png
labelme产生的json文件批量转化label.png参考1参考2话不多说,代码说明1、将labelme虚拟环境中的json_to_dataset.py文件内容先替换如下,使用时labelme_json_to_dataset D:/json/dir然后会把D:/json/dir中的json文件输出到当前工作目录(注意这里看着可能是全是黑的,其实不是,只是像素值比较小,0、1,2。。。...原创 2019-07-21 11:44:20 · 6530 阅读 · 2 评论