- 博客(59)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Git学习笔记
Git学习笔记一、gitgub安装，环境搭建linux：sudo apt-get install gitwindows：git config --global use.name “myazi”git config --global user.email “xxx”git config --list 查看配置然后，我们可以看看自己电脑里有没有ssh密钥，linux下是在/home/.ssh，window是在C:\Users\Username\.ssh，有则备份删除，然后在终端中运行 bash s
2020-11-15 20:17:58
208
原创 Linux笔记
Linux笔记：1、常用命令50 1、 cd命令 功能说明：切换目录。 举 例：却换到根目录 ：cd / 2、 ls命令 功能说明：列出目录内容。 举 例：列出/var目录的文件和目录的信息 ：ls –l /var；最常用方式 ls –ltr 3、 cat命令 功能说明：查看小文件内容。 举 例：查看test.txt 文件内容 ：cat test.txt cat -n textfile1 >
2020-11-15 20:17:23
197
原创 C++学习笔记
C++学习笔记本笔记基于C语言基础上学习C++，参考数据 Essential C++一、C++编程基础二、面向过程编程风格基于C编程基础上重点需要注意一下几点：1、引用和指针简而言之，引用是别名，指针是指向地址（灵活，使用前判空）2、默认参数默认值从右至左放3、局部静态对象static 修饰的变量出了作用域同样存在，全局变量打乱函数之间的逻辑4、inline内联将函数定义直接内联到调用语句块中，对于经常调用的“小”函数非常适合5、函数重载函数名一致，参数列表不一致，返回类型不能作
2020-11-15 20:16:43
487
原创 聚类模型-EM算法
聚类模型1、层次聚类2、原型聚类-K-means3、模型聚类-GMM4、EM算法-LDA主题模型5、密度聚类-DBSCAN6、图聚类-谱聚类四、EM算法一、EM算法 EM算法是一种迭代算法，用于带隐变量的概率模型参数的极大似然估计，是无监督学习中一大类算法求解的算法。EM算法每次迭代由两步组成，E步：假设隐变量和特征变量的联合分布P(x,z;θ)P(x,z;\theta)P(x...
2018-09-17 22:59:06
1392
原创 聚类模型-图聚类-谱聚类
聚类模型1、层次聚类2、原型聚类-K-means3、模型聚类-GMM4、EM算法-LDA主题模型5、密度聚类-DBSCAN6、图聚类-谱聚类六、图聚类-谱聚类谱聚类是一种定义在图上的聚类算法，与其说是聚类算法，更是一种图的向量表示。基于向量表示之后，一般可以采用其他的聚类方法完成最后聚类结果。所以谱聚类的类表示既依赖于向量表示也与之后采用的聚类算法有关。对于一个图GGG，我们一般...
2018-09-17 22:56:01
13981
2
原创 特征工程-特征提取
特征工程1、数据降维2、特征提取3、特征选择二、特征提取 特征提取是一个特征空间上的变换（映射），可以是线性和非线性的。所以特征提取与特征选择的不同之处在于，特征提取之后的特征已经不是原始特征了，而特征选择则是在原始的特征中选择出有价值的特征。既然，特征提取是一个空间上的映射，那么特征提取的问题就变成了选择合适的投影方向。选择合适的投影的方向就是必然有一个目标（保持损失最小），即目标函...
2018-09-17 22:54:12
1470
原创 学习理论-PAC理论
学习理论1、基本概念2、PAC理论3、VC维4、极大似然，最大后验概率，贝叶斯估计5、模型评估与评价指标6、模型诊断调参二、PAC理论 概率近似正确（PAC）理论是从概率的角度来衡量模型的正确率，给出了PAC可辨识，样本复杂度界，误差上界。偏差/方差 偏差和方差是机器学习中很重要的两个概念，在分析模型时对应于欠拟合和过拟合问题。以回归问题为例，上图中左边为一个线性拟合，...
2018-09-17 22:49:41
6501
原创 学习理论-VC维
学习理论1、基本概念2、PAC理论3、VC维4、极大似然，最大后验概率，贝叶斯估计5、模型评估与评价指标6、模型诊断调参三、VC维 在PAC理论中，我们用假设空间的取值NNN来描述模型的复杂度，然而很多时候假设空间的取值是无限的，比如线性模型中模型属于连续空间，我们无法用取值来衡量模型的复杂度，VC维的主要价值在于用VC维（维度）衡量模型的复杂度，同时给出了误差上界（个人见解）。...
2018-09-17 22:48:12
633
原创 学习理论-模型诊断与调参
学习理论1、基本概念2、PAC理论3、VC维4、极大似然，最大后验概率，贝叶斯估计5、模型评估与评价指标6、模型诊断调参六、模型诊断与调参一、快速搭建 1、数据集准备 2、特征工程 3、模型选择 4、模型评价在我们开发过程中，我们往往都是摸着石头过河，我们不知道数据应该是什么样子，不知道数据的特征，数据集多少合适，如何进行特征工程，选择什么样的模型最合适，最后我们...
2018-09-17 22:46:53
316
原创 学习理论-模型评估与评价指标
学习理论1、基本概念2、PAC理论3、VC维4、极大似然，最大后验概率，贝叶斯估计5、模型评估与评价指标6、模型诊断调参五、模型评估与评价指标一、模型评估 在不同的假设空间下，依据各自的准则选择出最优模型后（学习），往往需要对这些模型进行评估。一般而言，把训练数据划分为训练集-验证集-测试集。训练集：用来训练不同模型，获得模型及其训练误差；验证集：与训练集相对独立，获取训练...
2018-09-17 22:45:00
1450
原创 学习理论-VC维
学习理论1、基本概念2、PAC理论3、VC维4、极大似然，最大后验概率，贝叶斯估计5、模型评估与评价指标6、模型诊断调参三、VC维 在PAC理论中，我们用假设空间的取值NNN来描述模型的复杂度，然而很多时候假设空间的取值是无限的，比如线性模型中模型属于连续空间，我们无法用取值来衡量模型的复杂度，VC维的主要价值在于用VC维（维度）衡...
2018-09-15 19:53:22
538
原创 学习理论-PAC理论
学习理论1、基本概念2、PAC理论3、VC维4、极大似然，最大后验概率，贝叶斯估计5、模型评估与评价指标6、模型诊断调参二、PAC理论 概率近似正确（PAC）理论是从概率的角度来衡量模型的正确率，给出了PAC可辨识，样本复杂度界，误差上界。偏差/方差 偏差和方差是机器学习中很重要的两个概念，在分析模型时对应于欠拟合和过...
2018-09-15 19:49:09
1007
原创 学习理论-基本概念
学习理论1、基本概念2、PAC理论3、VC维4、极大似然，最大后验概率，贝叶斯估计5、模型评估与评价指标6、模型诊断调参一、基本概念机器学习三定义： 1、计算机系统能够利用经验提高自身的性能 2、学习就是一个基于经验数据的函数估计问题 3、提取重要模式、趋势、并理解数据，从数据中学习引用吾师的话：“三个定...
2018-09-15 19:45:25
1421
原创 特征工程-特征选择
特征工程1、数据降维2、特征提取3、特征选择三、特征选择 以上，特征提取的方法实际上都是建立在一个空间变换上，所以一般只适合数值型属性，然而现实场景中有非常多的非数值型属性，对于这一类的属性是无法直接做特征提取的（一般编码成数值型），所以特征选择的适用场景更广泛。一、过滤式 过滤式选择是设计一个“统计量”（比如和标签的相关性）来度量特征的...
2018-09-15 19:43:24
402
原创 特征工程-特征提取
特征工程1、数据降维2、特征提取3、特征选择二、特征提取 特征提取是一个特征空间上的变换（映射），可以是线性和非线性的。所以特征提取与特征选择的不同之处在于，特征提取之后的特征已经不是原始特征了，而特征选择则是在原始的特征中选择出有价值的特征。既然，特征提取是一个空间上的映射，那么特征提取的问题就变成了选择合适的投影方向。选择合适的投影的方向就是必然有一个...
2018-09-15 19:42:25
624
原创 特征工程-数据降维
特征工程1、数据降维2、特征提取3、特征选择一、数据降维一、特征工程 特征工程是一个很大的概念，实在找不到合适的词，语句来描述特征工程。为了直观的学习特征工程，还是从特征工程处理的流程来窥视特征工程为何物？ 1、数据的生成，这部分严格意义上说不属于特征工程范畴。因为数据都没有的话，谈何学习，但是数据即是特征，如何生成数据也是特征生成的过程...
2018-09-15 19:35:33
962
原创 聚类模型-图聚类-谱聚类
聚类模型1、层次聚类2、原型聚类-K-means3、模型聚类-GMM4、EM算法-LDA主题模型5、密度聚类-DBSCAN6、图聚类-谱聚类六、图聚类-谱聚类谱聚类是一种定义在图上的聚类算法，与其说是聚类算法，更是一种图的向量表示。基于向量表示之后，一般可以采用其他的聚类方法完成最后聚类结果。所以谱聚类的类表示既依赖于向量表示也与之后采用...
2018-09-15 19:33:47
1063
原创 聚类模型-密度聚类-DBSCAN
聚类模型1、层次聚类2、原型聚类-K-means3、模型聚类-GMM4、EM算法-LDA主题模型5、密度聚类-DBSCAN6、图聚类-谱聚类五、密度聚类-DBSCANDBSCAN的类表示是一簇密度可达的样本，相似性度量定义为密度可达，密度可达即为一类，属于硬划分。密度聚类是一种基于密度的聚类，其根据样本的空间分布关系进行聚类。一般来讲，用...
2018-09-15 19:27:10
1784
原创 聚类模型-EM算法
聚类模型1、层次聚类2、原型聚类-K-means3、模型聚类-GMM4、EM算法-LDA主题模型5、密度聚类-DBSCAN6、图聚类-谱聚类四、EM算法一、EM算法 EM算法是一种迭代算法，用于带隐变量的概率模型参数的极大似然估计，是无监督学习中一大类算法求解的算法。EM算法每次迭代由两步组成，E步：假设隐变量和特征变量的联...
2018-09-15 19:25:22
2280
原创 聚类模型-模型聚类-高斯混合
聚类模型1、层次聚类2、原型聚类-K-means3、模型聚类-GMM4、EM算法-LDA主题模型5、密度聚类-DBSCAN6、图聚类-谱聚类三、模型聚类-高斯混合高斯混合的类表示是一个高斯模型，相似性度量定义为服从类cjcjc_{j}高斯分布μ,Σμ,Σ\mu,\Sigma的概率（Kmeans的相似度量是聚距离度量），所以高斯混合聚类也可...
2018-09-15 18:41:16
757
原创 聚类模型-原型聚类-KMeans
聚类模型1、层次聚类2、原型聚类-K-means3、模型聚类-GMM4、EM算法-LDA主题模型5、密度聚类-DBSCAN6、图聚类-谱聚类二、原型聚类-KMeans KMeans的类表示是聚类中心点，以点xixix_{i}来表示类，相似性度量同样可以采用常用的距离度量。根据类紧致性准则定义失真函数为所有样本点到该样本所在类中心的失...
2018-09-14 20:48:22
3107
原创 聚类模型-层次聚类
聚类模型1、层次聚类2、原型聚类-K-means3、模型聚类-GMM4、EM算法-LDA主题模型5、密度聚类-DBSCAN6、图聚类-谱聚类一、层次聚类一、聚类理论 一般来说，聚类是在训练样本的标签信息不知的情况下，学习样本内在的性质和规律，将有限的集合划分成ccc类。根据“方以类聚，物以群分”的思想，类内对象尽可能的相似，...
2018-09-14 20:47:04
6162
原创 树模型-孤立森林
树模型1、决策树 ID3，C4.5，CART2、随机森林RF3、Adaboost4、GBDT5、XGboost6、孤立森林（异常检测）六、孤立森林 孤立森林（Isolation Foreset）是基于树（iTree）集成的快速异常检测方法，其异常检测的核心思想是“异常点是容易被孤立的离群点”。因此，孤立森林采用随机特征随机阈值划分生...
2018-09-14 20:42:05
2811
原创 树模型-XGBoost
树模型1、决策树 ID3，C4.5，CART2、随机森林RF3、Adaboost4、GBDT5、XGboost6、孤立森林（异常检测）五、XGBoostXGBoost是基于GBDT的一个改进，改进之处有以下几点： 1）传统 GBDT以CART 作为基分类器，XGBoost 还支持线性分类器。 2）目标函数中引入了正则项...
2018-09-14 20:40:31
833
原创 树模型-GBDT
树模型1、决策树 ID3，C4.5，CART2、随机森林RF3、Adaboost4、GBDT5、XGboost6、孤立森林（异常检测）四、GBDT 提升树，GBDT同样基于最小化第mmm个学习器和前m−1m−1m-1个学习器累加起来损失函数最小，提升树采用残差的思想来最小化损失函数，将投票权重放到学习器上，使得基学习器的权重都为1；...
2018-09-14 20:38:41
863
原创 树模型-Adaboost
树模型1、决策树 ID3，C4.5，CART2、随机森林RF3、Adaboost4、GBDT5、XGboost6、孤立森林（异常检测）三、Adaboost一、Adaboost的Boosting理解Adaboost是集成学习中Boosting方式的代表。多个基学习器其串行执行，下一个学习器基于上一个学习器的经验，通过调整样本的权重，...
2018-09-14 20:36:51
461
原创 树模型-随机森林RF
树模型1、决策树 ID3，C4.5，CART2、随机森林RF3、Adaboost4、GBDT5、XGboost6、孤立森林（异常检测）二、随机森林RF一、集成学习 集成学习通过构建多个学习器采用加权的方式来完成学习任务，类似于“三个臭皮匠顶个诸葛亮”的思想。当然多个学习器之间需要满足一定的条件，一般来讲，多个学习器同属于一种...
2018-09-14 20:32:44
1595
原创 树模型-决策树
树模型1、决策树 ID3，C4.5，CART2、随机森林RF3、Adaboost4、GBDT5、XGboost6、孤立森林（异常检测）一、决策树决策树是一种基本的分类和回归方法，用于分类主要借助每一个叶子节点对应一种属性判定，通过不断的判定导出最终的决策；用于回归则是用均值函数进行多次二分，用子树中数据的均值进行回归。决策树算法中，主要的...
2018-09-14 20:30:30
952
原创 统计概率模型-马尔科夫决策过程
统计概率模型1、高斯判别分析2、朴素贝叶斯3、隐马尔可夫模型4、最大熵马尔科夫模型5，条件随机场6，马尔科夫决策过程六、马尔科夫决策过程 机器学习算法（有监督，无监督，弱监督）中，马尔科夫决策过程是弱监督中的一类叫增强学习。增加学习与传统的有监督和无监督不同的地方是，这些方法都是一次性决定最终结果的，而无法刻画一个决策过程，无法直接...
2018-09-14 19:44:36
2652
原创 统计概率模型-条件随机场
统计概率模型1、高斯判别分析2、朴素贝叶斯3、隐马尔可夫模型4、最大熵马尔科夫模型5，条件随机场6，马尔科夫决策过程五、条件随机场 条件随机场是一个概率图模型，深入图模型的话实在有太多东西。这里，我们接着隐马尔科夫模型和最大熵马尔科夫模型基础理解条件随机场。在序列标注问题上，条件随机场与两者之间的差异1）隐马尔科夫模型是一个...
2018-09-13 21:47:04
352
原创 统计概率模型-最大熵马尔科夫模型
统计概率模型1、高斯判别分析2、朴素贝叶斯3、隐马尔可夫模型4、最大熵马尔科夫模型5，条件随机场6，马尔科夫决策过程四、最大熵马尔科夫模型 有最大熵模型和隐马尔可夫模型的基础，再看最大熵马尔科夫模型就直观多了。在隐马尔可夫模型中，p(ot,it|it−1)=p(ot|it)p(it|it−1)p(ot,it|it−1)=p(ot|i...
2018-09-13 21:45:54
937
原创 统计概率模型-隐马尔可夫模型
统计概率模型1、高斯判别分析2、朴素贝叶斯3、隐马尔可夫模型4、最大熵马尔科夫模型5，条件随机场6，马尔科夫决策过程三、隐马尔可夫模型一、隐马尔科夫模型定义 隐马尔科夫模型是一种时序的概率模型，描述由一个隐的马尔科夫链随机生成的不可观察的隐状态序列，在每一个隐状态下随机产生观察值构成一个可观测的随机序列。其中关键是状态序列是...
2018-09-13 21:42:18
1150
原创 统计概率模型-朴素贝叶斯
统计概率模型1、高斯判别分析2、朴素贝叶斯3、隐马尔可夫模型4、最大熵马尔科夫模型5，条件随机场6，马尔科夫决策过程二、朴素贝叶斯一、朴素贝叶斯 朴素贝叶斯模型也是一个典型的生成模型，一般用来处理非数值数据。其核心假设是特征之间的条件概率是相互独立的。同样由贝叶斯公式有： P(Y|X)=P(X|Y)P(Y)P(X)=P(Y...
2018-09-13 21:39:33
1058
原创 统计概率模型-高斯判别分析
统计概率模型1、高斯判别分析2、朴素贝叶斯3、隐马尔可夫模型4、最大熵马尔科夫模型5，条件随机场6，马尔科夫决策过程一、高斯判别分析一、生成模型 机器学习模型有一种分类方式：判别模型和生成模型。它们之前的区别在于判别模型是直接从数据特征到标签，而生成模型是从标签到数据特征。形式化的表示就是是否使用了贝叶斯公式： maxP(...
2018-09-13 21:11:53
2468
原创 从线性到非线性模型-支持向量机
从线性到非线性模型1、线性回归，岭回归，Lasso回归，局部加权线性回归2、logistic回归，softmax回归，最大熵模型3、广义线性模型4、Fisher线性判别和线性感知机5、三层神经网络6、支持向量机六、支持向量机 在线性模型中，Fisher线性判别和线性感知机可以说是以上所有模型的分类依据，前者是映射到一维执其两端进行分...
2018-09-13 17:48:52
2463
原创 从线性到非线性模型-三层神经网络
从线性到非线性模型1、线性回归，岭回归，Lasso回归，局部加权线性回归2、logistic回归，softmax回归，最大熵模型3、广义线性模型4、Fisher线性判别和线性感知机5、三层神经网络6、支持向量机五、三层神经网络一、神经单元 深度学习的发展一般分为三个阶段，感知机–>三层神经网络–>深度学习（表示学习）...
2018-09-13 17:42:07
5570
原创 从线性到非线性模型-Fisher线性判别与线性感知机
从线性到非线性模型1、线性回归，岭回归，Lasso回归，局部加权线性回归2、logistic回归，softmax回归，最大熵模型3、广义线性模型4、Fisher线性判别和线性感知机5、三层神经网络6、支持向量机四、Fisher线性判别与线性感知机 Fisher线性判别和线性感知机都是针对分类任务，尤其是二分类，二者的共同之处在于都是...
2018-09-13 17:33:41
2170
原创 从线性到非线性模型-广义线性模型
从线性到非线性模型1、线性回归，岭回归，Lasso回归，局部加权线性回归2、logistic回归，softmax回归，最大熵模型3、广义线性模型4、Fisher线性判别和线性感知机5、三层神经网络6、支持向量机三、广义线性模型 从线性回归，logistic回归，softmax回归，最大熵的概率解释来看，我们会发现线性回归是基于高斯分...
2018-09-13 17:30:33
1821
原创 从线性到非线性模型-对数线性模型
从线性到非线性模型1、线性回归，岭回归，Lasso回归，局部加权线性回归2、logistic回归，softmax回归，最大熵模型3、广义线性模型4、Fisher线性判别和线性感知机5、三层神经网络6、支持向量机二、Logistic回归和SoftMax回归，最大熵模型一、Logistic回归分类问题可以看作是在回归函数上的一个分类。...
2018-08-25 17:41:30
5343
原创 从线性到非线性模型-线性回归，岭回归，Lasso回归，局部加权线性回
从线性到非线性模型1、线性回归，岭回归，Lasso回归，局部加权线性回归2、logistic回归，softmax回归，最大熵模型3、广义线性模型4、Fisher线性判别和线性感知机5、三层神经网络6、支持向量机一、线性回归一、线性回归假设有数据有T={(x(1),y(1)),...,(x(i),y(i)),...,(x(m),y(...
2018-08-17 11:21:41
2541
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人