kevin_zhao_zl的博客

本节为吴恩达教授机器学习课程笔记最后一部分，增强学习和自适应控制，主要包括：马尔可夫决策过程的形式化描述，值迭代和策略迭代两种求解方法以及马尔可夫模型极大似然参数学习方法。

本节为吴恩达教授机器学习课程笔记第十三部份，独立成分分析(Independent Components Analysis，ICA)，主要包括：ICA的动机，ICA的歧义问题，概率密度函数上的线性变换，ICA算法以及极大似然法得到的权重更新规则，三种降维技术FA、PCA、ICA的比较和sklearn实现。

本节为吴恩达教授机器学习课程笔记第十二部分，主成分分析，主要包括：主成分分析法PCA的来由和推导，python实现、奇异值分解SVD以及PCA和SVD的联系。

本节为吴恩达教授机器学习课程笔记第十一部分，因子分析，针对对于样本数量少，特征维度高的数据建模，主要包括：样本数量远大于特征维度时使用高斯分布建模的问题，对协方差矩阵的两种限制条件，多元高斯联合分布的边缘分布和条件分布，因子分析模型的形式化定义和通俗理解，以及使用EM算法求解因子分析模型，最后附上使用因子分析解决实际问题的python代码实现。

本节为吴恩达教授机器学习课程笔记第十部分，混合高斯与期望最大化算法，主要包括：混合高斯模型与无监督的参数估计方法EM算法，EM算法即期望最大化算法的一般形式，一般形式EM算法重新对混合高斯模型参数拟合进行分析。最后附上EM算法拟合混合高斯分布参数的python代码。

本节为第九部分，K均值聚类算法。                                        欢迎扫描二维码关注微信公众号 深度学习与数学   [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]...

本节为吴恩达教授机器学习课程笔记第八部分，讲义标题感知器与大间隔分类器，实际上该部分只讲了在线学习的感知器算法错分类的次数上界及其证明，也是学习理论的一部分。

本节为吴恩达教授机器学习课程笔记第七部分，最优模型选择，主要包括：模型选择方法、特征选择方法以及贝叶斯统计的部分知识。具体地，有留存法交叉验证和k-折交叉验证、启发式地前向和后向特征搜索策略、过滤器特征选择策略以及贝叶斯最大后验估计。

本节为吴恩达教授机器学习课程笔记第六部分，学习理论Learning Theory，主要包括：偏差的方差的含义与理解，联合界引理，霍夫丁不等式（切诺夫界），经验风险最小化，有限集和无限集假设类，VC维。

  支持向量机算法是最有效的有监督学习算法之一，为全面掌握，首先学习间隔以及数据划分的思想，然后了解最优间隔分类器（涉及拉格朗日对偶，高维特征空间的核函数），最后介绍SVMs的一种高效实现——SMO算法。  本节为支持向量机部分笔记的第二小节，主要内容包括：结合拉格朗日对偶看理想间隔分类器，核函数推导，正则化与先线性不可分，​SMO算法及其python实现代码，调用sklearn库中的svm函数分别完成线性可分和线性不可分的分类任务。第一小节：机器学习课程笔记【五】- 支持向量机（1）6. 再看理

  支持向量机算法是最有效的有监督学习算法之一，为全面掌握，首先学习边缘以及数据划分的思想，然后了解最优边缘分类器（涉及拉格朗日对偶，高维特征空间的核函数），最后介绍SVMs的一种高效实现——SMO算法。  本节为支持向量机部分笔记的第一小节，主要内容包括：函数间隔与几何间隔的定义，理想间隔分类器以及拉格朗日对偶问题。1. 间隔Margins这一小节主要讨论决策间隔以及预测的可信度  考虑一个逻辑回归，其中概率p(y=1∣x;θ)p(y=1|x;\theta)p(y=1∣x;θ)由hθ(x)=g

本节为吴恩达教授机器学习课程第四部分，生成学习算法（2），包括：朴素贝叶斯算法，拉普拉斯平滑，并在结尾附上一个中文文本分类系统的实现代码链接。2. 朴素贝叶斯  GDA中特征向量时连续的实值向量，朴素贝叶斯则对应于离散型的特征向量。  同样是文本分类中垃圾邮件分类器的问题，我们用一个长度等于字典长度的特征向量来表示一封邮件，比如下面的特征向量，包含单词a和单词buy：  这个特征向量又称为词向量，之后我们来建立判别模型对p(x∣y)p(x|y)p(x∣y)建模，假设字典有50000个单词，，则.

本节为吴恩达教授机器学习课程第四部分，生成学习算法（1），包括：多元正态分布，高斯判别分析模型GDA以及及GDA与逻辑回归的关系，并附上高斯判别分析的python实现代码  之前关于该部分的学习算法尝试对给定x条件下y的分布建模，即对p(y∣x;θ)p(y|x;\theta)p(y∣x;θ)建模。比如逻辑回归对p(y∣x;θ)p(y|x;\theta)p(y∣x;θ)建模，且hθ(x)=g(θTx)h_{\theta}(x)=g(\theta^Tx)hθ​(x)=g(θTx)，其中g是sigmoid函.

本节为吴恩达教授机器学习课程笔记第三部分，广义线性模型（2）构建广义线性模型，包括最小均方算法、逻辑回归，着重介绍softmax的推导，并给出softmax的核心代码以及pytorch实现。2. 构建GLMS广义线性模型  考虑一个分类或者回归问题，我们希望得到一个x的函数，来计算随机变量y的值。为了推导出一个广义线性模型，我们给出这样三个假设：给定x和θ\thetaθ，我们假定y的分布服从参数为η\etaη的某个指数族分布给定x，目标是预测T(y)T(y)T(y)的期望值，在绝大多数例子中，.

本节为吴恩达教授机器学习课程笔记第三部分，广义线性模型（1）指数族分布，包括：指数族分布的一般形式，伯努利分布和高斯分布的指数族形式。  前两节学习的回归和分类都是广义线性模型的特例，为了更好地认识广义线性模型，首先看指数族分布。1.指数族分布  指数族是可以写成下式形式的一类分布：  其中，η\etaη称为分布自然参数/特性参数，T(y)T(y)T(y)是充分统计量（通常T(y)=yT(y)=yT(y)=y），a(η)a(\eta)a(η)是一个对数分割函数，因此e−a(η)e^{-a(\e.

本节为吴恩达教授机器学习笔记第二部分:逻辑回归与分类(2)-感知机学习算法与逻辑回归的区别,牛顿方法。2. 感知机学习算法与逻辑回归的区别  区别1：这两位都是线性分类器，但是逻辑回归使用对数损失函数，而感知机使用的是均方损失函数(即错误点到分离平面的距离，最小化该值)。  区别2：逻辑回归的激活函数也与感知机不同，前者是sigmoid函数，后者是一个阶跃函数：  这就导致逻辑回归连续可导，使得最终结果有了概率解释的能力。而阶跃函数是一个分段函数非0即1，分类粗糙。  那问题又来了，针对第一.

本节为吴恩达教授机器学习笔记第二部分:逻辑回归与分类(1)-逻辑回归参数更新规则推导，包括：逻辑回归提出的背景，选用sigmoid函数的原因，极大似然方法推导参数更新规则，最后附上逻辑回归的pytorch实现以及核心的python代码。1. 逻辑回归  忽略标签数据离散的事实用线性回归算法解决二值分类问题，效果差而且对于不在[0,1]区间的值也没有意义，为此重新构建hθ(x)h_{\theta}(x)hθ​(x)如下：  其中：  称为逻辑回归函数（sigmoid函数）,它定义在数据区间并且.

本节为吴恩达教授机器学习笔记第一部分:线性回归最后一部分，包括：最小化J的统计学推导以及局部加权线性回归（含代码及一个应用例子）。​## 3. 统计学解释  假设输入与目标变量有如下关系：  其中ϵ(i)\epsilon^{(i)}ϵ(i)是一个误差项，用于捕获没有建模的影响因素，或者是随机噪音。更进一步地，假设该项独立同分布，并且符合正态分布，则有：  也就是说：  这个记号表示的是给定x(i)x^{(i)}x(i)和θ\thetaθ时y(i)y^{(i)}y(i)的分布情况，因为θ\.

本节为吴恩达教授机器学习课程笔记第一部分:线性回归(2)，最小化J的形式化推导，包括：矩阵求导及基于此的最小均方推导。2. 正规方程  梯度下降算法给出了最小化JJJ的一种方式，这里给出更加形式化的一种方式，在此之前，先在2.1中给出一些线性代数的结论。2.1 矩阵求导  fff是一个从m×nm \times nm×n矩阵到实数的映射，fff对矩阵AAA的导数计算如下：  可以看出梯度本身也是一个m×nm \times nm×n阶的矩阵，比如有矩阵：  f(A)=32A11+5A122+.

本节为第一部分:线性回归(1)，包括：问题定义，最小均方算法，批梯度下降，随机梯度下降及其python实现。   给定一个映射函数hθ(x)h_{\theta}(x)hθ​(x)，并令x0=1x_0=1x0​=1,有：  其中，x1(i)x_1^{(i)}x1(i)​为训练集中第iii个样本的第一个影响因素，θ\thetaθ则包含了所有影响因素对应的权重/参量。另外，为了衡量该映射函数与真实标签yyy的接近程度，定义如下代价函数：1. 最小均方算法  为了选定θ\thetaθ来最小化J(θ).

背景文本挖掘是指从大量文本数据中抽取实现未知的、可理解的、最终可用的知识的过程，同时运用这些知识更好地组织信息以便将来参考。即从非结构化的文本中寻找知识的过程。目前文本挖掘主要有7个主要领域：· 搜索和信息检索IR· 文本聚类：使用聚类方法对词汇、片段、段落或文件进行分组和归类· 文本分类：对片段、段落或文件进行分组和归类，在使用数据挖掘分类方法的基础上，经过训练地标记实例模型...

0.前言互联网发展历史中，最绚烂的结果当属搜索引擎，但通用的搜索引擎并不能完全满足用户对于有偏好信息检索的需求，基于关键词的搜索在很多情况下不能精准和深刻的反映用户的潜在需求，搜索引擎始终无法平衡在搜索广度和搜索精准程度之间的矛盾，推荐系统应运而生。1.推荐系统概述a)初识推荐系统-亚马逊网站推荐系统算法原理精妙却不复杂，它的迅速成功归因于它着力于对需求的...