机器学习
韩明宇
这个作者很懒,什么都没留下…
展开
-
对数几率回归(Logistic Regression)
简介 假设你是某某大学某某系的主任,你想根据每个申请者在两次考试中的成绩来确定他们的入学机会。你有以前申请者的历史数据,可以用作对数几率回归的训练集。对于每个训练示例,你都有申请人在两次考试中的分数和录取结果。 绘制数据 横纵坐标是申请人两次考试的成绩,录取和未录取的示例用两种记号标出。# PLOTDATA Plots the data points X and y int...原创 2019-03-25 17:49:55 · 1301 阅读 · 0 评论 -
《统计学习方法》——逻辑斯蒂回归
逻辑斯蒂回归模型 定义6.1(逻辑斯蒂分布):设X是连续随机变量,X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数:式中,为位置参数,为形状参数。 二项逻辑斯蒂回归模型 定义6.2(逻辑斯蒂回归模型):二项逻辑斯蒂回归模型是如下的条件概率分布:有时为了方便,将权值向量和输入向量加以扩充,仍记作w,x,即,。这时,逻辑斯蒂回归模型如下:考察逻辑...原创 2019-05-17 21:22:02 · 802 阅读 · 0 评论 -
deeplearning.ai——TensorFlow指南
1 - Exploring the Tensorflow Library导入库:import mathimport numpy as npimport h5pyimport matplotlib.pyplot as pltimport tensorflow as tffrom tensorflow.python.framework import opsfrom tf_util...原创 2019-06-07 19:30:38 · 752 阅读 · 0 评论 -
深度学习中的优化方法
目录1.梯度下降2.随机梯度下降3.Mini-batch梯度下降4.Momentum5.Adam1.梯度下降即每一步在所有m个样本上更新一次梯度,也称作批量梯度下降(Batch Gradient Descent)。对于:其中,L是神经网络的层数,是学习率。2.随机梯度下降相当于每一个batch只有一个样本的mini-batch,更新策略与梯度下降大致...原创 2019-06-03 18:01:09 · 1978 阅读 · 0 评论 -
深度之眼-科赛网二分类大赛入门之路
比赛简介 比赛网址:https://www.kesci.com/home/competition/5c234c6626ba91002bfdfdd3/content比赛题目:「二分类算法」提供银行精准营销解决方案赛题描述:数据:训练集:测试集(没有标签y):字段说明:NO 字段名称 数据类型 字段描述 1 ID Int...原创 2019-06-29 17:57:15 · 1214 阅读 · 0 评论 -
deeplearning.ai——构建循环神经网络
目录1 - Forward propagation for the basic Recurrent Neural Network1.1 - RNN cell1.2 - RNN forward pass2 - Long Short-Term Memory (LSTM) network2.1 - LSTM cell2.2 - Forward pass for LSTM3 -...原创 2019-07-15 14:21:46 · 394 阅读 · 0 评论 -
《统计学习方法》——决策树
决策树模型与学习 定义5.1(决策树):分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型:内部结点和叶结点。内部结点表示一个特征或属性,叶结点表示一个类。用决策树分类,从根结点开始,对实例的某一特征进行测试,根据测试结果,将实例分配到其子结点;这时,每一个子结点对应着该特征的一个取值。如此递归地对实例进行测试并分配,直至达到叶结点。最后将实例分...原创 2019-05-17 14:00:01 · 410 阅读 · 0 评论 -
deeplearning.ai——构建深度神经网络做图像处理
目录4.1 Building your Deep Neural Network: Step by Step1 - Packages2 - Outline of the Assignment3 - Initialization3.1 - 2-layer Neural Network3.2 - L-layer Neural Network4 - Forward propag...原创 2019-05-25 21:07:02 · 1190 阅读 · 0 评论 -
deeplearning.ai——通过单隐藏层的神经网络实现平面数据分类
Planar data classification with one hidden layer目录Planar data classification with one hidden layer1 - Packages2 - Dataset3 - Simple Logistic Regression4 - Neural Network model4.1 - Defin...原创 2019-05-16 18:10:38 · 412 阅读 · 0 评论 -
一元线性回归(Linear Regression)
简介 在这节练习中,建立一个一元线性回归模型,以预测食品配送的利润。假设你是一家连锁餐厅的老板,正在考虑在不同的城市开设一家新的餐厅。这个连锁店在各个城市都可以配送,并且你有这个城市的利润和人口数据。ex1data1.txt文件包含了线性回归问题的数据集。第一列是城市的人口数据,第二列是食品配送的利润,负值表示亏损。 绘制数据 对于这个数据集,可以使用散点图来可视化数据,因为...原创 2019-03-22 19:42:59 · 2794 阅读 · 0 评论 -
EM算法在二维高斯混合模型参数估计中的应用
高斯混合模型 高斯混合模型是指具有如下形式的概率分布模型:其中,是系数,,;是高斯分布密度,,称为第k个分模型。参考:《统计学习方法》9.3 EM算法在高斯混合模型学习中的应用 多维高斯混合模型 多维高斯混合模型具有如下形式的概率分布模型:其中d为数据的维度,为均值,为协方差矩阵。对于二维高斯混合模型,d=2,y和都是二维的数据,用矩阵表示就是一行...原创 2019-04-26 09:53:46 · 1636 阅读 · 0 评论 -
《统计学习方法》——感知机
感知机模型 定义2.1(感知机):假设输入空间是,输出空间是。输入表示实例的特征向量,对应于输入空间的点;输出表示实例的类别。由输入空间到输出空间的如下函数,称为感知机。其中,w和b为感知机模型参数,叫做权值或权值向量,叫做偏置,表示w和x的内积。sign是符号函数,即感知机是一种线性分类模型,属于判别模型。感知机模型的假设空间是定义在特征空间中的所有线性分类模型或线性分类器,即函数集...原创 2019-04-26 11:16:54 · 924 阅读 · 0 评论 -
《统计学习方法》——k近邻法
k近邻算法 k近邻算法简单、直观:给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类。 k近邻模型 k近邻法使用的模型实际上对应于对特征空间的划分。模型由三个基本要素——距离度量、k值的选择和分类决策规则决定。距离度量特征空间中两个实例点的距离是两个实例点相似程度的反映。k近邻模型的...原创 2019-04-26 22:15:01 · 1024 阅读 · 0 评论 -
维特比算法的简单实现
隐马尔科夫模型 1.隐马尔可夫模型的定义参考:统计学习方法 李航著隐马尔科夫模型是关于时序的概率模型,描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔可夫链随机生成的状态的序列,称为状态序列(state sequence);每个状态生成一个观测,而由此产生的观测的随机序列,称为观测序列(observation s...原创 2019-04-09 14:56:34 · 3672 阅读 · 0 评论 -
《统计学习方法》——朴素贝叶斯法
朴素贝叶斯法的学习与分类 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的y。基本方法设输入空间为n维向量的集合,输入空间为类标记集合。输入为特征向量,输出为类标记。X是定义在输入空间X上的随机变量,Y是定义在输出空间Y上的随机变量。...原创 2019-04-30 09:52:55 · 890 阅读 · 0 评论 -
deeplearning.ai——构建一个LR分类器来识别猫
Logistic Regression with a Neural Network mindset目录1 - Packages2 - Overview of the Problem set3 - General Architecture of the learning algorithm4 - Building the parts of our algorithm4.1 -...原创 2019-05-14 21:59:30 · 463 阅读 · 0 评论 -
deeplearning.ai——字符级语言模型-恐龙岛
数据集包含了所有恐龙的名字,构建一个字符级语言模型来创建新的恐龙名称,算法能够学习不同的名称模式,并随机生成新的名称。完成这项作业能够学到:如何存储文本数据以便使用RNN进行处理 如何合成数据,通过在每个时间步采样预测值并将其传递给下一个RNN单元 如何构建一个字符级文本生成循环神经网络 为什么剪裁梯度很重要1 - Problem Statement1.1 - Datas...原创 2019-07-15 17:07:29 · 588 阅读 · 0 评论