机器学习
文章平均质量分 64
Philtell
长风破浪会有时,直挂云帆济沧海
如想咨询,微信cccrunner,请备注CSDN并说明来意
展开
-
《神经网络与深度学习》 邱希鹏 学习笔记(一)
学习准则有用损失函数来评价模型的好坏,还有经验风险最小化准则,大概意思就是在平均损失函数中获得最小的损失函数,但是因为样本可能很小,不全面,会造成过拟合问题,因此引入结构风险最小化准则,也就是参数的正则化来限制模型能力,防止模型过拟合。但测试数据集(test dataset)不同,虽然同是模型训练过程中留出的样本集,但它是用于评估最终模型的性能,帮助对比多个最终模型并做出选择。验证数据集(validation dataset)是模型训练过程中留出的样本集,它可以用于调整模型的超参数和评估模型的能力。原创 2023-01-15 21:35:35 · 442 阅读 · 0 评论 -
机器学习路径(摘抄自网易云课堂吴恩达)
原创 2020-06-26 12:21:49 · 366 阅读 · 0 评论 -
关于AlphaGo的一些理解
深度模型加蒙特卡洛树搜索,不需要外界知识的模型1.深度模型动态规划与强化学习的目标:基于环境而行动,以取得最大化的预期利益动态规划与强化学习的不同点动态规划要求环境的变化规律确定并且已知强化学习不要求这个条件可以把动态规划作为简单班的强化学习来帮助理解。强化学习的基本思路:给你一个环境,机器人会有一个行动,如果行动好,会有奖励,行动不好,会有惩罚,这样,不断与环境互动获得...原创 2020-03-05 23:45:40 · 499 阅读 · 0 评论 -
PGM
概率图模型1 基本概念概率图是一类用图的形式表示随机变量之间条件依赖关系的概率模型, 是概率论与图论的结合。图中的节点表示随机变量,缺少边表示条件独立假设。根据图中边的有向、无向性,模型可分为两类:有向图、无向图。G(V,E):变量关系图V:顶点(节点),表示随机变量E:边or弧两个节点邻接:两个节点之间存在边,记为Xi∼XjX_i\sim X_jXi∼Xj ,不存在边,表示条件独...原创 2019-12-24 15:49:59 · 437 阅读 · 0 评论 -
神经网络
马尔科夫链:边缘分布参数学习:算出似然HMM 三组参数初始状态:状态转移概率双输出观测概率初始状态概率参数学习观测变量一样,模型不一样,能解英文的码解码:根据观测序列推测隐藏的模型状态基本算法:所有可能性:图的性质:只跟前一状态有关系。前项算似然马尔科夫随机场分部形式化使用基于极大团的势函数周边的分成一个联通量图像去燥势函数:能够反映趋势的函数条件场:...原创 2019-12-20 21:03:27 · 250 阅读 · 0 评论 -
奇异值分解(SVD)与主成分分析(PCA)
奇异值分解(SVD)与主成分分析(PCA)1 算法简介奇异值分解(Singular Value Decomposition),简称SVD,是线性代数中矩阵分解的方法。假如有一个矩阵A,对它进行奇异值分解,可以得到三个矩阵相乘的形式,最左边为m维的正交矩阵,中间为m*n 的对角阵,右边为n维的正交矩阵:A=UΣVTA=U\Sigma V^{T}A=UΣVT这三个矩阵的大小如下图所示:矩阵...转载 2019-12-11 17:26:58 · 2322 阅读 · 2 评论 -
Pytorch实现回归
import torchimport torch.nn.functional as Fimport matplotlib.pyplot as plt# torch.manual_seed(1) # reproduciblex = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # x data (tensor), shape...翻译 2019-12-06 11:41:03 · 192 阅读 · 0 评论 -
K-Means及K-Medoid
K-Means及K-Medoid1 算法简介通常意义上接触的聚类问题是一个按照相似性(距离)进行样本聚集的过程,即把相似的(或距离近的)样本聚为同一类,而把不相似的(或距离远的)样本归在其他类。我们以一个二维的例子来说明聚类的目的。如下图左所示,假设我们的n个样本点分布在图中所示的二维空间。从数据点的大致形状可以看出它们大致聚为三个簇,其中两个紧凑一些,剩下那个松散一些。我们的目的是为这些数...原创 2019-11-29 10:21:42 · 2262 阅读 · 1 评论 -
常见的分布期望及其方差
分布名称表达式期望方差0-1分布Pi=P(X=i)=pipn−iP_i=P({X=i})=p^ip^{n-i}Pi=P(X=i)=pipn−ipp(1-p)二项分布Pi=P(X=i)=Cnipipn−iP_i=P({X=i})=C^i_np^ip^{n-i}Pi=P(X=i)=Cnipipn−inpnp(1-p)泊松分布指数分布...原创 2019-11-24 09:31:29 · 11268 阅读 · 6 评论 -
极大似然估计
什么是极大似然估计呢?似然就是文言文,翻译过来就是好像,极大似然,就是最像,估计就是猜。说到这里想必你还是不知道什么是最大似然估计,那么下面我用一个例子。例:假设在一个罐中放着许多黑球和白球,并假定已经知道两种球的数量之比为3:1,但不知道那种颜色的球最多,如果用放回抽样方法从罐中取5个球,观察结果为:黑、白、黑、黑、黑。估计取到黑球的概率p解:设x={1,取到黑球0,取到白球x=\b...原创 2019-11-23 15:31:11 · 228 阅读 · 0 评论 -
支持向量机(SVM)
支持向量机(SVM)1 算法简介支持向量机SVM(Support Vector Machine)从线性可分情况下的最优分类面问题发展而来。如下图所示的一个二分类问题,假设图中空心圆点是数据A,×型的点是数据B,我们需要找一条曲线,将A和B成两类:观察可知,图中实线直线是符合要求的曲线之一,这样可以用直线实现的二分类问题,也被称为线性可分的二分类问题。在本问题中,经过实线且垂直于数据点所在平...转载 2019-11-14 12:40:32 · 853 阅读 · 0 评论 -
PaddlePaddle 实现手写数字识别
PaddlePaddle 实现手写数字识别在这次实验中我们将使用 PaddlePaddle 来实现三种不同的分类器,用于识别手写数字。三种分类器所基于的模型分别为 Softmax 回归、多层感知器、卷积神经网络。现在让我们进入实验来看看基于不同模型的分类器的差异吧!您将学会实现一个基于Softmax回归的分类器,用于识别手写数字实现一个基于多层感知器的分类器,用于识别手写数字...原创 2019-11-13 11:19:53 · 2612 阅读 · 1 评论 -
PaddlePaddle实现线性回归
PaddlePaddle实现线性回归欢迎大家来到这次实验!在本次实验中我们将使用PaddlePaddle深度学习框架来搭建一个简单的线性回归模型,并利用这一模型来解决一个大家都关心的实际问题————预测你的储蓄(也就是money)(在某地区)可以购买多大面积的房子。并且在学习本次实验课的过程中,我还会带领大家学习到机器学习的若干重要概念,掌握一个机器学习预测案例的基本流程。当然了,有机器学习基础...原创 2019-11-11 11:50:41 · 1598 阅读 · 0 评论 -
重要数学公式
贝叶斯公式,求在A的条件下,BiB_iBi发生的概率P(Bi∣A)=P(A∣Bi)∗P(Bi)Σj=1nP(A∣Bj)P(Bj)P(B_i|A) = \frac{P(A|B_i) * P(B_i)}{\Sigma_{j=1}^{n}{P(A|B_j)P(B_j)}} P(Bi∣A)=Σj=1nP(A∣Bj)P(Bj)P(A∣Bi)∗P(Bi)其中,可以P(Bi∣A)P(B_...原创 2019-11-10 20:11:57 · 366 阅读 · 0 评论 -
卷积笔记
常见的视觉任务图像分类目标检测语义分割、实例分割(车道线识别)场景文字识别图像生成 GAN(对抗神经网络)人体关键点检测 姿态识别视频分类度量学习单个神经元线性运算 非线性运算为要什么要用CNN全连接神经网络: 维度灾难内存、计算量巨大,训练困难CNN网络整体结构卷积运算一维卷积运算卷积是两个信号之间的运算卷积运算的本质:卷积核从左向右滑过的信号卷积有三种方式...原创 2019-11-10 17:32:48 · 706 阅读 · 0 评论 -
线性回归之预测GDP(python版本)
题目要求:在上一节的梯度下降法的试验中,大家已经初步通过使用梯度下降法找出最合适的 θ 值实现线性拟合,现在,利用给出的数据集,同时用你上节课实现的梯度下降法和本次试验中的sklearn模块下的LinearRegression对给出的数据进行线性回归,比较两种方法的效果: 本次实验的数据集为2005年至2015年城镇公交车运营数量(Buses,辆)以及人均国民生产总值(PGDP,元),大家可以...原创 2019-11-08 16:14:34 · 9545 阅读 · 4 评论 -
线性回归
线性回归1 算法简介首先我们看下表中的一组数据,表中是某个披萨店披萨的直径和价格的信息。如何寻找到面积和价格之间的关系呢?我们首先使用python matplotlib库中的绘图功能直观感受一下披萨的价格与披萨直径之间的关系,横坐标为披萨的直径,纵坐标为披萨的价格:编号直径(英寸)价格(美元)1672893101341417.55...原创 2019-11-05 16:58:11 · 769 阅读 · 0 评论 -
牛顿法求解方程的根
牛顿法求解方程的根以上解释来自百度百科练习题在函数Newton_3中实现利用牛顿迭代法求解方程f(t)=t3−2=0f(t) = t^3 - 2 = 0f(t)=t3−2=0在t0=1t_0 = 1t0=1附近的根(求导数功能可以自建函数实现):def Newton_3(c , t): while abs(t * t * t - c) > 1e-6: t ...原创 2019-11-05 16:50:31 · 2798 阅读 · 0 评论 -
paddlepaddle
正向传播反向传播梯度下降图像问题多用CNN序列问题多用RNN推荐系统多用损失函数 回归问题 均方误差损失函数分类问题 交叉熵损失函数SGD 随机梯度下降MomentumAdamAdagrad学习率归一化的原因:去掉量纲的影响防止溢出加速梯度下降...原创 2019-11-03 16:50:36 · 226 阅读 · 0 评论 -
查准率,查全率,真正例率,假正例率
本篇对他们的定义不做深入探究,主要是用来对比方便记忆。正例反例正例TPTN反例FPFN查准率:P=TPTP+FPP = \frac{TP}{TP + FP}P=TP+FPTP 准不准,竖相加查全率:R=TPTP+TNR = \frac{TP}{TP + TN}R=TP+TNTP 全不全,横向加正例率 : TPR=TPTP+FNTPR =...原创 2019-10-31 20:08:35 · 4466 阅读 · 0 评论 -
线性回归预测房价
给定数据集dataSet,每一行代表一组数据记录,每组数据记录中,第一个值为房屋面积(单位:平方英尺),第二个值为房屋中的房间数,第三个值为房价(单位:千美元),试用梯度下降法,构造损失函数,在函数gradientDescent中实现房价price关于房屋面积area和房间数rooms的线性回归,返回值为线性方程 ???????????????????? = θ0\theta_0θ0+θ1\theta_1θ1∗????????????????+...原创 2019-10-30 17:41:36 · 2832 阅读 · 0 评论 -
梯度下降
1 算法简介思考:我们给出一组房子面积,卧室数目以及对应房价数据,如何从数据中找到房价y与面积x1x_1x1和卧室数目x2x_2x2的关系?为了实现监督学习,我们选择采用自变量x1x_1x1、x2x_2x2的线性函数来评估因变量y值,得到:hθ(x)=θ0+θ1x1+θ2x2h_{\theta} (x) = \theta_0 + \theta_1x_1 + \theta_2x_2h...原创 2019-10-28 11:41:51 · 258 阅读 · 0 评论 -
PaddlePaddle实现线性回归
知识点回顾机器学习是怎么一个工作过程呢?是这样的:我们首先输入训练数据集,利用特定的机器学习方法建立估计函数,并进行训练。训练后得到一个模型。然后向这一模型输入测试数据集,函数有能力对没有见过的数据进行正确估计,这就是机器学习的过程。第一阶段:训练阶段1 - 引用库首先载入需要用到的库,它们分别是:paddle.fluid:引入PaddlePaddle深度学习框架的fluid版本...转载 2019-10-27 21:48:22 · 578 阅读 · 0 评论 -
线性回归的基本概念
线性回归的基本概念线性回归是机器学习中最简单也是最重要的模型之一,其模型建立同样遵循上图流程:获取数据、数据预处理、训练模型、应用模型。回归模型可以理解为:存在一个点集,用一条曲线去拟合它分布的过程。如果拟合曲线是一条直线,则称为线性回归。如果是一条二次曲线,则被称为二次回归。线性回归是回归模型中最简单的一种。在线性回归中有几个基本的概念需要掌握:假设函数(Hypothesis Funct...转载 2019-10-27 20:10:42 · 1787 阅读 · 0 评论 -
梯度下降算法比较
SGD 随机梯度下降优缺点批量梯度下降随机梯度下降小批量梯度下降优点全局最优解,易于并行实现训练速度快训练次数尽量小 每次训练的耗时尽量少缺点样本数目多,训练会很慢不是全局最优解盲目搜索,准确度低迭代次数增加...原创 2019-10-27 17:43:45 · 196 阅读 · 0 评论 -
生成50*200的稀疏矩阵并求Sigma值
思路:先了解一下稀疏矩阵的定义在矩阵中,若数值为0的元素数目远远多于非0元素的数目,并且非0元素分布没有规律时,则称该矩阵为稀疏矩阵;与之相反,若非0元素数目占大多数时,则称该矩阵为稠密矩阵。定义非零元素的总数比上矩阵所有元素的总数为矩阵的稠密度。通常认为矩阵中非零元素的总数比上矩阵所有元素总数的值小于等于0.05时,则称该矩阵为稀疏矩阵(sparse matrix)因此,我们只要获得小于...原创 2019-10-14 16:08:09 · 274 阅读 · 0 评论 -
CART算法
1.基尼指数:Gini(p)=∑k=1Kpk(1−pk)\operatorname{Gini}(p)=\sum_{k=1}^{K} p_{k}\left(1-p_{k}\right)Gini(p)=∑k=1Kpk(1−pk)特征A的条件下,集合D的基尼指数:GGG in i (D,A)=∣D1∣∣D∣Gini(D1)+∣D2∣∣D∣G(D, A)=\frac{\left|D_{1}...原创 2019-07-21 18:31:07 · 194 阅读 · 0 评论 -
统计学习方法概论------《统计学习方法》李航著
统计学习由 监督学习,非监督学习,半监督学习和强化学习组成。监督学习方法主要包括 分类、标注 与 回归问题回归问题:输入变量 和 输出变量 均为连续变量的预测问题分类问题:输出变量为有限个离散变量的预测问题标注问题:输入与输出变量均为变量序列的预测问题统计学习三要素:模型,策略,算法损失函数度量模型一次预测的好坏风险模型度量平均意义下模型预测好坏****************...翻译 2019-07-10 10:13:58 · 192 阅读 · 0 评论 -
面试中最常考的树模型
1.决策树的实现,ID3,C4.5,CARTID3使用信息增益来指导树的分裂:转载 2019-06-26 22:03:39 · 317 阅读 · 0 评论 -
数据预处理技术
1.均值移除(Mean removal)通常我们把每个特征值移除,以保证特征值均为0(即标准化处理),这样可以消除特征值之间的偏差(bias).将下面几行代码加入之前打开的Python文件中data_standized = preprocessing.scale(data) print "\nMean =",data_standardized.mean(axis=0) print "Std d...原创 2018-12-28 17:13:26 · 741 阅读 · 0 评论 -
机器学习之监督学习
定义: 监督学习是指再有标记(labeled samples)的样本建立机器学习的模型.例如,使用尺寸,位置等不同参数建立的一套模型来评估一栋房子的价格,那么首先需要创建一个数据库,然后为参数打上标记.我们需要告诉算法,什么样的参数(尺寸 位置)对应什么样的价格. 有了这些带标记的数据,算法就可以学会如何根据输入的参数计算房价了.无监督学习与刚才说的恰好相反,他面对的是没有标记的数据.假设需要把...原创 2018-12-28 13:28:46 · 218 阅读 · 0 评论