![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
geter_CS
你要把时间用在美好的事情上,不要总是在不值得的事情上浪费。停止自我否定,多去肯定自己;停止反复懊悔,学会坦然放下;停止急于求成,耐心等待自律带来的变化......
展开
-
线性规划和线性回归
线性规划定义:研究线性约束条件下线性目标函数的极值问题的数学理论和方法(百度)也就是说有几个线性约束条件,目标是对线性函数求极值。基本模型结构:目标函数z(决策变量x):minz=f(x)min \quad z=f(x)minz=f(x)约束条件(包含函数约束和决策变量的非负约束):s.t.gi(x)≤0s.t.\quad g_i(x)\leq0s.t.gi(x)≤0例如:某厂...原创 2018-11-27 15:50:29 · 5297 阅读 · 0 评论 -
二次型,正定二次型
二次型:含有n个变量x1,x2,...xnx_1,x_2,...x_nx1,x2,...xn的二次齐次函数:f(x1,x2,...xn)=a11x12+a12x1x2+a13x1x3+a14x1x4...+a1nx1xnf(x_1,x_2,...x_n)=a_{11}x_1^2+a_{12}x_1x_2+a_{13}x_1x_3+a_{14}x_1x_4...+a_{1n}x_1x_nf(...原创 2018-12-20 19:42:33 · 3288 阅读 · 0 评论 -
重要性采样(importance sampling)
重要性采样是统计学习中一种常用的方法。在强化学习中通常和蒙特卡洛方法结合使用。重要性采样是,使用另外一种分布来逼近所求分布一种方法。具体形式是这样的:假设我们在想要求取目标分布PPP下函数f(x)f(x)f(x)的分布,如果可以对PPP采样,采用蒙特卡洛方法,我们可以有如下计算:Ex∼P[f(x)]=∫xP(x)f(x)dx≈1N∑xi∼P,i=1Nf(xi)E_{x\sim P}[f(x)...原创 2018-12-18 16:21:08 · 13273 阅读 · 10 评论 -
凸集、凸函数与KL散度
凸集的定义是:集合C内任意两点间的线段任然包含在集合中,则此集合称为凸集。形式化的方法描述:以任意一点作为原点,对于集合内任意两点x1⃗\vec{x_1}x1,x2⃗\vec{x_2}x2,和任意一个处于[0,1]的实数θ\thetaθ,都有:θx1⃗+(1−θ)x2⃗∈C\theta \vec{x_1}+(1-\theta)\vec{x_2}\in Cθx1+(1−θ)x2∈C...原创 2018-12-18 19:12:28 · 1908 阅读 · 1 评论 -
线性回归、最小二乘原理(Linear_regression)
参考了统计学习方法,概率论与数理统计,工程线性代数,西瓜书,Machine Learnig with python做的总结,所以不能作为教程,还包含自己用sklearn做的一些对比实验,原文是写在jupyter上的,这里是直接转为.md导过来的,所以格式有些问题,有些东西还待完善…(二) 线性回归 linear regression线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相...原创 2019-04-10 20:49:27 · 2156 阅读 · 0 评论 -
混淆矩阵,准确率,精确率,召回率,Roc曲线
参考了统计学习方法,概率论与数理统计,工程线性代数,西瓜书,Machine Learnig with python做的总结,所以不能作为教程,还包含自己用sklearn做的一些对比实验,原文是写在jupyter上的,这里是直接转为.md导过来的,所以格式有些问题,有些东西还待完善…作者:geter_CS来源:CSDN原文:https://blog.csdn.net/geter_CS/arti...原创 2019-04-10 21:01:34 · 3320 阅读 · 1 评论 -
决策树和回归树(Decision_Tree_and_Regression_Tree)
参考了统计学习方法,西瓜书,Machine Learnig with python,还包含自己用sklearn做的一些对比实验,还待完善注意几点:连续特征处理,预测问题或者说回归问题(连续性目标特征)决策树(Decision tree)熵熵表示随机变量不确定性的度量。离散随机变量X的概率分布为,P(X=xi)=pi,i=1,2,3...,nP(X=x_i)=p_i,i=1,2,3...,n...原创 2019-04-10 20:29:16 · 3084 阅读 · 0 评论 -
集成学习(随机森林,提升方法-Adaboosting、Boosting tree、GBDT)
参考了统计学习方法,西瓜书,Machine Learnig with python做的总结,还包含自己用sklearn做的一些对比实验,原文是写在jupyter上的,这里是直接转为.md导过来的,所以格式有些问题,有些东西还待完善…参考的博客https://www.cnblogs.com/pinard/p/6140514.html,https://blog.csdn.net/qq_222385...原创 2019-04-16 14:17:29 · 1058 阅读 · 0 评论 -
集成学习(GBDT)
参考了统计学习方法,西瓜书,Machine Learnig with python做的总结,还包含自己用sklearn做的一些对比实验,原文是写在jupyter上的,这里是直接转为.md导过来的,所以格式有些问题,有些东西还待完善…参考博客https://www.cnblogs.com/pinard/p/6140514.html,https://blog.csdn.net/qq_222385...原创 2019-04-16 14:23:29 · 829 阅读 · 0 评论 -
sklearn非数值特征处理(实例)
sklearn非数值特征处理sklearn中非数值特征有两种处理方式1.一个是OrdinalEncoder, 此估计器将每个分类特征转换为整数的一个新特征(0到n_categories - 1)from sklearn import preprocessingencoder1=preprocessing.OrdinalEncoder()X= [[23,'male', 'from US...原创 2019-05-07 16:27:52 · 3720 阅读 · 0 评论 -
熵(熵,条件熵)与最大熵模型
熵熵在概率论中是很重要的概念。表示随机变量不确定性的度量。设随机变量XXX其概率分布为P(X=xi)=pi,i=1,2...nP(X=x_i)=p_i,i=1,2...nP(X=xi)=pi,i=1,2...n则XXX的熵可以表示为H(p)=−∑i=1npilog(pi)H(p)=-\sum_{i=1}^{n}p_ilog(p_i)H(p)=−i=1∑npilog(pi)这里由于...原创 2018-11-28 15:22:35 · 1089 阅读 · 1 评论 -
卷积(Convolution)与转置卷积(Convolution Transposed)
要注意转置卷积有点类似卷积的反向传播,并不是等价于反向传播。因为转置卷积只是恢复了原图的size而没有恢复其值。卷积如下上图所示输入是5∗55*55∗5的,卷积核是3∗33*33∗3,然后pading是0,stride是1。卷积过程如第二幅图所示。根据计算公式(W−F+2P)/S+1(W-F+2P)/S+1(W−F+2P)/S+1,有(5−3+2∗0)/1+1(5-3+2*0)/1+1(5−...原创 2018-11-30 21:05:42 · 775 阅读 · 0 评论 -
最(极)大似然估计
参数估计是统计推断的基本问题,最大似然估计法是用于参数估计的一种常用方法。点估计通俗的说就是用一个样本来估计总体的分布的参数定义:设总体XXX的分布函数F(x;θ)F(x;\theta)F(x;θ)形式已知,θ\thetaθ是带估计参数。X1,X2,X3,...XnX_1,X_2,X_3,...X_nX1,X2,X3,...Xn是XXX的一个样本,x1,x2,x3,...xnx_1,...原创 2018-11-28 11:04:54 · 537 阅读 · 0 评论 -
最大熵模型求解
上一篇文章中详细介绍最大熵模型,这里我们讲一下其求解原创 2018-11-28 15:35:26 · 615 阅读 · 0 评论 -
pytorch损失函数之nn.BCELoss()(为什么用交叉熵作为损失函数)
交叉熵原创 2018-12-03 17:10:16 · 67307 阅读 · 11 评论 -
熵,KL散度,交叉熵
在信息论中定义一个事件X=xX=xX=x的自信息(self-information)为:I(p)=−logpI(p)=-logpI(p)=−logp,表示以P(X=x)=pP(X=x)=pP(X=x)=p的概率观测到的这事件时所包含的信息量,单位为奈特(nats),P(X=x)表示事件的概率其值为p,那么一奈特就是:以1/e1/e1/e的概率观察到一个事件时获取的信息量(−log(1/e)=1-l...原创 2018-12-03 13:43:28 · 3668 阅读 · 0 评论 -
熟悉陌生的2-范数(向量的模)
向量的模,表示向量的长度:我们以前就学过向量,一个一维的向量比如AB⃗=[1,2,3]\vec {AB}=[1,2,3]AB=[1,2,3],也表示三维空间中的一个点。它的模的计算公式:∣AB⃗∣=12+22+32|\vec{AB}|=\sqrt{1^2+2^2+3^2}∣AB∣=12+22+32,这个既表示AB⃗\vec{AB}AB的长度,也表示这点到原点的距离。#2- 范数:对于某个向量...原创 2018-12-19 16:23:15 · 11959 阅读 · 3 评论 -
共轭梯度(凸优化方法)
牛顿法拟牛顿法共轭梯度法原创 2018-12-21 17:25:19 · 1680 阅读 · 0 评论 -
Gram-Schmidt正交变化
Gram-Schmidt正交变化原创 2018-12-20 14:26:13 · 4684 阅读 · 0 评论 -
梯度下降法与最速下降(凸优化方法)
梯度下降法:假设目标优化形式为:argminxf(x)argmin_xf(x)argminxf(x)即我们要求取函数f(x)f(x)f(x)的最小值,那么根据梯度下降法,可以如下算法:while∣∣▽f(xk)∣∣≥ϵwhile||\bigtriangledown f(x_k)||\geq\epsilonwhile∣∣▽f(xk)∣∣≥ϵ dk=−▽f(xk)d_k=-\bigt...原创 2018-12-20 11:17:55 · 4553 阅读 · 0 评论 -
向量场,散度
场:场就是某种物理量在空间或平面上分布,按照某种物理量是向量还是数量,称为向量场或数量场。场的表示可以表示为给定区域内的函数(也就是函数)数量场:场中每个点表示一个数值(我的理解)常见的是:等值线:V=V(x,y)=CV=V(x,y)=CV=V(x,y)=C(其中C是一个常量)(比如等高线和等温线)等值面:V=V(x,y,z)=CV=V(x,y,z)=CV=V(x,y,z)=C(其...原创 2019-06-04 20:33:36 · 9689 阅读 · 3 评论