自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 CS229 Lecture 14

CS229 Lecture 14课程要点:Factor Analysis - EM stepPrincipal Components Analysis (PCA)

2020-08-02 18:03:57 21

原创 CS229 Lecture 13

CS229 Lecture 13课程要点:Mixture of GaussiansNative of BayesFactor AnalysisGaussians Distribution

2020-07-12 18:07:59 51

原创 CS229 Lecture 12

CS229 Lecture 12课程要点:无监督学习聚类(K-Means)Mixtures of GaussiansJensen’s InequalityEM(Expectation Maximization)Loading!

2020-06-27 23:20:43 61

原创 CS229 Lecture 11

CS229 Lecture 11课程要点:Bayesian statistics and regularizationOnline LearningActive for apply ML Algorithm贝叶斯统计和正则化上节课讲了如何通过特征选择减少特征数目,进而降低算法出现过拟合的风险,本节会介绍另一种降低过拟合的方法,即正则化,这种方法不会减少特征的数目。前面讲述过线性回归其通过最大似然的方式求解θ\thetaθmax⁡θ  ∏i=1mp(y(i)∣x(i);θ)\matho

2020-06-20 22:48:18 68

原创 CS229 Lecture 10

CS229 Lecture 10课程要点:VC 维模型选择-交叉验证特征选择回顾上节课推论:假设H\mathcal{H}H的大小为kkk且γ\gammaγ和σ\sigmaσ固定,那么对于在至少1−σ1-\sigma1−σ的概率下ε(h^)≤minh∈Hε(h)+2γ\varepsilon(\hat h)\le min_{h\in \mathcal{H}}\varepsilon(...

2019-10-09 22:55:45 95

原创 CS229 Lecture 9

CS229 Lecture 9课程要点学习理论偏差与方差就上面的三幅函数与数据的拟合图像来说,左图明数据呈现出二次函数形式而拟合函数却是一次函数θ0+θ1x\theta_0+\theta_1xθ0​+θ1​x,未能拟合出数据的特征,因此会造成训练误差很大,进而泛化误差就更不可靠。处于欠拟合状态,有较高的偏差 (high bais)。而右图使用了y=θ0+θ1x+⋯+θ5xy=\...

2019-09-15 11:27:15 63

原创 CS229 Lecture 8

CS229 Lecture 8课程要点:kernelssoft marginSMO algorithm原始优化问题:min⁡w,b  12∣∣w∣∣2\mathop {\min }\limits_{w,b}\,\,\frac{1}{2}||w||^{2}w,bmin​21​∣∣w∣∣2s.t&ThinSpace...

2019-09-07 22:50:49 94

原创 CS229 Lecture 7

CS229 Lecture 7课程要点:最有边界分类原始/对偶问题原始/对偶优化问题(KKT)支持向量机对偶问题核方法支持向量机的函数hw,b(x)=g(wTx+b)h_{w,b}(x)=g(w^Tx+b)hw,b​(x)=g(wTx+b),g(z)={1if  z≥ &ThinSpa...

2019-09-03 15:07:04 65

原创 CS229 Lecture 6

CS229 Lecture 6本节课重点Naive Bayes神经网络支持向量机回顾上节课的内容:将一封邮件表示成一个向量[10⋮1⋮]\begin{bmatrix}1\\0\\\vdots\\1\\\vdots\end{bmatrix}⎣⎢⎢⎢⎢⎢⎢⎡​10⋮1⋮​⎦⎥⎥⎥⎥⎥⎥⎤​,这个向量的长度为字典的大小,这个向量中的数字只能为0和1,即存在或者不存在。将其表示为生成学...

2019-08-23 23:40:29 68

原创 CS229 Lecture 5

CS229 Lecture 5本节课重点:Generative Learning algorithmsGaussian discriminant analysisNaive BayesLaplace smoothing如果一个算法目的是学习p(y∣x)p(y|x)p(y∣x)或者直接学习根据xxx预测数据的标签{0,1}\{0,1\}{0,1}。这类学习算法称为判别学习算法(di...

2019-08-07 23:46:29 69

原创 CS229 Lecture 4

CS229 Lecture4这节课听的也是不太懂,先把笔记记下来课程要点:牛顿方法广义线性模型指数分布族多项式分布牛顿方法牛顿方法提供了一种求解极值的方法,它需要迭代的次数会较梯度下降、上升之类的算法少很多。上图中左子图中有函数f(x)f(x)f(x)要求解其与xxx轴的交点,一种方法是选一点x0x_{0}x0​,计算其在对应的f(x0)f(x_0)f(x0​),过(x0...

2019-07-22 00:00:06 70

原创 CS229 Lecture 3

CS229 Lecture 3课程要点Linear RegressionLocally Weight RegressionProbabilistic interpretationLogistic RegressionDigression: perceptron Learning欠拟合:拟合出来的函数未能较好的反应出数据的特征,一般欠拟合反应在训练过程中,训练得到的误差很大。过...

2019-07-18 23:49:07 69

原创 CS229 Lecture 2

CS 229 Lecture 2本节课要点:线性回归(Linear Regression)梯度下降(Gradient Descent)Normal Equation符号定义符号含义mmm表示样本数目nnn表示特征数目xxx表示输入变量/特征yyy表示输出变量/目标变量(x,y)(x,y)(x,y)表示一个训练样本(x(i...

2019-07-14 13:50:44 56

原创 CS229 Lecture 1

CS229 Lecture 1监督学习学习理论无监督学习强化学习监督学习:学习算法是有标准答案的,即训练数据是有对应的标签的。如线性回归,分类算法都属于监督学习。无监督学习:即学习算法对于学习的结果是否正确是没有标准答案,这类学习主要是通过对数据特征的学习,发现数据中潜在的规律。例如聚类算法。强化学习:该学习是一个不断强化的过程,并不是一次性的。这类学习算法做出相应的动作,系统是...

2019-07-13 10:56:42 75

原创 git 学习

git 学习笔记git 管理 下的文件分为三种状态:已修改已暂存已提交以上三种状态分别对应工作区、暂存区、版本库git 常用命令#git 配置提交者的用户名和邮箱git config --global user.name "example"git config --global user.email "examp

2019-01-06 23:26:51 90

原创 ActiveMQ小demo

这里记述下ActiveMQ使用的两个小demo。demo1:点对点方式,这种方式中生产者和消费者是一对一的,一个生产者产生的消息置灰被一个消费者消费掉,如果生产者在消费者在队列中注册之前发送了某条消息,在消费者注册到对列中依旧是可以获取到这条消息的。创建queue的生产者package com.chunbaosheng.learn;import javax.jms.Connecti...

2018-07-17 19:15:57 185

原创 HttpServlet的service方法

HttpServlet中有两个Service方法:其中一个是重写GenericServlet的Service方法:@Override public void service(ServletRequest req, ServletResponse res) throws ServletException, IOException { HttpSe...

2018-06-13 14:35:01 728

原创 网页的转发与重定向

在web开发中,转发与重定向有很大的区别。直观看来,转发不会发生URL址的变换,而重定向则会发生URL的改变。这仅仅只是一种表象。HttpServlet中的request对象和response对象是在用户请求网页时由服务器根据浏览器传过来的参数封装生成的。一旦从浏览器请求过来,服务器响应回去那么request和response的也就到了生命的终点了。当使用转发的时候,浏览器仅仅请求一次...

2018-06-10 14:12:27 901

原创 Java静态代理与动态代理

有的时候类AAA可能无法访问类BBB,但是有一个类CCC,它可以访问AAA且BBB也能访问到CCC,那么AAA就可以通过CCC间接的访问到AAA。在Java**代理模式**中中三类角色:抽象角色,定义一系列的行为方法,可以用接口或者抽象方法表示。真实角色,它才真正做事的角色。代理角色,代理角色持有真实角色的一个引用,当访问代理角色时,它可以帮助我们间接的访问到真实角色(情况时,我们无...

2018-04-08 22:51:21 132

原创 java反射访问private字段与方法

我们知道Java中外部类是不可以访问某个类的private字段或者方法的,但是通过反射就会打破java的封装机制。下面看看如何通过反射来访问一个类的private字段和方法。import java.lang.reflect.Constructor;import java.lang.reflect.Field;import java.lang.reflect.Method;publi...

2018-04-08 17:20:02 919

原创 Java中的HashSet和TreeSet

Java中的HashSet类中存放的对象不能重复,怎么定义是否重复就得开发人员自己来自定,比如定义一个Person类,你可以人为两个名字相同的人,表示是一个人,那么HashSet中就不会存放两个名为”Tom”的对象。一般来说如果要把一类对象放入HashSet中我们一般需要重写其hashCode方法和equals方法。在我们使用HashSet时,被放入对象的hashCode就会得到调用,判断已经...

2018-04-01 14:27:00 243

原创 Java设计模式之单例模式与策略模式

单例模式即这种模式只会生成一个对象,我们知道java通过new 方法生成对象,这意味着每new一个就会生成一个对象,哪怎么样才能让一个类只生成一个实例呢?public class SingletonTest{ public static void main(String[] args) { /** * Earth earth1 = ne...

2018-03-29 16:13:59 371

原创 MIT 18.06 linear algebra 第三十五讲笔记

MIT 18.06 linear algebra 第三十五讲笔记第三十五讲是MIT 18.06 linear algebra的最后一讲,主要是对前面的知识的一个复习。例题: 给出一个m×nm×nm\times n矩阵AAA,满足Ax=⎡⎣⎢100⎤⎦⎥Ax=[100]Ax=\begin{bmatrix}1\\0\\0\end{bmatrix}没有解,Ax=⎡⎣⎢010⎤⎦⎥Ax=...

2018-03-28 12:23:12 128

原创 java多态

在说多态前,写记录下关于重载与重写的区别。重载: 方法名字相同,但是方法参数不同(①参数个数不同,参数类型不同),方法重载并不关心返回值的类型,也就是说返回值的类型对方法重载没有影响。方法重写 子类重写父类中的方法,两个方法的返回值类型一样,方法名一样,参数一样,这样的子类方法与父类中的方法构成了重写关系。重载发生在一个类的内部,而重写则是在父子类的继承。如果子类方法与父类方法中的...

2018-03-27 23:16:25 103

原创 MIT 18.06 linear algebra 第三十四讲笔记

MIT 18.06 linear algebra 第三十四讲笔记第三十四课课程要点:4 subspacesleft-inverseright-inversepseudo-inverse这张图是最前面学到的关于矩阵四个子空间。有m×nm×nm\times n的矩阵AAA,如果矩阵AAA的左右逆都存在即A−1A=I=AA−1A−1A=I=AA−1A^{-1}A=I...

2018-03-27 15:33:19 141

原创 java中构造方法重载和继承

java中同一个类同的构造方法怎么调用另一个构造方法呢?如果一个类中有多个构造方法,在一个构造方法中想要调用另一个构造方法,需要用到this(参数)这样的方式,且这行语句必须写在构造方法的第一行。public class B { public B() { /** * 这里的this(字符串)就是调用符合参数要求的构造方法 * ...

2018-03-26 23:17:14 356

原创 同步交互、异步交互和ajax基本用法

同步交互发一个请求就要等待服务器的响应结束,然后才能发第二个请求。常见的情形就是有的网站你点击太快,它就卡住了。每次请求都会刷新整个页面。异步交互发一个请求后,无需等待服务器的响应,就可以发送第二个请求。可以使用Js接收服务器的响应,axaj其实就是使用了JS的局部刷新功能。服务器给客户端的响应一般是整个页面,即一个完整的HMTL页面,但ajax是局部刷新,那么服务武器无...

2018-03-26 14:54:29 698

原创 MIT 18.06 linear algebra 第三十三讲笔记

MIT 18.06 linear algebra 第三十三讲笔记第三十三讲主要是对前面学习过的知识的一个复习。6.1-2 特征值与特征向量6.3 dudt=Aududt=Au\frac{du}{dt}=Au and eAteAte^{At}6.4 A=AT⇒A=QΛQTA=AT⇒A=QΛQTA=A^T\Rightarrow A=Q\Lambda Q^T6.5 Positive ...

2018-03-26 12:24:29 182

原创 MIT 18.06 linear algebra 第三十二讲笔记

MIT 18.06 linear algebra 第三十二讲笔记Change of basisCompression of ImagesTransformation↔↔\leftrightarrowMatrix这一课主要是讲了一些关于信号图像压缩的知识。假设现在有一幅图是512×512512×512512\times 512个像素的灰度图。这幅图可以表示为5212×15...

2018-03-25 12:21:12 148

原创 MIT 18.06 linear algebra 第三十一讲笔记

MIT 18.06 linear algebra 第三十一讲笔记第三十课课程要点:Linear TransformationsWithout coordinates: NO MatrixWith Coordinates →→\rightarrow Matrix例子一个二维平面中的投影:使得平面中的一个向量变为平面内的另一个向量 满足以下条件的就是线性变换:T...

2018-03-25 11:32:57 143

原创 MIT 18.06 linear algebra 第三十讲笔记

MIT 18.06 linear algebra 第三十讲笔记Singular value Decomposition ⇒SVD⇒SVD\Rightarrow SVDA=UΣVTA=UΣVTA=U\Sigma V^T ΣΣ\Sigma is diagonal U,V is Orthogonal对称的正定矩阵AAA,可以被写为A=QSQTA=QSQTA=QSQ^{T}。正定矩阵...

2018-03-23 16:00:55 280

原创 MIT 18.06 linear algebra 第二十九讲笔记

MIT 18.06 linear algebra 第二十九讲笔记ATAATAA^TA is Positive Definite !Similar Matrices A,B⇒B=M−1AMA,B⇒B=M−1AMA,B\Rightarrow B=M^{-1}AMJORDAN DORM正定矩阵意味着xTAx>0xTAx>0x^TAx>0,(除x=0x=0x=0)。 ...

2018-03-22 18:24:16 150

原创 MIT 18.06 linear algebra 第二十八讲笔记

MIT 18.06 linear algebra 第二十八讲笔记Positive Definite MatrixTests for Minimum (xTAx>0xTAx>0x^TAx>0)Ellipsoids in RnRnR^n假设正定矩阵A=[abbc]A=[abbc]A=\begin{bmatrix}a&b\\b&c\end{bmatrix},那么它满足...

2018-03-21 13:20:33 165

原创 MIT 18.06 linear algebra 第二十七讲笔记

MIT 18.06 linear algebra 第二十七讲笔记Complex inner productsVectorMatricesDiscrete FourierFourier Matrix FnFnF_nFast Transform =FFTFFTFFT一个普通的nnn阶矩阵和一个向量做乘法时需要进行n2n2n^2次乘法运算。而进行快速傅里叶变换后可以降低到n...

2018-03-20 11:04:07 143

原创 MIT 18.06 linear algebra 第二十六讲笔记

MIT 18.06 linear algebra 第二十六讲笔记第二十六课课程要点:Symmetric MatricesEigenvalue & Eigenvectorstart: Positive Definite Matrix关于对称矩阵A=ATA=ATA=A^T有以下特性:特征值都是实数特征向量都是(可以选取出一组)正交的。如果特征值不同的话...

2018-03-19 10:52:38 183

原创 MIT 18.06 linear algebra 第二十五讲笔记

MIT 18.06 linear algebra 第二十五讲笔记Review for quiz 2Q=[q1,q2,⋯,qn]Q=[q1,q2,⋯,qn]Q=\begin{bmatrix}q_1,q_2,\cdots,q_n\end{bmatrix} Projections–Least Squares Gram-SchmidtdetAdetAdetA Prope...

2018-03-18 11:50:59 151

原创 MIT 18.06 linear algebra 第二十四讲笔记

MIT 18.06 linear algebra 第二十四讲笔记第二十四讲课程要点:Markov matricesSteady StateFourier Series & ProjectionsA=⎡⎣⎢0.10.20.70.010.9900.30.30.4⎤⎦⎥A=[0.10.010.30.20.990.30.700.4]A= \begin{bmatrix...

2018-03-17 13:17:20 237

原创 MIT 18.06 linear algebra 第二十三讲笔记

MIT 18.06 linear algebra 第二十三讲笔记第二十三课课程要点:Differential Equation dudt=AUdudt=AU\frac{du}{dt}=AUExponential eAteAte^{At} of a matrix本节跳跃有点大,其实好些我也没懂,先记录下。常系数线性方程的解是指数形式的例子:{du1dt=−u1+...

2018-03-16 12:31:20 140

原创 MIT 18.06 linear algebra 第二十二讲笔记

MIT 18.06 linear algebra 第二十二讲笔记第二十二课课程笔记Diagonaliging a matrix S−1AS=ΛS−1AS=ΛS^{-1}AS=\LambdaPowers of A | equation Uk+1=AUkUk+1=AUkU_{k+1}=AU_k假设AAA有nnn个独立的特征向量,现在我们把它们作为列向量塞进矩阵SSS。AS=A...

2018-03-15 16:30:51 144

原创 MIT 18.06 linear algebra 第二十一讲笔记

MIT 18.06 linear algebra 第二十一讲笔记第二十一课课程要点Eigenvalue、Eigenvectordet[A−λI]=0det[A−λI]=0det[A-\lambda I]=0TRACE=λ1+λ2+λ3+⋯+λnTRACE=λ1+λ2+λ3+⋯+λnTRACE=\lambda_{1}+\lambda_{2}+\lambda_{3}+\cdots+\...

2018-03-14 10:59:25 172

提示
确定要删除当前文章?
取消 删除