自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(17)
  • 收藏
  • 关注

原创 点到超平面距离

点到超平面距离定义平面为 WTX=0W^TX = 0WTX=0,点为X0X_0X0​。定义X0X_0X0​到平面的垂直投影点为X1X_1X1​,则:X0X1→∗W→=d∗(w0)2+(w1)2+(w2)2+⋯+(wn)2=d∗∣∣W∣∣\overrightarrow{X_0X_1}*\overrightarrow{W}=d*\sqrt{(w^0)^2 + (w^1)^2 + (w^2)^2+⋯+(w^n)^2} = d * ||W||X0​X1​​∗W=d∗(w0)2+(w1)2+(w2)2+⋯+(w

2020-05-25 16:00:57 513 1

原创 协方差矩阵

1.协方差矩阵的格式与意义协方差矩阵为对称半正定矩阵。假定其格式为: Cov=⎡⎣⎢⎢⎢⎢⎢cov11cov21⋮covn1cov12cov22⋮covn2cov13cov23⋮covn3⋯⋯⋱⋯cov1ncov2n⋮covnn⎤⎦⎥⎥⎥⎥⎥Cov= \begin{bmatrix} cov_{11} & cov_{12} & cov_{13} & \cdots & cov_{1n} \

2018-04-02 17:19:00 2158 1

原创 逻辑回归公式推导

文章参考周志华《机器学习》机器学习离不开模型,算法,激活函数。 逻辑回归使用线性回归的的预测结果去逼近对数几率,所以使用的模型和线性回归一样。逻辑回归使用的激活函数为S型函数中的对数几率函数,公式以及曲线如下: y=11+e−zy=11+e−zy=\frac{1}{1+e^{-z}} 而逻辑回归从输入的特征值计算出输出值的更新公式为: h(θ)=11+e−(θTx+b)h(θ)=1...

2018-03-23 16:19:31 595

原创 Adam

Adam方法同样融合了 AdaGrad和RMSProp,更新公式如下: wt=wt−1−α∗mt^vt^−−√+ϵw_{t} = w_{t-1} - \alpha * \frac{\hat {m_t}}{\sqrt{\hat{v_t}}+\epsilon} 其中tt表示次数,mt^\hat{m_t}为mtm_t的纠正,vt^\hat{v_t}为vtv_t的纠正mt^=mt1−βt1\hat{m_

2018-02-09 19:50:56 1408

原创 ADADELTA

全文参考: Zeiler M D. ADADELTA: an adaptive learning rate method[J]. arXiv preprint arXiv:1212.5701, 2012.该方法只使用一阶信息,无需手动调整学习速率,对噪声梯度信息,不同的模型结构选择,各种数据模式和超参数的选择具有一定的鲁棒性。1.ADAGRADADADELTA是ADAGRAD的变

2018-02-04 19:51:34 2498

原创 拟牛顿法

拟牛顿法1、牛顿法又称割线法,对f(x+Δx)进行泰勒展开f(x+\Delta x)进行泰勒展开f(x+Δx)=f(x)+f′(x)Δx+12f”(x)Δx2f(x+\Delta x) = f(x) + f’(x)\Delta x+\frac{1}{2}f”(x)\Delta x^2对Δx\Delta x求导,得:f′(x+Δx)=f′(x)+f”(x)Δxf’(x+\Delta x) = f’(x

2017-12-28 16:03:06 1511

原创 堆排序

package 堆排序练习题;public class HeapSort { public static void main(String[] args) { int[] A = { 32, 103, 24, 88, 95, 70, 97, 15, 102, 6, 79, 46, 51, 37, 93, 108, 9, 58, 53, 58, 79, 36, 58, 91, 7

2017-09-12 17:28:15 303

转载 Check failed: registry.count(t ype) == 1 (0 vs. 1) Unknown layer type: Input (known types: Input )

转自博客 http://www.tk4479.net/birdwcp/article/details/53580068自己建立一个工程,调用libcaffe.lib ,成功编译,但是运行就会遇到报错 F0519 14:54:12.494139 14504 layer_factory.hpp:77] Check failed: registry.count(t ype) == 1 (0 vs. 1)

2017-06-27 18:59:52 1364 2

原创 Caffe微调

1.微调原因数据不够,容易过拟。也可以是需要添加新数据源。2.如何微调:修改train_val.prototxt文件(网络文件),solver.prototxt(训练文件)cmd中运行caffe % ./build/tools/caffe train -solver models/finetune_flickr_style/solver.prototxt -weights models/bvlc

2017-06-15 15:24:23 891 2

原创 使用Caffe进行图片分类

首先,贴参考:caffe_root\caffe-master\examples\imagenet, (这是windows下的脚本运行,用于训练建模) caffe_root\caffe-master\examples\cpp_classification\classification.cpp(用于分类) 所使用的顺序是1.create_imagenet.sh(将图片转成lmdb格式,并统一大小)

2017-05-29 15:27:10 1089

原创 限制玻尔兹曼机 Restricted Boltzmann Machine (RBM)

1.基础知识要理解限制玻尔兹曼机,需要的基础知识为: 1.最大似然估计,这是我的上一篇博客。 2.玻尔兹曼分布(Boltzmann distribution) Boltzmann分布是一个系统中各种状态时,粒子的概率分布,概率测量或频率分布:F(state)∝e−EkTF(state)\propto e^-\frac{E}{kT} ∝\propto是正比于符号,EE是状态能量,kk是玻尔兹曼

2017-05-21 15:37:05 2540 1

原创 最大似然估计

先贴一下我的参考:维基百科 东北师范大学课件 知乎 由于年代久远,所以以前学的概率全忘了,所以复习下。首先,回想下统计学的核心,以样本去估计整体,我为什么要去求得这个最大似然估计, 例如:我有一个黑盒子,盒子里放了200个球,我次拿出一个,记录颜色,然后放回,摇匀,其中8个黑球,2个白球,同时,设拿到黑球的概率为p{p} 。这时,我所掌握的信息就是:每次拿出的不同的球的概率是相等的,即样本相互

2017-05-19 20:21:38 766

原创 Caffe在Windows上的搭建

不论开始学什么,搭建环境总是让人头疼,这次是因为要在VS上调用Caffe,所以就在windows上搭建Caffe,Windows相对于Linux确实不适合学习,哎!废话少说,把自己还记着的记录下来吧。1.VS2013下载为什么是VS2013?而不是VS2015之类的,Caffe对于在Windows上的安装也是有官方的文档的: BVLC/Caffe,上面也说2015也可以,但是在一次次的尝试后发现错误

2017-05-18 10:33:38 12268

原创 Precision(精准率) and Recall(召回率)

在机器学习系统设计的时候会遇到一类数据集:Skewed Classes 。这意味着在分类时一种类别比其他的类别多的多。 会出现的情况:构建的模型的精确度(代价) 甚至不如直接将其全部分为数量多的那个类别。比如:分类是否获得学校奖学金,分类是否是癌症患者。 带来的问题:将精确度(或者代价)作为衡量算法是否好的标准变的不再有效。 解决的方法:使用Precision(精准率) and Recall(

2017-02-10 13:22:50 2538

原创 决策树算法(一)

决策树算法是机器学习中的一种算法,有分类和预测的作用。首先先贴下算法1.简要介绍及算法表达: 输入:训练集D={(x1,y1),(x2,y2),…,(xm,ym)}D=\{(x_1,y_1),(x_2,y_2),…, (x_m,y_m) \} 属性集A={a1,a2,…,ad}A=\{a_1,a_2,…,a_d \} 过程:函数TreeGenerate(D,A)TreeGenerat

2016-12-23 16:09:30 563

原创 冒泡及改进(java实现)

冒泡核心就是两层for。 冒泡就是从数组的第一位开始比较大的放后面,小的放前面(从小到大排序),所以每一次循环结束,总是数组中最大的,在最后面。外层的for循环,就是将内层每次最大的数排除在外。下面是简单的java实现。public class BubbleSort { public static void main(String[] args) { double[]

2016-12-09 11:49:38 393

原创 Apriori算法

Apriori算法第一次写博客,看这个算法的目的是为毕设开题做准备,以及以后的复习所做的笔记。Apriori属于无监督学习,对数据关联规矩进行挖掘的算法。 关联规则是形如X⇒\RightarrowY的蕴含式,其中X,Y分别是I的真子集,并且X∪\cupY=∅\emptyset。X称为规则的前提,Y规则的结果。关联规则翻译X中项目出现时,Y中的项目也跟着出现的规律。

2016-11-24 21:43:11 749

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除