- 博客(28)
- 收藏
- 关注
RSS订阅转载 NVidia TensorRT 运行 Caffe 模型
前面的话NVidia发布了TensorRT，支持fp16，可以在TX1和Pascal架构的显卡，如gtx1080上运行半精度。官方说法是TensorRT对inference的加速很明显，往往可以有一倍的性能提升。而且还支持使用caffe的模型。但不足的是还不支持自定义层，只有常用的一些层可以选用，NVidia论坛上也表示近期不太可能支持自定义层。 目前网上关于如何将TensorRT
2016-11-30 16:45:59
11628
转载 统计学习精要(The Elements of Statistical Learning)课堂笔记（二十五）：降维和PCA
降维降维完全属于unsupervised learning了，即给定数据集{x1,...,xn},xi∈Rp，我们希望降到q维的{z1,...,zn}。从这个角度来讲，降维和聚类还是有相通之处的，都是对于特征的提取。只是一个从行的角度出发，一个对列操作的感觉。PCA（主成分分析，Principle Component Analysis）个人觉得这也是起名字起的比较好的模型之一.
2016-11-29 14:56:56
549
转载 统计学习精要(The Elements of Statistical Learning)课堂笔记（二十四）：聚类
聚类讲的比较简单...怎么感觉老师不怎么待见unsupervised learning捏？...---------------笔记开始---------------------1. 一般概念1)分类与聚类（分类标识）评测纯度。我们有测试集{xi}，这样定义纯度为pk=mkNk≤1,∀k.2) 输入特征向量的表示：{xi,1≤i≤N},xi∈Rp。相似矩阵
2016-11-29 14:56:28
511
转载 统计学习精要(The Elements of Statistical Learning)课堂笔记（二十三）：原型方法和最近邻KNN
笔记（二十二）需要等我找到上一本笔记本再说，暂时不知道扔到哪里去了...汗。届时补上。这一章主要是讲的原型方法（prototype）和最近邻（KNN）。相对而言直觉更强，公式没那么复杂。--------------------------笔记开始-------------------1. 原型方法1) 1-NN 最近邻居方法最极端的情况：只找到最近的一位邻居。数据集D={(
2016-11-29 14:55:42
607
1
转载 统计学习精要(The Elements of Statistical Learning)课堂笔记（二十二）：核函数和核方法
补上笔记。这节课讲的就是大名鼎鼎的Kernel Method...核函数（正定）定义 K(x,y), x,y∈R满足：1) 对称： K(x,y)=K(y,x)2) 正定： n个观测x1,x2,...,xn∈Rp，Kn=⎡⎣⎢⎢K(x1,x1)⋮K(xn,x1)⋯⋱⋯K(x1,xn)⋮K(xn,xn)⎤⎦⎥⎥正定（或者非负定）。K(x,y)举例：
2016-11-28 10:10:20
593
转载 统计学习精要(The Elements of Statistical Learning)课堂笔记（二十一）：SMO算法
1. SVM优化问题1) 原问题min12∥w∥2+C∑iξis.t.yi(wi+b)≥1−ξi,∀i2) 拉格朗日形式的表述minL(yi,w′xi+b)+λ∥w∥2其中，L(yi,w′xi+b)=l(y(w′x+b))。3) 对偶问题min−g(λ,μ)=12∑i∑j(λiyi)(λjyj)(x′ixj)−∑iλis.t.∑iλiyi=00≤λi≤C
2016-11-28 10:09:39
443
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十九）：SVM
支持向量机——最大边距方法前言：这节课我人在北京，只能回来之后抄一下笔记，然后对着书和wiki理解一下....有什么错误还请大家及时指出。------------------------------1. 背景问题：两类分类问题数据：有标识、有监督D={(xi,yi)∣xi∈Rp,yi∈{−1,1}}ni=1模型：f(x)=sign(wx+b)，线性模型准则：
2016-11-28 10:09:06
442
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十八）：神经网络
1. 前馈神经网（Multilayer Feedforward Network）前馈神经网大致就是这个样子，一层一层的结构。这样，我们就由第一代的神经元系统繁殖出来了一个神经元群落...看起来很高深的样子。先说一些参数和记号：L：网络的层次nl，1≤l≤L：表示第l层中神经元的个数。特别的，n0=p为所有输入变量的个数（x的维数），nL是网络输出的个数。wljk，1
2016-11-28 10:08:15
559
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十六）
第十五章 随机森林(Random Forest)终于讲到这个神奇的算法了...若是百年前的算命术士们知道有此等高深之术，怕是要写成一本《随机真经》作为武林宝典世代相传了吧？猜得准才是王道嘛。p.s. 以前没看过的童鞋不要急，这节课只是从boosting直接跳讲到十五章，并不是已经快结课啦。---------------1.定义和算法算法：1. For b = 1 to
2016-11-28 10:06:54
309
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十五）
梯度树提升算法(GTBA, gradient tree boosting algorithm)继续boosting类算法哎。小小预告一下，下节课会直接跳到随机森林，老师貌似是想把各种分类器都一下子讲到，然后有点前后照应的比较～真有意思，若是以前扔给我这种问题我肯定run一个logit regression就不管了，现在倒是有各种线性的、广义线性的、非线性的模型可以试着玩了，爽哎～-----
2016-11-28 10:05:56
356
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十四）
开春，复课。一句无关的话...今天打开Google Reader看到7月份要关的提示，无限悲伤。看着落园若干RSS源里面累计800+的读者，只能说句bless...2008年开始使用，到现在，伴我度过了多少读书时光呀。不过确实也衰落了，高峰的时候一个RSS源就有600+读者，现在也只剩一半了。写博客，越来越像一件出力不讨好的事情了。--------正文开始---------提升与梯度树
2016-11-28 10:05:22
558
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十三）
本学期最后一堂课的笔记...就这样，每周上班的时候都没有惦念的了，我是有多么喜欢教室和课堂呀。或者说，真的是太习惯学校的生活方式了吧...这一节主要是在上一节的基础上，介绍一些可加模型或者树模型的相关（改进）方法。MARSMARS全称为Multivarible Adaptive Regression Splines，看名字就能猜出来大致他是做啥的。MARS这家伙与CART一脉相承（话说
2016-11-28 10:04:32
744
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十二）
第九章 可加模型、树模型相关方法1. 可加模型（additive model）大家都知道线性模型是最简单好用的，但是往往现实中很多效应都是非线性的。前面举过一个学历的例子，再抄一下：一方面，学历是你受教育的体现，也就是在取得学历的过程中完成了一定程度的知识积累。当然一定程度的学校录取证实了你一定程度的才智，但是也不是只有天才没有汗水就可以毕业的。更有意思的是，知识的积累往往是厚积而
2016-11-28 10:03:52
836
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十一）
上海的冬天越来越冷了，这门课也越来越临近这学期结束了。这节课公式推导不多，有也是那种烂熟于胸无数次的，所以可以稍稍歪楼，不时掺杂一点八卦什么的。BootStrap1. 定义BootStrap的基本思想就仨字：重抽样。先开始八卦~跟高斯窥探天机猜出来正态分布的密度函数表达式相似，Efron搞出来BootStrap的时候，大概也在偷偷的抿嘴而笑吧。“上帝到底掷不掷骰子呢？”，每次我们都
2016-11-28 10:03:05
574
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十）
一个东西写到10，总会多少有点成就感...只是不知道已经磨掉了多少人的耐心了呢？此外这节公式密集，大家看着办吧...-----------笔记开始------------继续上一讲，先说说EM算法。MM、EM和GMM1. MM（混合模型）(1) 定义：P(x)=∑Kk=1πkPk(x)，其中πk≥0，∑Kk=1πk=1，构成一个离散分布。同时有Pk(x)≥0，且∫Pk(
2016-11-28 10:02:18
569
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（九）
眼瞅着这学期也快接近尾声了，也在讲我越来越不熟悉的东西了...核平滑与局部方法1. 核平滑器(1) K-NN（K近邻）KNN的思想已经说过很多遍了，大致就是找点x的k个近邻，然后取其yi平均值作为x点y的预测值y^。不过这里我们就在想了，可不可以加权呀~于是从最简单的y^=1k∑xi∈Nk(x)yi，我们给他按距离算个加权平均：y^=∑xi∈Nk(x)wiyi,其中wi代表
2016-11-28 10:01:30
615
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（八）
平滑splines有数据集D={(xi,yi),1≤i≤N}，然后定义目标函数∑Ni=1(yi−f(xi))2+λ∫baf′′(x)2dx，记为(1)式。然后我们有如下结论：使（1）最小化的解一定是分段三次多项式。证明如下。记F为函数族a=x0⋯xnxn+1=b上的分段三次多项式（splines），且在首尾两段[x0,x1]和[xn,xn+1]上是一次多项式，那么他一定
2016-11-28 10:00:57
624
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（七）
例行的废话。刚刚看了一下Google Analytics里面的统计，那篇七天搞定SAS果然不负众望的摘得了（单篇博文）点击量桂冠。意外的是居然有那么多人会点击到“关于我”这个页面...呃，对我这么好奇么？2/learning-sas-in-7-days-1/3/coursera上的r语言课程/4/r会议小记/5/使用lyxxe
2016-11-28 09:59:47
1135
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（六）
呃，我觉得我的笔记稍稍有点混乱了...这周讲的依旧是线性分类器，logit为主。anyway，大家将就着看吧。logistic regression首先我们考虑最一般的，有K种分类的场合。依旧，我们用G来代替Y作为观测到的分类结果，那么则有：G^=argmaxGP(G|X)为最优的预测结果。这里我们希望找到一种线性的形式，还需要使用一些单调变换保证预测值在[0,1]之间。因
2016-11-28 09:59:13
471
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（五）
鉴于我上周写的[笔记（四）]让很多人反映太枯燥、太无聊（全是公式...可是这就是笔记嘛，又不是写科普文），我努力让这周的笔记除了公式之外多一点直觉和应用层面的点评。其实[笔记（一）到（二）]中说了很多回归和分类器的不同了，那么在经历了线性回归方法之后，就来说说分类器好了。我原来一直觉得回归和分类器没有什么本质不同的...主要是最常用的分类器logit和probit都是我在学计量的时候学的，那个
2016-11-28 09:58:30
805
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（四）
照例继续本周笔记。这次我没啥废话了...--------------笔记开始---------------投影矩阵与消灭矩阵首先是上次没证的若干OLS性质。基本都是公式。我就照抄原来econometrics做的笔记了。权当复习了...对计量有兴趣的、线性代数还不错的，建议去看《Microeconometrics- Methods and Applications》（?A. Colin
2016-11-28 09:57:42
417
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（三）
照例文章第一段跑题，先附上个段子（转载的哦~）：I hate CS people. They don't know linear algebra but want to teach projective geometry. They don't know any probability but want to use graphical models. They don't underst
2016-11-28 09:57:08
433
1
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（二）
继续一周一次的课堂笔记 :D昨天去晚了站着听讲，感觉好好啊，注意各种集中。想想整个教室里面就是我和老师是站着的，自豪感油然而生。第二次课讲的东西依旧比较简单，是这本书第二章的前半部分。作为一个好久之前已经预习过的孩子，我表示万分的得意（最小二乘法难道不是三四年前就学过的？话说以后我再面人的时候，就让他推导最小二乘估计量，嘻嘻...考验一下基本功）。------------原谅我的废
2016-11-28 09:56:29
1232
转载 ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（一）
前两天微博上转出来的，复旦计算机学院的吴立德吴老师在开?统计学习精要(The Elements of Statistical Learning)?这门课，还在张江...大牛的课怎能错过，果断请假去蹭课...为了减轻心理压力，还拉了一帮同事一起去听，eBay浩浩荡荡的十几人杀过去好不壮观！总感觉我们的人有超过复旦本身学生的阵势，五六十人的教室坐的满满当当，壮观啊。这本书正好前阵子一直在看，所以才
2016-11-28 09:55:35
748
转载 矩阵求导公式
基本公式：Y = A * X --> DY/DX = A'Y = X * A --> DY/DX = AY = A' * X * B --> DY/DX = A * B'Y = A' * X' * B --> DY/DX = B * A' 1. 矩阵Y对标量x求导： 相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成N×M了 Y = [y(ij)] --> dY/
2016-11-23 16:13:51
738
转载 python Json的一点收获，自定义序列化方法
PyMOTW: json模块： json目的： JavaScript对象格式序列器python版本： 2.6json模块提供了一个类似于pickle中用于转换内存中Python对象为一个序列表示形式(“JavaScript Object Notation”)的API接口. 但和pickle不同的是, JSON在其他很多语言中都有对应实现(特别是在JavaScript中), 使其更适
2016-11-18 16:04:23
2116
转载 tensorflow笔记 ：常用函数说明
tensorflow笔记系列： （一） tensorflow笔记：流程，概念和简单代码注释 （二） tensorflow笔记：多层CNN代码分析 （三） tensorflow笔记：多层LSTM代码分析 （四） tensorflow笔记：常用函数说明本文章内容比较繁杂，主要是一些比较常用的函数的用法，结合了网上的资料和源码，还有我自己写的示例代码。建议照着目录
2016-11-17 11:34:25
18275
转载 RNN资源博客 Recurrent Neural Network的经典论文、代码、课件、博士论文和应用汇总
Awesome Recurrent Neural NetworksA curated list of resources dedicated to recurrent neural networks (closely related todeep learning).Maintainers -Jiwon Kim,Myungsub ChoiWe have pages for othe
2016-11-07 09:56:55
3894
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人