- 博客(138)
- 资源 (27)
- 收藏
- 关注
原创 NIPS 全文下载
有些收集癖,所以这次打算把NIPS上历年的论文都下载下来。尝试通过python直接下载,不过发现很慢,所以想到,那就直接先爬取所有的下载链接,分好文件夹,然后在手动对应不同的年份将其复制到迅雷中下载(目前一共开了29期,所以手动工作还好)代码及解释如下:# -*- coding: utf-8 -*-"""Created on Sat Sep 9 19:10:39 2017@author: sh
2017-09-24 10:35:06
4147
2
原创 logistic回归和最大熵
回顾发现,李航的《统计学习方法》有些章节还没看完,为了记录,特意再水一文。0 - logistic分布如《统计学习方法》书上,设X是连续随机变量,X服从logistic分布是指X具有以下分布函数和密度函数: F(x)=P(X≤x)=11+e−(x−μ)/γF(x) = P(X \leq x)=\frac{1}{1+e^{-(x-\mu)/\gamma}} f(x)=F′(x)=e−(x−μ)/γ
2017-09-11 23:16:26
798
原创 tensorflow-杂点
记录使用tensorflow中一些疑惑的小问题。FAQS:1 - 使用match_filenames_once时候用tf.global_variables_initializer初始化报错 使用tf.local_variables_initializer()初始化(原因待后续)import tensorflow as tffiles = tf.train.match_filenames_
2017-09-10 10:19:29
570
原创 KNN-笔记(2)
1 - kd TreeKD树是一种对K维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。KD树其实就是二叉树,表现为对K维空间的一个划分,构造kd树相当于不断的用垂直于坐标轴的超平面将k维空间切分,构成一系列的k维超矩形区域,即kd树就是二叉树在高维上的扩展。kd树的每个节点最后对应于一个k维超矩形区域。kd树搜索的平均计算复杂度是O(logN)O(logN)。假如维度是k, 而样本点一共
2017-09-02 19:39:00
451
原创 lstm-结构
lstm的结构就不重复废话了,推荐一个简单理解的: [译] 理解 LSTM 网络 这个写的不错,首先从结构上清晰明了的知道了lstm中几个门的作用及操作过程。然而却缺少了矩阵计算级别的结构介绍,也就是今天一直疑惑的,每个门到底是个单神经元还是一层神经元。后面去找原文,也就是第一篇lstm的论文仍未解除心中疑惑,而且其中画的图还没有上面那个好理解。只能求知于tensorflow源码。 1 - 首
2017-07-26 00:26:03
1236
原创 关于MSCOCO_text数据集的探索
最近需要做图片中文本识别的项目,然后为了快速验证模型,所以找到了mscoco-text数据集,网站1上是这么说的: 官网是这么说的: 然而,我下下来之后: 1 - 先导入: 2 - 其中key为’imgToAnns’是图片序号对应的注释序号,却是这样的: 然后,其中具体的图片中文字并不是完全标记出来的,比如某张图片中其实一共至少4处文字,其实就标记了一处,更有甚者有的图
2017-06-14 22:00:02
1742
5
原创 线性降维-笔记(1)
1 - 背景样本在高维情形下会出现数据样本稀疏(因为样本不是均匀分布在每个维度表示的空间中),距离计算困难(欧式距离也不如人想象的那么有效),可视化困难等问题。所以不论是机器学习,还是人类理解角度,高维都是个不喜欢的话题(当然对于低维样本线性不可分而上升到高维线性可分的情形并不是这里指的情况)。因为基于大多人类观测和收集到的样本,学习任务密切相关的也许只是某些低维分布。所以如果适当的降维,
2017-04-13 23:18:21
5218
原创 adaboost-笔记(1)
1 - 加法模型加法模型,就是通过训练集不断的得到不同的分类器(回归),然后将这些分类器组合成一个新的分类器的过程。假设有NN个样本,且我们的加法模型如下: f(x)=∑m=1Mβmb(x;Ym)f(x)=\sum_{m=1}^M\beta_mb(x;\cal Y_m) 其中xx为自变量,即样本;Ym\cal Y_m为第mm个分类器的参数;b(x;Ym)b(x;\cal Y_m)为分类器,也就是
2017-04-07 23:51:41
867
原创 高斯分布-笔记(1)
1 -单变量高斯分布单变量高斯分布概率密度函数定义为: p(x)=12πσ−−−√exp{−12(x−μσ)2}(1.1)p(x)=\frac{1}{\sqrt{2\pi\sigma}}exp\{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2\} \tag{1.1} 式中μ\mu为随机变量xx的期望,σ2\sigma^2为xx的方差,σ\sigma称为标准差:
2017-03-28 22:08:01
4542
原创 贝叶斯-笔记(1)
0 - 背景贝叶斯是个好东西(频率学派的不这么看),好多模型都可以从贝叶斯角度来解释,而且贝叶斯决策理论也是作为最优分类,给其他模型做错误上限什么的参照的。对于分类来说,在所有相关概率都已知的情况下,贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。然而贝叶斯又分朴素贝叶斯、半朴素贝叶斯、贝叶斯网等等。 P(X,Y)=P(X|Y)P(Y)(0.1)P(X,Y)=P(X|Y)P(Y)
2017-03-25 00:26:00
762
原创 决策树-笔记(1)
1 - 背景决策树:是基于树结构的一种机器学习方法。其训练方法决定了它是一种有监督学习方法,且和KNN一样是一种非参数化模型。且当类数较多时,该方法具有一定的优势[1]。最流行的决策树是将空间拆分成超矩形,超矩形的边与轴平行。 ps:参数化模型,有着固定数量的参数,通常在预测阶段速度很快,而缺点就是对数据分布有着先验假设;非参数化模型,其参数会随着训练集的增大而增加,所以相对更加灵活,可是对于大数
2017-03-17 13:01:07
1088
原创 SVM-笔记(1)
1 - 目的。SVM推导是从讨论最优超平面开始的,即为了得到一个能够划分不同超平面的面,即公式1: wTx+b=0(1)\begin{equation}w^Tx+b=0 \tag{1} \end{equation} 这个公式怎么来的,其实就是基于2维推导过来的,当二维图像时,也就是熟悉的x,y坐标系。我们将一条线的函数公式定义为Ax+By+C=
2017-03-08 17:09:44
909
原创 ElasticSearch3.0-es集群的数据入库
建表前优化这里,我采用的是elasticsearch-py与es集群进行交互。 因为有6台服务器作为es集群,如果只是针对一台进行录入,显然效率不高,所以可以同时对所有节点进行录入。 首先按照官网的优化介绍,有几个设置参数是必须在创建表之前就设定的,一旦录入数据之后,这几个参数就没法修改,并参考了下徽沪一郎大神这篇博文《elasticsearch性能调优》。 1 - 通过kibana的dev
2017-03-08 12:39:35
1945
原创 spark1.0-集群搭建
背景机器环境:部门有10台服务器,每台配置为:intel E5-2690 v3 48核,775Gb内存。搭建了hdfs,hive,spark,并且spark的资源调度方案为yarn模式。因为资源分配有限。故而在自己组所拥有的6台服务器上,手动搭建spark集群,每台配置为:intel E5-2670 v3 48核,128Gb内存,18T硬盘(一个驱动控制器口)。 任务:20T压缩包(压缩率3左右,
2017-02-17 14:22:47
852
原创 scala2.0-杂记
关于类参数的困惑对于scala来说,其默认就有个主构造器,一旦类实例化,就会自动调用该主构造器class test(n:Int){ println(n) override def toString = n def printt() {println(f"class parameter ${n}")}}这里的n就是类参数,其在类new的时候会被主构造器收集并用来初始化,生存空间仅局限于当
2017-02-14 09:51:30
393
原创 Python3.2-re模块之常用正则记录
python的re模块是个很好的模块,这里简单记录下自己编写的几个有用的正则: 1:邮箱匹配: gReMailbox = re.compile(r'([\w\.\-+]+@[\w\-]+\.[\w\-]+(?:\.\w+)?)') 2: 手机号匹配: gRePhone = re.compile(r'^1(?:3\d\
2016-10-26 10:48:48
622
原创 shell杂记
(本文将持续更新)从2015年9月25日开始正式学习linux类的东西。书籍入门:UNIX.Shell编程24学时教程(中文版)、Linux与UNIX Shell编程指南、shell十三问、LINUX SHELL脚本攻略、Shell脚本专家指南。对于变量替换来说,就有点让人总是搞混掉。主要有8个: 变量名称 语法 解释 例子 :? ${parameter:?var} par
2015-10-30 12:22:01
550
转载 linux echo设置颜色
echo要变换颜色的时候,要使用参数-e 格式: echo -e “\033[字背景颜色;字体颜色m字符串\033[0m” 例如: echo -e “\033[41;36m something here \033[0m” 其中41的位置代表底色, 36的位置是代表字的颜色注: 1、字背景颜色和文字颜色之间是英文的“”“” 2、文字颜色后面有个m 3、字符串前后可以没有空格,如果有的话
2015-10-10 22:25:53
620
原创 opencv7-ml之KNN
准备知识 在文件”opencv\sources\modules\ml\src\precomp.hpp“中 有cvPrepareTrainData的函数原型。intcvPrepareTrainData( const char* /*funcname*/, const CvMat* train_data, int tflag,
2015-09-27 18:08:53
1183
原创 opencv7-ml之统计模型
在opencv的ml模块中有个统计模型类,而其他的比如朴素贝叶斯分类器、knn、svm等等其他模型都是基于该模型上派生出来的。所以先介绍下该模型。该类的定义在文件“opencv\sources\modules\ml\include\opencv2\ml\ml.hpp”中:class CV_EXPORTS_W CvStatModel{public: CvStatModel();
2015-09-27 11:52:21
915
原创 计算机视觉-sift(2)代码理解
之前结合不同人的宝贵资料理解了sift的原理,这里通过opencv中的代码来加深对sift的实现的理解。使得能够从原理性理解到源码级的理解。不过该博文还是大量基于《赵春江, opencv2.4.9 源码分析,SIFT http://blog.csdn.net/zhaocj》的。在opencv3.0中,已经看不到sift.cpp源代码了,在2.4.10中还是有的:opencv\sources\mod
2015-09-26 08:52:03
3686
原创 计算机视觉-sift(1)原理
1999年由David Lowe首先发表于计算机视觉国际会议(International Conference on Computer Vision,ICCV),2004年再次经David Lowe整理完善后发表于International journal of computer vision(IJCV)。截止2014年8月,该论文单篇被引次数达25000余次。---来自百科本打算对0
2015-09-25 17:40:07
3828
1
原创 PRML2-概率分布
本博文来自《PRML第二章》在第一章中说了对于模式识别问题来说,核心角色就是概率论。本章的目的一方面是为了介绍概率分布,另一方面也是为了对后面遇到的那些复杂问题先打下基础。本章关于分布上的一个讨论核心就是如何在给定有限的观测集合基础上对随机变量的概率分布进行建模,这也被称之为密度估计问题。本章中假设数据都是i.i.d 的。这里我们的强调下密度估计问题其实是个病态问题,因为对于某个观测到的有
2015-09-11 09:03:28
846
原创 如何高效的通过BP算法来训练CNN
《 Neural Networks Tricks of the Trade.2nd》这本书是收录了1998-2012年在NN上面的一些技巧、原理、算法性文章,对于初学者或者是正在学习NN的来说是很受用的。全书一共有30篇论文,本书期望里面的文章随着时间能成为经典,不过正如bengio(超级大神)说的“the wisdom distilled here should be taken as a gu
2015-09-10 16:36:07
11756
2
原创 CPP2-基础部分(1)
参考自《c++ primer plus》《c++ primer 5th zh》、《The C++ Programming Language 4th Ed》
2015-09-05 22:39:10
1268
原创 PRML5-神经网络(2)
本节来自《pattern recognition and machine learning》第5章。接(PRML5-神经网络(1))5.5NN中的正则化 NN的输入层和输出层的单元个数都是按照数据集定义的,只有中间的隐藏层的单元个数是自由参数,通过最大似然求得一个最优值,防止出现欠拟合和过拟合。不过泛化误差不是一个简单的关于的函数,因为在误差函数中有许多的局部最小存在,如
2015-07-27 09:09:55
2540
原创 《机器学习系统设计》(2)
来自书籍《Building Machine Learning Systems with Python 》 前两章觉得还是挺简单的,干货没有。下面来第三章,这一章主要是介绍文本处理方面,而且没有涉及到最新的word2vector方法等等(DL在NLP上的应用),本章节还是介绍词袋啊什么的,DL在NLP上最近的表现还是比传统的好很多的,比如谷歌方面,比如微软方面,还有中科院在中文上的努力。
2015-07-25 16:21:06
1409
原创 《机器学习系统设计》(1)
来自书籍《Building Machine Learning Systems with Python 》 本书主要在于如何实际的教用户来学习ml,其中简单的介绍了ml的原理,重点还是放在使用python和numpy、scipy、scikit-learn等包的使用上。通过简单的实例来讲解,还算是有趣。正如豆瓣上说的:机器学习理论的经典教材很多,但讲经典的理论如何实现的好书就不那
2015-07-24 17:30:41
2428
原创 PRML5-神经网络(1)
本节来自《pattern recognition and machine learning》第5章。五、神经网络 在本书的第3、4章分别是基于回归和分类的线性模型,都是通过将固定的基函数进行线性组合来处理。这些函数虽然分析和计算清晰,可是却受到维数灾难的困扰,当需要将模型用在大规模问题上时,有必要让基函数去适应数据。在后面的第7章介绍的SVM是首先在这些训练数据点中心部分定义
2015-07-13 20:58:00
2521
原创 CUDA2.4-原理之性能优化及浮点运算
本部分来自于《大规模并行处理器编程实战》第六章、第七章。打算不再看这本书了,准备看《programming massively parallel processors 2nd》,即它的第二版,第一版是09年的,第二版是13年的,虽说第二版可是里面涉及的是cuda4.0 和5.0,然而现在2015年7月,cuda都7.0了,正所谓赶速度,完全赶不上啊。虽然说本书好,不过一个不小心,你费老大劲做的优化
2015-07-09 19:59:13
4334
原创 PRML1-引言
本系列是根据《pattern recognition and machine learning》一书写的,算是读书笔记?算是吧。数学符号约定: 该书意在能够以最小的数学范围来解释整本书,不过在微积分、现代、概率论上还是不可避免的用到,为了方便概念的理解,所以本书在力求数学上的严谨的同时更多的是从不同的参考资料中将数学符号都能够统一起来。向量表示成小写黑体罗马字母例如,所有的变
2015-07-08 14:43:18
1558
原创 PGM1.1-简介
自己根据Jordan大神的资料写的(算翻译?完全不记得了,这是半年前整理的,反正不记得了,如果大神有看到部分重合,那肯定是我借鉴了人家的,本来是一个群里的人大家兴致高说写DL的书(所以这一章并不是书的重点,只是为了引出DBN而已,所以才不需要PGM的大神参合),我算负责这一章,这是初稿,也就是先和对应的章节审稿人定框架结构,然后在改,所以这节粗糙是一定的,只是本以为等着审稿人的意见,然后大改特改的
2015-06-30 21:48:59
1161
原创 AI1.1-人工智能史
来自:http://zh.wikipedia.org/wiki/人工智能史#CITEREFBerlinski2000这篇是来自维基百科上面的人工智能史,将其大部分保留(真的是大部分,所以差不多没有原创的,只是改了下排版),然后自己塞了点东西(好少),算是个科普读物吧。人工智能史人工智能概述 人工智能是人类美好的愿景,是在长达一千多年的历史中不断追寻的梦
2015-06-30 21:33:30
2525
原创 数学-矩阵计算(4)两种布局
本博文来自维基上的矩阵计算:https://en.wikipedia.org/wiki/Matrix_calculus#Denominator-layout_notation之前会发现在有的求导上最后结果需要转置,而有的不需要,很困惑,然后才发现了这个维基上面的解释(这才是写该博文的主要价值,注意到不同的布局问题,其他部分只是为了完整性而写的),而且下面也有很多很不错的参考链接,其中就有之前的
2015-06-28 09:43:14
21996
19
原创 数学-矩阵计算(2)矩阵函数微积分前奏
来自:http://www4.ncsu.edu/~pfackler/ 下面的《Notes on Matrix Calculus》,这是Paul l. Fackler 在2005年9月27日写的矩阵微积分笔记Notes on Matrix Calculus 矩阵微积分会涉及到对矩阵函数操作的规则。例如,假设将一个m×n 的矩阵 X 映射到一个p×q 的矩阵 Y 中。而我们期望获得的导数
2015-06-24 17:06:58
12685
2
原创 数学-矩阵计算(1)矩阵和向量的求导法则
机器学习、模式识别等领域,都是需要借助数学的,所以对于数学的理解和运用是十分重要的,这里先转载网上暂时找到的矩阵求导的一小部分。成长路漫漫,多学一点,就能更加接近自己的梦想!矩阵分四个博文介绍,这里是第一个。下面的(一部分)来自某个pdf中,因为不知道出处,所以也就没法引用了。见谅!一、矩阵的元素级别求导1.1 行向量对元素求导设是 n 维行向量,x 是元素,那
2015-06-24 09:15:13
2566
1
转载 openMP的一点使用经验【非原创】
按照百科上说的,针对于openmp的编程,最简单的就是在开头加个#include,然后在后面的for上加一行#pragma omp parallel for即可,下面的是较为详细的介绍了openmp的入门。OpenMP:OpenMp是由OpenMP Architecture Review Board牵头提出的,并已被广泛接受的,用于共享内存并行系统的多线程程序设计的一套指导性的编译处理方案(C
2015-06-22 12:32:16
2010
原创 Theano2.1.21-基础知识之theano中多核的支持
来自:http://deeplearning.net/software/theano/tutorial/multi_cores.htmlMulti cores support in Theano一、BLAS 操作 BLAS是一个针对于某些数学上操作的接口,其中包括两个向量、一个向量和一个矩阵、两个矩阵(即,介于向量/矩阵和矩阵/矩阵之间的点积操作)。当然有许多这样接口
2015-06-22 09:48:35
1147
Implementing a Language with LLVM in Objective Caml-llvm.org (2017).pdf
2019-09-12
Mayur Pandey, Suyog Sarda - LLVM Cookbook-Packt Publishing (2015).pdf
2019-09-12
Modern C++ Programming Cookbook[May 2017].pdf.zip
2019-09-12
Julia-Cookbook
2018-10-09
Getting-Started-with-Julia-Programming
2018-10-09
Julia-High-performance
2018-10-09
Pro Deep Learning with TensorFlow.
2017-12-12
NIPS会议全文下载链接
2017-09-24
Tree Boosting With XGBoost
2017-09-09
XGBoost A Scalable Tree Boosting System.
2017-09-09
Neural Networks and Deep Learning
2017-09-09
Hands On Deep Learning with TensorFlow
2017-09-09
Getting Started with TensorFlow
2017-09-09
Programming in Scala, 3rd Edition
2017-09-02
WindowsAPI参考大全
2013-04-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人