casmaster-CSDN博客

翻译 [论文笔记]Modeling Interestingness with Deep Neural Networks

Abstract目的:根据用户正在阅读的doc,推荐相近的doc 数据:浏览器数据训练:将source和target doc投影到隐含空间,使得他们的距离最小展示有效性的两个兴趣度任务:自动高亮,上下文实体搜索1.Introduction兴趣度很重要的两个任务:

2017-07-24 22:33:18 567

原创 [论文笔记]Learning Deep Structured Semantic Models for Web Search using Clickthrough Data

[论文笔记]Learning Deep Structured Semantic Models for Web Search using Clickthrough DataAbstractDSSM是一个判别模型.训练方式:极大化给定query条件下,被点击的文档的条件似然(样本是clickthrough data).为了能够用于大规模搜索应用,使用了word hash技术Introductio

2017-07-24 22:16:04 2145

原创 [阅读笔记]Introduction to Boosted Trees

概念(要学什么)回归树(CART)回归树emsemble模型$$y_i = \sum_{k=1}^{K}f_k(x_i) , f \in F$ $参数GB(如何学习)additve training(boosting)L(t)=∑i=1nl(yi,ŷ (t−1)i+ft(xi))+Ω(ft)L^{(t)}=\sum_{i=1}^n l(y_i, \hat{y}_{i}^{(t-1)} + f_t(

2017-07-24 15:06:53 517

原创 [阅读笔记]AutoRec: Autoencoders Meet Collaborative Filtering

introductionAE之前成功应用在图像和语音上,现在迁移到推荐上模型传统的AE minθ∑r||r−h(r;θ)||22\min_{\theta}\sum_{r}||r-h(r;\theta)||_2^2AutoRec在传统AE的基础上做了如下变化 - 损失函数只和观察到的元素有关 - 加上正则化项AutoRec和RBM-CF的区别 - RBM是生成式模型 - RBM通过极大化对数

2017-07-24 12:10:47 1819

原创 [公开课笔记]线性autoencoder和FM的关系

autoencoder概念weights:是一种特征变换.也就是”编码” 好的weights:information preserving encoding (保留原始信息的编码) information preserving: 编码后,可以精确的解码结论:pre-traing目标要是information preserving encoding基本的autoencoder: d−d′−d

2017-07-24 01:13:35 318

原创 [读书笔记]机器学习-11章-特征选择和稀疏学习

11 特征选择和稀疏学习11.1 子集搜索和评价定义:特征很多,选出相关的特征的过程原因: - 维度灾难(和10章讲的降维有关系) - 降低学习难度问题的难点:组合爆炸. 解决的两个环节:如何评价子集好坏一个特征划分样本和正本真实划分约接近,特征效果越好. 书中的例子是使用信息熵增益 gain(A)=Ent(D)−∑|Di||D|Ent(Di)gain(A)=Ent(D) - \sum

2017-07-24 00:33:14 290

原创 [论文笔记]Adaptive Subgradient Methods for Online Learning and Stochastic Optimization

Abstract作者提出一个新的次梯度方法家族,可以动态地吸收之前的看过的数据的信息,来进行更informative的基于梯度的学习.它可以找到很有信息的特征,即使非常罕见.1.Introduction背景:在很多在线学习中,样本维度很高,但是只有少量非零特征.罕见的特征经常很有信息量.前人基于这点,做了很多工作,比如TF-IDF. 直觉:高频学习率低,低频学习率高.高速模型,低频时间要”注意”.

2017-07-21 16:28:55 1808 1

原创 virtualenv中使用jupyter的问题

把这个帖子中,对sys.path的操作注释掉就可以

2017-07-20 21:50:57 2311

原创 [阅读笔记]An overview of gradient descent optimization algorithms

introdction个人理解,梯度下降的元素 - 梯度方向 - 步长梯度下降的种类根据计算梯度时候,用的数据量的不同,分为三类.数据量不同,决定了准确度和耗时的trade-off批量gd随机gdminibatch gd吸取了两者的优点挑战mini-batch gd 不能保证收敛,而且提出了一些挑战很难选择学习率第二点没懂所有参数的学习率都相同.如果数据很稀疏,并且特征出现频率差异很大,我

2017-07-20 21:50:06 457

原创 [阅读笔记]Programming Models for Deep Learning

原文:Programming Models for Deep Learning 这篇文章的主题是深度学习的编程模型. 现在有很多深度学习库.这篇文章编程模型来分析的优缺点.符号式 vs 命令式编程不同点在于符号式编程,C=B∗AC = B * A执行的时候,并没有真正计算,而是生成一个计算图命令式编程更加灵活本事原因在于,命令式编程更加native符号式编程效率更高效率包括内存和运行效率命

2017-07-20 19:22:00 245

原创 difacto源码分析

async_sgd.hclass AsyncScheduler : public solver::MinibatchSchedulerstruct ISGDHandlestruct AdaGradEntrystruct AdaGradHandle : public ISGDHandleclass AsyncServer : public solver::MinibatchServer包含ps::K

2017-07-20 18:55:28 814

原创逻辑回归系数的意义

基础概念odd发生比 odd=p(1−p)odd=\frac p {(1-p)} 和概率的关系 p=odd1+oddp=\frac {odd} {1+odd} logit: logit=log(odd)logit=log(odd) 对于逻辑回归来说: logit=w∗xlogit=w*x逻辑回归系数的意义一个简单的例子.比如预测男女喜欢打篮球的概率,唯一的特征是gender,取值0或1

2017-07-19 20:33:30 17391

原创 11 条件随机场

概率无向图模型(马尔科夫随机场)又叫马尔科夫随机场,是一种概率无向图模型. HMM和马尔科夫随机场都是对联合分布进行建模,所以都是生成式模型.条件随机场对条件概率建模,所以是判别模型.基本概念团:无向图中节点的一个子集,如果其中任意两个节点都有边连接,那就成为一个团极大团:不能被其他团包含的团.每个节点都至少在一个极大团中. 分离集:如果节点集A和节点集B被节点集C分离,那么C被称为分离集.

2017-07-18 21:20:34 227

翻译统计学习方法_读书笔记_10章_HMM

HMM是一种生成模型.描述了隐含的马尔科夫链随机生成观测序列的过程. 所以HMM=隐含的马尔科夫链->随机生成的观测序列. 更具体的说,HMM=隐含的马尔科夫链->随机生成状态序列->随机生成观测序列基本概念定义λ=(A,B,π)\lambda=(A,B,\pi) 我理解,状态序列和观测序列都是离散可枚举的. 感觉中间也有隐变量.那它和EM算法可以找到什么区别呢?其中一个是,HMM是和顺序有

2017-07-14 15:11:53 254

原创 difacto中的loss.h

/** * \brief the loss function */template <typename T>class Loss { public: /** * create and init the loss function * * @param data X and Y * @param model w and V * @param model_si

2017-07-13 15:28:31 666

原创 dmlc中的data.h

/*! * \brief a block of data, containing several rows in sparse matrix * This is useful for (streaming-sxtyle) algorithms that scans through rows of data * examples include: SGD, GD, L-BFGS, kmean

2017-07-13 13:51:11 552

原创最大熵模型的理解

最大熵模型是理解机器学习的重要一环.最大熵原理最大熵模型的内核最大熵原理.最大熵原理就是,在满足某些已知约束情况下,对于未知情况,不做任何假设,就是未知那部分事情,都是等可能的.因为不好量化”等可能”,所以用熵来衡量.最大熵模型

2017-07-13 09:24:28 246

原创机器学习的损失函数

李航的统计机器学习方法说: 统计学习方法三要素:模型,策略,算法模型是假设,策略就是验证这个假设好坏的方法,算法是知道了假设好坏程度,怎么让假设向好的方向演进.所以需要定量地知道模型的好坏程度.模型好坏的理解如何定义模型的好坏呢.比如拿来一堆真实数据(Xi,yi)(X_i,y_i),然后一个模型根据XiX_i预测yi^\hat{y_i},显然这个yi^\hat{y_i}不一定和真实的yiy_i

2017-07-12 22:41:36 719

原创因式分解梳理

因式分解在推荐系统中广泛应用.最近看了一些因式分解的论文,梳理一下它的发展历程.关系SVD -> biasSVD -> Asymmetric-SVD -> SVD++ -> FM SVD+用户的隐式反馈 = SVD++SVDbiasSVDAsymmetric-SVD论文 Koren, Yehuda. “Factorization meets the neighborhood: a mu

2017-07-12 21:30:27 401

原创信息论笔记

与机器学习相关的信息论概念基本概念信息量(自信息)I(p)=−logb(p)I(p)=-log_{b}(p) 当b=2,熵的单位是bit;b=e,熵的单位是nat;b=10,熵的单位是hart p=1,I(p)=0p=1,I(p)=0 p→0,I(p)→∞p\to0 , I(p)\to\infty p=1/2,I(p)=1p=1/2, I(p) = 1 熵H(X)=EX[I(X)]=EX[−

2017-07-12 13:55:04 261

翻译欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-06-15 20:19:03 141

原创关于hash function的文章

http://www.azillionmonkeys.com/qed/hash.html http://webkit.org/blog/8/hashtables-part-2/ http://burtleburtle.net/bob/hash/doobs.html

2010-06-10 21:28:00 273

原创 poj 1088 滑雪

http://acm.pku.edu.cn/JudgeOnline/problem?id=1088使用动态规划 #include #include #include #include using namespace std; #define MAX 101 int AA[MAX][MAX];int BB[MAX][MAX];int R,C;

2010-02-12 17:09:00 338

原创 poj 1159 Palindrome LCS

http://acm.pku.edu.cn/JudgeOnline/problem?id=1159 使用LCS解决回文问题，可以通过简单测试数据。不知道为什么WA。回头在看看。 #include using namespace std;#define MAX 5001 char AA[MAX][MAX];char SA[MAX];char SB[M

2010-02-05 16:35:00 350

原创 UVA 120 Stacks of Flapjacks

http://uva.onlinejudge.org/external/1/120.html 跑了一部分测试数据 #include #include #include #include #include #include using namespace std;int main(){ string line; while(getl

2010-02-01 15:22:00 428

原创 uva 10041 Vito's family

只跑了几个基本数据 #include #include #include using namespace std;int main(){ int n; cin >> n; for(; n >0 ; --n){ int r; cin >> r; vector vi;

2010-01-31 18:44:00 351

原创 POJ2575 Jolly Jumpers

#include #include #include using namespace std;int mm[3000];int main(){ int n; while(cin >> n){ memset(mm,0,sizeof(mm)); int last,current; cin >> last

2010-01-31 14:46:00 371

原创一个关于区间的题目

题目：给两个区间序列A和B，分别排序好了，比如([1,4],[6,8],[10,17]) 和([4,6],[7,9],[12,20])，求A-B的区间输入：第一行为A和B中区间个数，后面为他们的区间2 21 35 72 46 9 输出：A-B区间1 25 6 程序：#include #include using namespac

2010-01-27 14:10:00 576

原创 POJ2318 TOY

#include #include using namespace std;class Point{private: int x,y;}; class Line{public: int sx,sy,ex,ey; Line(int sx,int sy,int ex,int ey):sx(sx),sy(sy),ex(ex),ey(

2010-01-26 15:21:00 469

原创 c语言 atoi 和 itoa 的写法

http://www.attilan.com/2008/11/interview-coding-atoi-itoa-in.php

2009-06-07 12:59:00 513

Foundations of Python Network Programming(Python网络编程基础)带完整目录

Foundations of Python Network Programming 带目录方便查看亚马逊4.5星

2009-10-26

windows via c/c++ windows核心编程第五版 pdf

这是一本经典的Windows核心编程指南，从第1版到第5版，引领着数十万程序员走入Windows开发阵营，培养了大批精英。　　作为 Windows开发人员的必备参考，本书是为打算理解Windows的C和C++程序员精心设计的。第5版全面覆盖Windows XP，Windows Vista和Windows Server 2008中的170个新增函数和Windows特性。书中还讲解了Windows系统如何使用这些特性，我们开发的应用程序又如何充分使用这些特性，如何自行创建新的特性。

2009-10-19