机器学习
文章平均质量分 81
SrdLaplaceGua
https://github.com/RDShi
展开
-
【阅读笔记】Cost-Effective and Stable Policy Optimization Algorithm for Uplift Modeling
The 2020 SIAM International Conference on Data Mining原创 2020-06-30 02:28:31 · 1388 阅读 · 0 评论 -
Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation
Fan S, Zhu J, Han X, et al. Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation[J]. 2019.https://github.com/googlebaba/KDD2019-MEIRecAbstract与传统的查询推荐和项目推荐不同,意图推荐是在用户打开应用程序时...原创 2019-10-14 18:50:12 · 3317 阅读 · 1 评论 -
【阅读笔记】On the Dimensionality of Word Embedding
Yin Z , Shen Y . On the Dimensionality of Word Embedding[J]. 2018.https://github.com/ziyin-dl/word-embedding-dimensionality-selection引入本文是探讨 Word Embedding 维度的 bias-variance trade-off,提出了 Pairwise ...原创 2019-01-08 14:07:24 · 1283 阅读 · 1 评论 -
基于词相关性的排序算法
基于词相关性的排序算法BIM(binary independence model ,二元独立模型)和朴素贝叶斯类似,假设同一篇文档里出现的词之间没有关联,互相独立。Query 包含了若干词项 ttt。对于这个 query ,文档 doc 用一个向量表示d=(x1,x2,…,xn)d=(x_1,x_2,…,x_n)d=(x1,x2,…,xn),词项ttt出现则xt=1x_t=1xt=1...原创 2018-12-11 14:44:59 · 1445 阅读 · 0 评论 -
【阅读笔记】Inferring network connectivity from event timing patterns
Inferring network connectivity from event timing patternsJose C , Dimitra M , Marc T . Inferring Network Connectivity from Event Timing Patterns[J]. Physical Review Letters, 2018, 121(5):054101-.这篇文...原创 2018-12-17 11:17:46 · 403 阅读 · 0 评论 -
【阅读笔记】Deep SCNN Trained with STDP
本文提出了一个叫 SpiCNN 的神经网络,通过 Leaky-Integrate-and-Fire (LIF) neurons 作为类似激活函数的单元构造神经网络,通过 Spike Timing Dependent Plasticity (STDP) 进行权重学习。文章的整体感觉就是先把图片用 LoG filter 搞出边缘,是的输入的泊松过程的空间模式更加明显,在用 STDP 无监督学习前几层的模式,最后一层监督学习输出的权重。原创 2018-12-20 00:37:06 · 2414 阅读 · 1 评论 -
【读书笔记】NeurIPS2018的两篇文章:The Tradeoffs of Large Scale Learning和Neural Ordinary Differential Equations
NeurIPS 2018 上的两篇文章的阅读笔记,一篇是获得 best paper 的 Neural Ordinary Differential Equations (陈天奇的文章),一篇是获经典论文奖的 The Tradeoffs of Large Scale Learning。原创 2018-12-06 13:31:31 · 2180 阅读 · 0 评论 -
词向量总结
词向量词向量是自然语言理解的重要工具,它的核心思想是把词映射到一个向量空间,并且这个向量空间很大程度上保留了原本的语义。词向量既可以作为对语料进行数据挖掘的基础,也可以作为更复杂的模型的输入,是现在 nlp 的主流工具。下面就总结一下 nlp 中经典的词向量方法。主要有:onehot、glove、cbow、skip-gram原创 2018-12-03 13:21:27 · 1723 阅读 · 0 评论 -
【阅读笔记】Entity Linking 相关
最近搞一些 Entity Linking 相关的事情看了看下 yahoo 的这两篇工作和开源的(FEL)[https://github.com/yahoo/FEL]Fast and Space-Efficient Entity Linking in QueriesABSTRACTEntity Linking一般需要在在下游的检索之前完成,typically within millisecon...原创 2018-11-27 11:50:25 · 4880 阅读 · 6 评论 -
【阅读笔记】Ranking Relevance in Yahoo Search
Ranking Relevance in Yahoo SearchYahoo! IncKDD2016 Industry track best paperABSTRACTqueries 和 URLs 之间的 semantic gap 是搜索的主要屏障。点击行为可以帮助我们提高相关性,但是对于大部分长尾 query,点击行为过于稀疏,而且噪声过大。为了增加相关性,时间地点的敏感性对于结果也是很...原创 2018-11-27 11:37:35 · 1594 阅读 · 0 评论 -
【阅读笔记】Real-time Personalization using Embeddings for Search Ranking at Airbnb
Real-time Personalization using Embeddings for Search Ranking at AirbnbAirbnb, IncKDD2018 ADS Track 的最佳论文METHODOLOGYListing Embeddings我们有用户浏览的 session 数据,使用类似 skip-gram model 的方法来 embed 每条 listi...原创 2018-11-27 11:20:49 · 1725 阅读 · 2 评论 -
【阅读笔记】Applying Deep Learning To Airbnb Search
Applying Deep Learning To Airbnb SearchAirbnb Inc.malay.haldar@airbnb.comABSTRACT最初使用 gradient boosted decision tree model 来做 search ranking ,搜索效果从刚开始的上升逐渐趋于稳定。本文讨论如何突破趋于平稳的效果。本文的目的不是讲述模型上的突破,而是如何...原创 2018-11-27 10:53:02 · 2039 阅读 · 3 评论 -
信息检索导论-干货速览
信息检索导论干货速览原创 2018-10-24 11:44:55 · 1109 阅读 · 0 评论 -
PageRank算法简介
谷歌的两位创始人,当时还是美国斯坦福大学 (Stanford University) 研究生的佩奇 (Larry Page) 和布林 (Sergey Brin) 开始了对网页排序问题的研究。他们的借鉴了学术界评判学术论文重要性的通用方法, 那就是看论文的引用次数。由此想到网页的重要性也可以根据这种方法来评价。于是PageRank的核心思想就诞生了,非常简单:1.如果一个网页被很多其他网页链接到的话说明这个网页比较重要2.被一个PageRank值很高的网页链接的网页PageRank的值也应该很高原创 2018-10-23 17:31:52 · 1125 阅读 · 0 评论 -
【阅读笔记】BERT 介绍和代码解读
最近玩了玩 BERT,做了一些实验,感觉还挺有意思的,写点东西记录一下,我会从粗到细,从简单到复杂,一层一层的说明白 BERT 的每一步。原创 2018-12-29 13:23:01 · 4379 阅读 · 0 评论 -
【阅读笔记】Text Matching as Image Recognition
Pang, Liang, et al. “Text Matching as Image Recognition.” AAAI. 2016.https://github.com/pl8787/MatchPyramid-TensorFlow概述:构建文本与文本的相似矩阵,把相似矩阵当作是图片,然后采用 CNN 对其进行分类二分类(相似与不相似)。构建相似矩阵 M:Indicator fun...原创 2019-01-04 14:27:00 · 813 阅读 · 0 评论 -
【阅读笔记】Effects of hidden nodes on the reconstruction of bidirectional networks
Ching, Emily SC, and P. H. Tam. “Effects of hidden nodes on the reconstruction of bidirectional networks.” Physical Review E 98.6 (2018): 062318.本文考虑隐藏节点(某个节点不知道他的存在,也无法对他进行测量,这样的节点称为虑隐藏节点)对无向网络的影响。...原创 2019-01-07 17:00:29 · 377 阅读 · 0 评论 -
一些关于树模型简单的总结
决策树:ID3(信息增益)C45(信息增益比)CART(纯度、gini系数)xgboost:Regularized objectiveJustified weighted quantile(presort)(extra/hist)Depth-wiselightGBM:GOSS(gbdt/goss/rf/dart)EFB(enable_buld)histleft-w...原创 2019-10-06 23:07:47 · 490 阅读 · 0 评论 -
【读书笔记】Deep Interest Evolution Network for Click-Through Rate Prediction
Zhou G, Mou N, Fan Y, et al. Deep Interest Evolution Network for Click-Through Rate Prediction[J]. arXiv preprint arXiv:1809.03672, 2018.https://github.com/mouna99/dienAbstract对于CTR预测模型,很有必要捕捉用户兴趣的...原创 2019-04-23 00:26:03 · 1270 阅读 · 0 评论 -
【学术】重构具有时间延迟相互作用的动力学网络
Reconstruction of dynamic networks with time-delayed interactions in presence of fast-varying noisesZhaoyang ZhangYang ChenYuanyuan MiGang HuNingbo University中科院脑网中心和国家模式识别实验室Chongqing ...原创 2019-04-13 22:49:16 · 493 阅读 · 0 评论 -
【阅读笔记】Adversarially Regularized Autoencoders
Adversarially Regularized AutoencodersKim Y, Zhang K, Rush A M, et al. Adversarially regularized autoencoders[J]. arXiv preprint arXiv:1706.04223, 2017.GitHub: https://github.com/jakezhaojb/ARAEadv...原创 2019-02-26 14:02:09 · 2157 阅读 · 0 评论 -
【阅读笔记】Improved Training of Wasserstein GANs
GAN虽然是个强有力的生成模型,但是训练不稳定的缺点影响它的使用。刚刚提出的 Wasserstein GAN (WGAN) 使得 GAN 的训练变得稳定,但是有时也会产生很差的样本和不收敛。我们发现这些问题的原因常常是因为 weight clipping 来满足 判别器 的 Lipschitz constraint。我们把 weight clipping 转化为成 判别器 的梯度范数关于输入的惩罚。我们的方法优于 standard WGAN 和大部分的 GA原创 2019-02-25 18:32:03 · 5077 阅读 · 0 评论 -
【阅读笔记】Generative Adversarial Nets
GAN 是一个通过对抗过程来估计生成模型的框架。我们同事训练两个模型:a generative model G 来你和数据的概率分布,a discriminative model D来判断数据来自真实数据还是生成数据。训练是一个两人游戏的最大最小化过程,G最大化D判断错误的概率, D最大化判断正确的概率。在任意的函数空间内,G和D的解唯一存在,此时G完全你和训练数据的分布,D的的结果永远为1/2。当G和D被定义为multi-perceptrons时,可通过反向传播训练。原创 2019-02-25 16:28:43 · 620 阅读 · 0 评论 -
【阅读笔记】Layer-wise relevance propagation for neural networks with local renormalization layers
本文是探究的是图片上的像素与最终结果的相关性。创新点是把 Layer-wise Relevance Propagation (LRP) 扩展到了非线性映射上。原创 2019-02-12 15:07:19 · 10308 阅读 · 3 评论 -
【阅读笔记】TextCNN
Kim Y . Convolutional Neural Networks for Sentence Classification[J]. Eprint Arxiv, 2014.本文介绍了一种使用 pre-trained word vectors 作为 CNN 输入的 sentence-level 分类器。模型结构比较简单,但也有不少巧思。TextCNN 的网络结构如下图所示,将句子中词向量拼...原创 2019-01-22 17:24:11 · 312 阅读 · 0 评论 -
【阅读笔记】Gradient Harmonized Single-stage Detector
Li B , Liu Y , Wang X . Gradient Harmonized Single-stage Detector[J]. 2018.https://github.com/libuyu/GHM_Detection本文认为影响单阶段检测器的训练的本质问题不是不同类别的样本数的差异,而是不同难度样本的分布不均衡。在训练过程中,每个样本产生一个梯度来更新模型的参数,不同样本对参数更新...原创 2019-01-22 16:26:46 · 2370 阅读 · 0 评论 -
lucene 从0到1
Lucene[‘lusen] 是一个高性能的 java 全文检索工具包(引擎),现阶段 Apache 的顶级的开源项目,可基于它开发出各种全文搜索的应用。一个全文检索系统需要做的可以分为两部分,第一部分是建立索引,第二部分是进行检索。下面就结合代码对这两部分进行讲解。先创建一个由 maven 管理的 java 项目,在 pom 中田间 lucene 依赖<dependencies&gt...原创 2019-02-25 15:22:43 · 223 阅读 · 0 评论 -
【阅读笔记】k-nrm和Conv-knrm
【阅读笔记】End-to-End Neural Ad-hoc Ranking with Kernel PoolingXiong, Chenyan, et al. “End-to-end neural ad-hoc ranking with kernel pooling.” Proceedings of the 40th International ACM SIGIR Conference on ...原创 2019-01-14 17:51:43 · 5468 阅读 · 6 评论 -
神经网络中依赖于上下文的处理的连续学习
今天下午陈阳师兄来讲他最近的工作,感觉挺巧妙的,主要是解决两个问题,神经网络会遗忘和连续学习的问题。它工作的题目是神经网络中依赖于上下文的处理的连续学习原创 2018-10-21 20:04:41 · 3006 阅读 · 8 评论 -
Connectionist Temporal Classification(CTC)、音识别模型小型综述和一个简易的语音识别模型的tensorflow实现
CTC是一种端到端的语音识别技术,他避免了需要字或者音素级别的标注,只需要句子级别的标注就可以进行训练,感觉非常巧妙,也很符合神经网络浪潮人们的习惯。特别是LSTM+CTC相较于之前的DNN+HMM,LSTM能够更好的捕捉输入中的重要的点(LSTM随着状态数目增加参数呈线性增加,而HMM会平方增加),CTC打破了隐马尔科夫的假设,把整个模型从静态分类变成了序列分类。语音识别的评价指标在语音识别...原创 2018-10-17 17:28:52 · 1328 阅读 · 3 评论 -
人工智能与安全论坛:智能与安全的融合与对抗
前几天随公司参加了互联网安全大会(ISC,Internet Security Conference),虽然只参加了半天的会议,感觉收获不。更重要的是偶遇师兄,人生无处不相逢的感觉,记录一下当时的会议内容也当作一下偶遇的纪念。2018.9.5 ISC - 人工智能与安全论坛:智能与安全的融合与对抗合作机构:中国人工智能学会人工智能与安全专业委员会(筹)论坛主席:Dawn Song主...原创 2018-09-23 19:08:18 · 2643 阅读 · 0 评论 -
数据降维PCA
数据将为的方法很多,可以从两个角度四个象限来分类: 线性 非线性 有指导 LDA/MFA SNE/t-SNE 无指导 PCA/ICA 聚类线面由易到难介绍这几种方法:PCA(principal component analysis, 主成分分析)理论推导有数据x1,x2,...,xnx1,x2,...,xnx_1,x...原创 2018-07-27 01:26:01 · 705 阅读 · 0 评论 -
CNN进化史
猫神经元RECEPTIVE FIELDS, BINOCULAR INTERACTION AND FUNCTIONAL ARCHITECTURE IN THE CAT’S VISUAL CORTEX-1961创新点(innovation):Hubel和Wiesel在1958年的猫视觉皮层实验中,首次观察到视觉初级皮层的神经元对移动的边缘刺激敏感,并定义了简单和复杂细胞,发现了视功能柱结...原创 2018-07-18 23:37:42 · 1003 阅读 · 0 评论 -
EM算法、k-means、GMM
EM算法针对是有隐藏变量的无监督问题。 已知:观察到一组变量x1,x2,...,xnx1,x2,...,xn{x_1,x_2,...,x_n}(由隐藏变量ZZZ决定),P(Z|X,θ)P(Z|X,θ)P(Z|X, \theta)和P(X|Z,θ)P(X|Z,θ)P(X|Z, \theta) 求解:在损失函数L(X|θ)L(X|θ)L(X|\theta)下的最优解Z,θZ,θZ, \theta ...原创 2018-07-11 00:29:21 · 526 阅读 · 0 评论 -
【阅读笔记】Training Deep Neural Networks on Imbalanced Data Sets
发布时间:2016 这篇文章主要介绍数据不平衡时,通过调整loss来使得希望的评价指标变好得方法。Abstractcurrent studies on deep learning mainly focus on data sets with balanced class labels, while its performance on imbalanced data is not we...原创 2018-07-04 00:37:36 · 1538 阅读 · 0 评论 -
【阅读笔记】Practical Lessons from Predicting Clicks on Ads at Facebook
作者: Xinran He, Junfeng Pan, Ou Jin, Tianbing Xu, Bo Liu, Tao Xu, Yanxin Shi, Antoine Atallah, Ralf Herbrich, Stuart Bowers, Joaquin Quiñonero Candela Facebook 1601 Willow Road, Menlo Park, CA, Uni...原创 2018-07-02 23:48:37 · 3337 阅读 · 2 评论 -
【阅读笔记】Differentiable plasticity: training plastic neural networks with backpropagation
Differentiable plasticity: training plastic neural networks with backpropagation作者: Thomas Miconi/Jeff Clune/Kenneth O. Stanley Uber AI Labs {tmiconi,jeffclune,kstanley}@uber.com读后感这篇文章是有关元学习...原创 2018-07-09 02:19:50 · 623 阅读 · 0 评论 -
【阅读笔记】Multi-Layered Gradient Boosting Decision Trees
作者: Ji Feng, Yang Yu, Zhi-Hua Zhou National Key Laboratory for Novel Software Technology Nanjing University, Nanjing 210023, China Email: {fengj/yuy/zhouzh}@lamda.nju.edu.cn 发布时间:31 May 2018前段时...原创 2018-07-01 22:38:53 · 751 阅读 · 0 评论 -
【阅读笔记】DARTS: Differentiable Architecture Search
本文的核心思想是通过以可微的方式进行结构搜索。与传统的在离散的和不可微的搜索空间上采用进化或强化学习搜索结构的方法不同,本文的方法是基于将结构表示的松弛(relaxation),允许使用梯度下降高效搜索架构。原创 2018-06-30 00:50:11 · 15067 阅读 · 4 评论 -
Dynamic Routing Between Capsules
最近看看了CapsNet,感觉很有意思,也更加敬佩Hinton,非常有才华,想象力和洞察力都让人感叹,下面就是我对原文的理解。Abstractcapsule用activity vector表示某个object。vector的模长表示object出现的可能性,向量的方向表示object的方向。低级别的capsule通过transformation matrices对高级别capsule的参数...原创 2018-06-21 01:04:45 · 605 阅读 · 0 评论