![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
读书笔记
文章平均质量分 80
SrdLaplaceGua
https://github.com/RDShi
展开
-
【阅读笔记】Cost-Effective and Stable Policy Optimization Algorithm for Uplift Modeling
The 2020 SIAM International Conference on Data Mining原创 2020-06-30 02:28:31 · 1362 阅读 · 0 评论 -
【论文笔记】Solving Billion-Scale Knapsack Problems
Solving Billion-Scale Knapsack ProblemsABSTRACT背包问题(Knapsack problems,KPs)在工业中很常见,但求解KPs是NP-hard问题,只能在较小的规模下求解。本文以一种稍微广义的形式研究了KPs,并证明通过分布式算法可以近似最优地求解KPs。提出的方法可以在现成的分布式计算框架(如MPI、Hadoop、Spark)中很容易地实现。原创 2020-06-28 02:23:21 · 1070 阅读 · 0 评论 -
A holistic approach to semi-supervised learning
Berthelot D, Carlini N, Goodfellow I, et al. Mixmatch: A holistic approach to semi-supervised learning[J]. arXiv preprint arXiv:1905.02249, 2019.https://github.com/samihaija/mixhop半监督学习的核心想法是利用无标注的数...原创 2019-10-16 17:10:32 · 448 阅读 · 0 评论 -
Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation
Fan S, Zhu J, Han X, et al. Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation[J]. 2019.https://github.com/googlebaba/KDD2019-MEIRecAbstract与传统的查询推荐和项目推荐不同,意图推荐是在用户打开应用程序时...原创 2019-10-14 18:50:12 · 3289 阅读 · 1 评论 -
lucene 从0到1
Lucene[‘lusen] 是一个高性能的 java 全文检索工具包(引擎),现阶段 Apache 的顶级的开源项目,可基于它开发出各种全文搜索的应用。一个全文检索系统需要做的可以分为两部分,第一部分是建立索引,第二部分是进行检索。下面就结合代码对这两部分进行讲解。先创建一个由 maven 管理的 java 项目,在 pom 中田间 lucene 依赖<dependencies&gt...原创 2019-02-25 15:22:43 · 204 阅读 · 0 评论 -
【阅读笔记】k-nrm和Conv-knrm
【阅读笔记】End-to-End Neural Ad-hoc Ranking with Kernel PoolingXiong, Chenyan, et al. “End-to-end neural ad-hoc ranking with kernel pooling.” Proceedings of the 40th International ACM SIGIR Conference on ...原创 2019-01-14 17:51:43 · 5410 阅读 · 6 评论 -
【阅读笔记】On the Dimensionality of Word Embedding
Yin Z , Shen Y . On the Dimensionality of Word Embedding[J]. 2018.https://github.com/ziyin-dl/word-embedding-dimensionality-selection引入本文是探讨 Word Embedding 维度的 bias-variance trade-off,提出了 Pairwise ...原创 2019-01-08 14:07:24 · 1229 阅读 · 1 评论 -
【阅读笔记】Effects of hidden nodes on the reconstruction of bidirectional networks
Ching, Emily SC, and P. H. Tam. “Effects of hidden nodes on the reconstruction of bidirectional networks.” Physical Review E 98.6 (2018): 062318.本文考虑隐藏节点(某个节点不知道他的存在,也无法对他进行测量,这样的节点称为虑隐藏节点)对无向网络的影响。...原创 2019-01-07 17:00:29 · 367 阅读 · 0 评论 -
【阅读笔记】Text Matching as Image Recognition
Pang, Liang, et al. “Text Matching as Image Recognition.” AAAI. 2016.https://github.com/pl8787/MatchPyramid-TensorFlow概述:构建文本与文本的相似矩阵,把相似矩阵当作是图片,然后采用 CNN 对其进行分类二分类(相似与不相似)。构建相似矩阵 M:Indicator fun...原创 2019-01-04 14:27:00 · 797 阅读 · 0 评论 -
【阅读笔记】Gradient Harmonized Single-stage Detector
Li B , Liu Y , Wang X . Gradient Harmonized Single-stage Detector[J]. 2018.https://github.com/libuyu/GHM_Detection本文认为影响单阶段检测器的训练的本质问题不是不同类别的样本数的差异,而是不同难度样本的分布不均衡。在训练过程中,每个样本产生一个梯度来更新模型的参数,不同样本对参数更新...原创 2019-01-22 16:26:46 · 2355 阅读 · 0 评论 -
【阅读笔记】TextCNN
Kim Y . Convolutional Neural Networks for Sentence Classification[J]. Eprint Arxiv, 2014.本文介绍了一种使用 pre-trained word vectors 作为 CNN 输入的 sentence-level 分类器。模型结构比较简单,但也有不少巧思。TextCNN 的网络结构如下图所示,将句子中词向量拼...原创 2019-01-22 17:24:11 · 285 阅读 · 0 评论 -
【阅读笔记】Layer-wise relevance propagation for neural networks with local renormalization layers
本文是探究的是图片上的像素与最终结果的相关性。创新点是把 Layer-wise Relevance Propagation (LRP) 扩展到了非线性映射上。原创 2019-02-12 15:07:19 · 10207 阅读 · 3 评论 -
【阅读笔记】Generative Adversarial Nets
GAN 是一个通过对抗过程来估计生成模型的框架。我们同事训练两个模型:a generative model G 来你和数据的概率分布,a discriminative model D来判断数据来自真实数据还是生成数据。训练是一个两人游戏的最大最小化过程,G最大化D判断错误的概率, D最大化判断正确的概率。在任意的函数空间内,G和D的解唯一存在,此时G完全你和训练数据的分布,D的的结果永远为1/2。当G和D被定义为multi-perceptrons时,可通过反向传播训练。原创 2019-02-25 16:28:43 · 588 阅读 · 0 评论 -
【阅读笔记】Improved Training of Wasserstein GANs
GAN虽然是个强有力的生成模型,但是训练不稳定的缺点影响它的使用。刚刚提出的 Wasserstein GAN (WGAN) 使得 GAN 的训练变得稳定,但是有时也会产生很差的样本和不收敛。我们发现这些问题的原因常常是因为 weight clipping 来满足 判别器 的 Lipschitz constraint。我们把 weight clipping 转化为成 判别器 的梯度范数关于输入的惩罚。我们的方法优于 standard WGAN 和大部分的 GA原创 2019-02-25 18:32:03 · 5041 阅读 · 0 评论 -
【阅读笔记】Adversarially Regularized Autoencoders
Adversarially Regularized AutoencodersKim Y, Zhang K, Rush A M, et al. Adversarially regularized autoencoders[J]. arXiv preprint arXiv:1706.04223, 2017.GitHub: https://github.com/jakezhaojb/ARAEadv...原创 2019-02-26 14:02:09 · 2140 阅读 · 0 评论 -
【学术】重构具有时间延迟相互作用的动力学网络
Reconstruction of dynamic networks with time-delayed interactions in presence of fast-varying noisesZhaoyang ZhangYang ChenYuanyuan MiGang HuNingbo University中科院脑网中心和国家模式识别实验室Chongqing ...原创 2019-04-13 22:49:16 · 472 阅读 · 0 评论 -
【读书笔记】Deep Interest Evolution Network for Click-Through Rate Prediction
Zhou G, Mou N, Fan Y, et al. Deep Interest Evolution Network for Click-Through Rate Prediction[J]. arXiv preprint arXiv:1809.03672, 2018.https://github.com/mouna99/dienAbstract对于CTR预测模型,很有必要捕捉用户兴趣的...原创 2019-04-23 00:26:03 · 1244 阅读 · 0 评论 -
【阅读笔记】BERT 介绍和代码解读
最近玩了玩 BERT,做了一些实验,感觉还挺有意思的,写点东西记录一下,我会从粗到细,从简单到复杂,一层一层的说明白 BERT 的每一步。原创 2018-12-29 13:23:01 · 4352 阅读 · 0 评论 -
基于词相关性的排序算法
基于词相关性的排序算法BIM(binary independence model ,二元独立模型)和朴素贝叶斯类似,假设同一篇文档里出现的词之间没有关联,互相独立。Query 包含了若干词项 ttt。对于这个 query ,文档 doc 用一个向量表示d=(x1,x2,…,xn)d=(x_1,x_2,…,x_n)d=(x1,x2,…,xn),词项ttt出现则xt=1x_t=1xt=1...原创 2018-12-11 14:44:59 · 1427 阅读 · 0 评论 -
【阅读笔记】Inferring network connectivity from event timing patterns
Inferring network connectivity from event timing patternsJose C , Dimitra M , Marc T . Inferring Network Connectivity from Event Timing Patterns[J]. Physical Review Letters, 2018, 121(5):054101-.这篇文...原创 2018-12-17 11:17:46 · 391 阅读 · 0 评论 -
《数学之美》读书笔记(2)
上篇写了《数学之美》的第一到十一章,这篇把后面几章写完。后面的内容比较广泛而且很多都是很熟悉的内容。让我感觉眼前一亮的是用SVD做新闻分类。SVD的物理意义以前都没有仔细的想过。第12章 地图和本地搜索的最基本技术 — 有限状态机和动态规划 本章要点: 有限状态机:地址分析;(∑,s,s0,δ,f),∑输入符号,s状态集合,s0起始状态,δ表示s*∑到s的映射,f终止状态。状态转移概率变成加权原创 2017-01-16 19:49:52 · 460 阅读 · 0 评论 -
【阅读笔记】Differentiable plasticity: training plastic neural networks with backpropagation
Differentiable plasticity: training plastic neural networks with backpropagation作者: Thomas Miconi/Jeff Clune/Kenneth O. Stanley Uber AI Labs {tmiconi,jeffclune,kstanley}@uber.com读后感这篇文章是有关元学习...原创 2018-07-09 02:19:50 · 612 阅读 · 0 评论 -
【阅读笔记】Complex Neural Connectivity and Activity: Perspective from Cost-Efficiency Trade-off
Complex Neural Connectivity and Activity: Perspective from Cost-Efficiency Trade-off报告人:周昌松 教授(香港浸会大学)下午听了场报告,在这简单记录下人脑占体重2%的重量,消耗20%的能量(20W/100W)。静态消耗95%的能量,静态在为反应做准备(养兵千日用兵一时的感觉)。人脑每次做出的反应不同...原创 2018-07-04 20:45:49 · 226 阅读 · 0 评论 -
【阅读笔记】ON THE IMPORTANCE OF SINGLE DIRECTIONS FOR GENERALIZATION
作者: Ari S. Morcos, David G.T. Barrett, Neil C. Rabinowitz, & Matthew Botvinick DeepMind London, UKICLR 2018发布时间:22 May 2018这篇文章是来探究direction(可以简单理解为节点)的和某一类的对应程度和重要性程度的关系,试图给以神经网络学习出来的东西以...原创 2018-09-07 13:10:27 · 884 阅读 · 0 评论 -
人工智能与安全论坛:智能与安全的融合与对抗
前几天随公司参加了互联网安全大会(ISC,Internet Security Conference),虽然只参加了半天的会议,感觉收获不。更重要的是偶遇师兄,人生无处不相逢的感觉,记录一下当时的会议内容也当作一下偶遇的纪念。2018.9.5 ISC - 人工智能与安全论坛:智能与安全的融合与对抗合作机构:中国人工智能学会人工智能与安全专业委员会(筹)论坛主席:Dawn Song主...原创 2018-09-23 19:08:18 · 2616 阅读 · 0 评论 -
神经网络中依赖于上下文的处理的连续学习
今天下午陈阳师兄来讲他最近的工作,感觉挺巧妙的,主要是解决两个问题,神经网络会遗忘和连续学习的问题。它工作的题目是神经网络中依赖于上下文的处理的连续学习原创 2018-10-21 20:04:41 · 2934 阅读 · 8 评论 -
PageRank算法简介
谷歌的两位创始人,当时还是美国斯坦福大学 (Stanford University) 研究生的佩奇 (Larry Page) 和布林 (Sergey Brin) 开始了对网页排序问题的研究。他们的借鉴了学术界评判学术论文重要性的通用方法, 那就是看论文的引用次数。由此想到网页的重要性也可以根据这种方法来评价。于是PageRank的核心思想就诞生了,非常简单:1.如果一个网页被很多其他网页链接到的话说明这个网页比较重要2.被一个PageRank值很高的网页链接的网页PageRank的值也应该很高原创 2018-10-23 17:31:52 · 1101 阅读 · 0 评论 -
信息检索导论-干货速览
信息检索导论干货速览原创 2018-10-24 11:44:55 · 1077 阅读 · 0 评论 -
令人头疼的科研工作
我们引用Tass的文章:Tass, P. A., et al. “Long-lasting desynchronization in rat hippocampal slice induced by coordinated reset stimulation.” Physical Review E 80.1 (2009): 011902.Hauptmann, Christian, and P...原创 2018-11-13 12:01:46 · 403 阅读 · 0 评论 -
【阅读笔记】Dynamical time series analytics
前几天去厦门开会(DDAP10),全英文演讲加之大家口音都略重,说实话听演讲主要靠看ppt,摘出一片听懂的写篇博客纪念一下吧。主要讲了他的两个工作,一个是重构的工作,一个是预测的工作,分别发表在PRE和PNAS上。TimeSpeakerNo.Title14:30-15:00Wei LinST-07Dynamical time series analytics: From netw...原创 2018-11-08 12:35:36 · 698 阅读 · 0 评论 -
【阅读笔记】Applying Deep Learning To Airbnb Search
Applying Deep Learning To Airbnb SearchAirbnb Inc.malay.haldar@airbnb.comABSTRACT最初使用 gradient boosted decision tree model 来做 search ranking ,搜索效果从刚开始的上升逐渐趋于稳定。本文讨论如何突破趋于平稳的效果。本文的目的不是讲述模型上的突破,而是如何...原创 2018-11-27 10:53:02 · 1976 阅读 · 3 评论 -
【阅读笔记】Real-time Personalization using Embeddings for Search Ranking at Airbnb
Real-time Personalization using Embeddings for Search Ranking at AirbnbAirbnb, IncKDD2018 ADS Track 的最佳论文METHODOLOGYListing Embeddings我们有用户浏览的 session 数据,使用类似 skip-gram model 的方法来 embed 每条 listi...原创 2018-11-27 11:20:49 · 1710 阅读 · 2 评论 -
【阅读笔记】Ranking Relevance in Yahoo Search
Ranking Relevance in Yahoo SearchYahoo! IncKDD2016 Industry track best paperABSTRACTqueries 和 URLs 之间的 semantic gap 是搜索的主要屏障。点击行为可以帮助我们提高相关性,但是对于大部分长尾 query,点击行为过于稀疏,而且噪声过大。为了增加相关性,时间地点的敏感性对于结果也是很...原创 2018-11-27 11:37:35 · 1570 阅读 · 0 评论 -
【阅读笔记】Entity Linking 相关
最近搞一些 Entity Linking 相关的事情看了看下 yahoo 的这两篇工作和开源的(FEL)[https://github.com/yahoo/FEL]Fast and Space-Efficient Entity Linking in QueriesABSTRACTEntity Linking一般需要在在下游的检索之前完成,typically within millisecon...原创 2018-11-27 11:50:25 · 4857 阅读 · 6 评论 -
【读书笔记】NeurIPS2018的两篇文章:The Tradeoffs of Large Scale Learning和Neural Ordinary Differential Equations
NeurIPS 2018 上的两篇文章的阅读笔记,一篇是获得 best paper 的 Neural Ordinary Differential Equations (陈天奇的文章),一篇是获经典论文奖的 The Tradeoffs of Large Scale Learning。原创 2018-12-06 13:31:31 · 2157 阅读 · 0 评论 -
【阅读笔记】Deep SCNN Trained with STDP
本文提出了一个叫 SpiCNN 的神经网络,通过 Leaky-Integrate-and-Fire (LIF) neurons 作为类似激活函数的单元构造神经网络,通过 Spike Timing Dependent Plasticity (STDP) 进行权重学习。文章的整体感觉就是先把图片用 LoG filter 搞出边缘,是的输入的泊松过程的空间模式更加明显,在用 STDP 无监督学习前几层的模式,最后一层监督学习输出的权重。原创 2018-12-20 00:37:06 · 2397 阅读 · 1 评论 -
《数学之美》读书笔记(1)
这周把《数学之美》看了,感觉吴军写的很好,深入浅出,虽然技术上面基本上我都早有涉猎,但是还是让我学到了不少思考问题的思路。下面写一下我对一到十一章各个章节简要总结和感悟。 前十一章讲了两个问题,第一个是语言翻译和分词,另一个是网页搜索 第1、2、3、4、6章讲自然语言处理基本的背景和原理 第5章讲如何无监督的训练一个隐含的马尔科夫模型 第8、9、10、11章将网页搜索的原理第1章 文字和语言原创 2017-01-13 12:35:22 · 633 阅读 · 0 评论