机器学习
wang2008start
这个作者很懒,什么都没留下…
展开
-
Emotion-cause span extraction_biji
emotion cause identification 片段抽取,将造成某种情感的原因抽取出来,片段抽取采用的阅读理解的方式,找到 span 的 start 和 end 位置。模型先经过Transformer,再经过基于上下文的注意力,基于情感的注意力和基于位置的学习,最后经过全链接,loss 为 span_start + span_end + token_softmax_probability...原创 2021-12-19 18:27:14 · 301 阅读 · 0 评论 -
Retrieval Question Answering paper
这里写自定义目录标题多文档摘要检索辅助生成REALM: Retrieval-Augmented Language Model Pre-TrainingRetrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(RAG)检索器DPR[1]生成器 BART跨数据格式的问答系统Ref多文档摘要Hierarchical Transformers for Multi-Document Summarization段落排序-> 取top段原创 2021-04-30 19:12:27 · 315 阅读 · 1 评论 -
Paper_list
推荐相关CF(Collaborative Filtering)Item-Based Collaborative Filtering Recommendation Algorithms , paper链接 , paper-bijiCollaborative Metric Learning , paper链接 , paper-bijiItem2Vec: Neural Item Embedding for Collaborative Filtering , paper链接 , paper-biji少数原创 2020-09-25 20:57:25 · 258 阅读 · 0 评论 -
oxford-deepNLP_biji
L2a Word Level Semantics( Word2Vec == PMI matrix factorization of count based models)Count-based methodsNeural Embedding Models: C&WEmbed all words in a sentence with E、Shallow convolution ov...原创 2020-04-05 21:46:38 · 175 阅读 · 0 评论 -
图卷积神经网络_biji
图卷积神经网络 卷积谱域方法ChebyNet 的改进空间域方法GraphSAGE的方法GCN的方法GAT卷积卷积是一种积分,是一种运算,是一种信号处理,结果比原来的信号更加平滑。spectral methods:谱域方法,通过傅立叶变化到谱域,在谱域进行卷积运算,在通过傅立叶变换的逆回到空间域。spatial methods:空间域方法,在空间上直接使用卷积,遇到的问题是每个节点的邻居区...原创 2020-04-05 20:34:12 · 506 阅读 · 0 评论 -
智能问答主要技术整理
基于RNN的Seq2seq BiMPM(bilateral multi-perspective matching) Neural Generative Question Answering QANet ICLR 2018 Generating Natural Answers by Incorporating Copying and Retrieving Mechanisms in S...原创 2020-03-31 21:38:58 · 345 阅读 · 0 评论 -
Heterogeneous Graph Neural Networks for Malicious Account Detection_biji
实现方案,一周前六天是训练数据,第七天为测试数据。用的是GCN的思想,图里有账号和设备,(基于规则的主要是用类似于图的二度好友计算,用账号和设备两种节点,计算得到账号和账号的关系),用有标注的数据的好处是可以用AUC、F1评测模型效果。...原创 2019-10-15 11:21:19 · 553 阅读 · 0 评论 -
Self-Attention Mechanism
在计算 Attention 时主要分为三步,第一步是将 query 和每个 key 进行相似度计算得到权重,常用的相似度函数有点积,拼接,感知机等;然后第二步一般是使用一个 softmax 函数对这些权重进行归一化;最后将权重和相应的键值 value 进行加权求和得到最后的 Attention。目前在 NLP 研究中,key 和 value 常常都是同一个,即 key=value。...转载 2018-12-02 12:13:37 · 635 阅读 · 0 评论 -
Variation Autoencoder Based Network Representation Learning for Classification——paper 笔记
传统的方法是矩阵降维和矩阵分解作为表示,但是不适用于大型网络。借鉴 nlp 中的处理思路,先 随机游走,处理成节点序列,再使用节点在上下文中的表示。缺点:无法使用节点自身的信息。本文提出一种直观的方法是分别单独学习文本表示和网络结构,然后把两种独立的表示合并在一起。将网络的邻接矩阵和训练好的内容表示作为输入,经过 VAE 得到 embedding 表示。联合训练模型中的VAE的...原创 2018-11-23 13:26:20 · 484 阅读 · 0 评论 -
Structural Deep Network Embedding——paper 笔记
简述论文思想:利用节点之间的关系 拉普拉斯矩阵 学习局部结构信息 ,描述图的一阶相似性;利用 AutoEncoder encoder和decoder的输入输出的差异学习图的整体结构信息,描述图的二阶相似性。...原创 2018-07-31 15:52:05 · 716 阅读 · 0 评论 -
行列式点过程推荐多样性算法
推荐多样性的衡量指标是单个推荐列表中物品之间的差异程度,通过计算在同一个推荐 list 中两两 Item 之间的相似度的平均值来进行衡量。DPP(Determinantal Point Process)行列式点过程,是一种性能较高的概率模型。将复杂的概率计算转换成简单的行列式计算,通过核矩阵的行列式计算每一个自己的概率。...原创 2019-07-05 14:34:25 · 1850 阅读 · 0 评论 -
CANE: Context-Aware Network Embedding for Relation Modeling——paper 笔记
清华的论文,思想:除了考虑structure因素,还考虑context因素,以及s和c的相互作用,同时引入了attention机制。Context-free Embedding: 向量表示固定,不会随上下文信息的变化而改变。Context-aware Embedding: 向量表示不固定,会随上下文信息的变化而变化。比如,对于一条边,CANE可以学习到V_u 和 U_v。 ...原创 2018-07-27 00:53:46 · 641 阅读 · 0 评论 -
从PCA到AutoEncoder
PCA理论简单,计算只涉及到线性代数的计算,特征保持正交性,如果原始特征不具有正交性,只有独立性,这个时候可以使用ICA。Kernel PCA在低维空间无法区分的特征,先通过Kernel函数从低维空间映射到高维空间,在通过PCA进行降维。...原创 2019-02-23 19:02:09 · 1596 阅读 · 0 评论 -
word2vec_biji
语言模型:在NLP中,把 x 看作一个句子里的一个词语,y 是这个词语的上下文词语,那么f就是语言模型,模型的目的,是判断(x,y)这个样本,是否符合自然语言的法则,即词语x和词语y放在一起,是不是人话。统计语言模型(statistical language model)是建立在一段序列(比如一句话)上联合概率分布。skip-gram 模型是尝试用w_t预测context(w),具体是最大化“均...原创 2019-04-30 18:16:01 · 167 阅读 · 0 评论 -
LDA_biji
数学知识Gamma 函数和分布(MLAPP 2.4.5)Beta 函数和分布(MLAPP 2.5.4)Beta-Binomial (MLAPP 3.3)Dirichlet-Multinomial (MLAPP 3.4)学习概率图模型的Inference问题。主要的算法分为exact inference和approximate inference两类。尽管LDA是最简单的Topic ...原创 2019-05-31 23:47:30 · 127 阅读 · 0 评论 -
Memory Netwok_biji
传统的深度学习模型(RNN、LSTM、GRU等)使用hidden states或者Attention机制作为他们的记忆功能,但是这种方法产生的记忆太小了,无法精确记录一段话中所表达的全部内容,也就是在将输入编码成dense vectors的时候丢失了很多信息。所以本文就提出了一种可读写的外部记忆模块,并将其和inference组件联合训练...原创 2019-06-30 23:57:06 · 161 阅读 · 0 评论 -
LINE-biji
LINE: Large-scale Information Network Embedding比较早的一篇针对 Graph 数据结构进行 Embedding 表示学习的方法,主要对边进行建模,由于两个节点间的直接相连关系表达的信息有限,这里增加了二阶关系(二度关系)作为补充,将节点的关系从一阶增加到了二阶。Loss 是建立在概率分布和经验分布的 KL 距离上的。存在的问题,实际用户关系中,一阶...原创 2019-08-30 16:32:15 · 108 阅读 · 0 评论 -
Andrew-Coursera-DL课程-笔记part1-1(Neural Networks Basics)
Andrew-coursera deeplearningNeural Networks and Deep LearningIntroduction to deep learningWhat is a neural networkSupervised Learning with Neural NetworksWhy is Deep Learning taking off?原创 2017-10-05 18:06:38 · 228 阅读 · 0 评论 -
Fast Network Embedding Enhancement via High Order Proximity Approximation——paper 笔记
这篇文章将网络表示学习抽象成一个通用框架,将已有的解决文章解决方法嵌套在这个框架上,以表明框架理论适用性,另外,更高阶的关系矩阵的构建,可以提升网络表示的效果,最后提出了怎样迭代高效的更新网络表示。邻接矩阵和 Laplacian 矩阵都刻画的是一阶信息,对本地节点间的关系建模。通过随机游走,通过 k 步从 i 节点到达 j 节点,我们可以构造 K 阶信息。得到K阶转移概率矩阵。NRL的两步...原创 2018-07-27 00:34:32 · 707 阅读 · 0 评论 -
Collaborative Metric Learning——paper 笔记
Collaborative Metric Learning协同过滤(回顾和复习了CF,基于模型的CF是用矩阵分解实现的,loss为评分矩阵和新构建的评分矩阵的平方差,用梯度下降进行优化学习)。这里是主要提出了三角不等式(两对pairwise节点的距离之和大于这两个节点的直接距离,隐含:如果x相似与y和z,那么y和z本身也是相似的,相似传递性),在矩阵分解的基础上,使用pairwise格式的...原创 2018-07-23 22:35:23 · 1356 阅读 · 1 评论 -
Hadoop/Spark推荐系统(四)——推荐链接(二度好友)
思路如果两个人有一组共同好友,但这两个人本身不是好友,那个就会推荐他们联系,最后都可以归结为查找。用户1的所有好友里两两互为推荐好友,用户1和好友的关系为直接好友。先循环所有用户的所有好友,找出全部推荐好友和直接好友,在全部推荐好友去除直接好友即为推荐好友。所有的推荐好友中会按图论中的路径数对好友有个评分,只显示推荐联系的10个人,即取top 10.与共同好友的区别共同好友在于计算...原创 2017-09-22 23:51:01 · 646 阅读 · 0 评论 -
Andrew-Coursera-DL课程-笔记part2-2(Optimization algorithms)
Mini-batch gradient descent Exponentially weight averages 加权的移动平均原创 2017-10-06 12:46:22 · 458 阅读 · 0 评论 -
Andrew-Coursera-DL课程-笔记part2-1(Practical aspects of Deep Learning)
Bias/VarianceRegularizing your neural network原创 2017-10-05 18:08:39 · 310 阅读 · 0 评论 -
Andrew-Coursera-DL课程-笔记part1-3(Deep neural networks)
Deep L-layer neural networkForward Propagation in a Deep NetworkWhy deep representationsBuilding blocks of deep neural networksForward and Backward Propagation原创 2017-10-06 15:27:22 · 263 阅读 · 0 评论 -
Andrew-Coursera-DL课程-笔记part1-2(Shallow neural networks)
Andrew-Coursera deeplearningNeural Network RepresentationVectorizing acorss multiple examplesExplanation for Vectorized ImplementationActivation functions原创 2017-10-06 13:26:17 · 216 阅读 · 0 评论 -
tensorflow模型save和restore
把tensorflow每个阶段训练的模型进行保存,供后面预测或者进一步训练时使用。保存的时候使用saver.save()方法,恢复的时候使用saver.restore方法。详细如下:初始信息flags.DEFINE_integer('epochs', 100, '') #FLAGS.epochsflags.DEFINE_integer('display_steps', 10, 'Number of原创 2017-09-28 16:26:09 · 877 阅读 · 0 评论 -
Hadoop/Spark推荐系统(三)——经常一起购买的商品
思路将每一个购买清单拆解成物品两两组合,计算每个组合出现的总次数。 与上一环节“购买了该商品的顾客还购买了的商品”区别之处在于: 购买了该商品的顾客还购买了的商品,input是用户为key,value为该用户的多次购买清单 经常一起购买的商品,input是交易编号,value为一次购买清单。所以此为购物篮分析的一个变种。输入:T1 {P1,P2,P3} T2 {P2,P3} T3 {P2,原创 2017-09-22 23:20:41 · 885 阅读 · 0 评论 -
Hadoop/Spark推荐系统(二)——购买过该商品的顾客还购买了哪些商品
Stripes设计模式(k,k1) 3 (k,k2) 3 (k,k3) 2 (k,k4) 4 (z,z1) 1 (z,z2) 3 (z,z3) 2 (z,z4) 3 Stripes k {(k1,3),(k2,3),(k3,2),(k4,4)} z {(z1,1),(z2,3),(z3,2),(z4,3)} 输入: 算法:MR1 阶段生成同一个用户购买的所有商品的列表,由mr原创 2017-09-22 22:22:13 · 957 阅读 · 0 评论 -
Hadoop/Spark推荐系统(一)——共同好友
输入:,mapper-input: #好友关系是对称的,整个数据的关系边是偶数 (u1,[f1,f2,f3]) (u2,[f2,f3]) (f1,[u1,f3]) (f2,[u1,u2]) (f3,[u1,u2,f1])mapper-output将一条用户的好友列表数据,拆成这个用户每个好友对为key的表示形式(key的表示字母或数字有序),value依然为好友里列表形式,共12组 ([原创 2017-09-22 19:30:38 · 1021 阅读 · 0 评论 -
Andrew-Coursera-DL课程-笔记part2-3(Hyperparameter tuning,Batch Normalization)
Hyperparameter tuningBatch Normalization原创 2017-10-06 12:50:08 · 941 阅读 · 0 评论 -
斯坦福大学CS231课程笔记1
从线性回归到神经网络 Mini-batchSGD 正向传播计算loss反向传播计算梯度,根据梯度更新参数 图的拓扑排序正向和反向 BatchNormalization 批量正则化 优势:提升梯度流向,可是使用更大的学习率;减少对初始化的依赖;由正则化的作用,减少dropout的使用 激活函数 数据预处理 学习率 loss不下降,学习率太小 loss爆炸,学习率太大,出现Nan时,原创 2017-10-13 12:03:22 · 3275 阅读 · 0 评论 -
Reinforcement Learning_By David Silver笔记五: Model Free Control
(Optimise the value function of an unknown MDP)On-policy learning —— Learn about policy π from experience sampled from πOff-policy learning —— Learn about policy π from experience sampled from uOn-Po原创 2017-12-11 17:05:04 · 227 阅读 · 0 评论 -
Reinforcement Learning_By David Silver笔记四: Model Free Prediction
前面的动态规划主要用来解决model已知的MDP问题,这里主要解决model/环境未知时的MDP预估价值函数问题,方法主要有: MC方法:不需要知道转移矩阵或回报矩阵,在非马尔科夫环境中高效 时序差分方法:Monte-Carlo Learning直接从experience的episode中学习不需要MDP的transition、rewards主要思想:value = mean return原创 2017-12-11 17:03:36 · 196 阅读 · 0 评论 -
Reinforcement Learning_By David Silver笔记三: Planning by Dynamic Programming
Policy Evaluation Policy Iteration Value Itera 2. Policy Iteration(Any optimal policy can be subdivided into two components:An optimal first action A,Followed by an optimal poli原创 2017-12-11 17:01:53 · 285 阅读 · 0 评论 -
Reinforcement Learning_By David Silver笔记八: Integrating Learning and Planning
Integrating Learning and Planning原创 2017-12-11 17:07:40 · 224 阅读 · 0 评论 -
Reinforcement Learning_By David Silver笔记九: Exploration and Exploitation
Exploration and Exploitation原创 2017-12-11 17:08:20 · 338 阅读 · 0 评论 -
Reinforcement Learning_By David Silver笔记七: Policy Gradient Methods
Policy Gradient Methods原创 2017-12-11 17:06:57 · 402 阅读 · 0 评论 -
Reinforcement Learning_By David Silver笔记六: Value Function Approximation
Value Function Approximation原创 2017-12-11 17:06:08 · 287 阅读 · 0 评论 -
斯坦福大学CS231课程笔记2
CNN CV TasksClassificationClassification + LocalizationClassification:C classes Input:Image Output: Class label Evaluation metric: Accuracy Localization Input:Image output:Box in the image(x,y,w原创 2017-10-14 00:28:46 · 942 阅读 · 0 评论 -
GPU版Tensorflow安装 centos7 64位
cuda安装1.uname -m && cat /etc/*release 2.gcc -version 3.wget http://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/cuda-repo-rhel7-7.0-28.x86_64.rpm ( RPM是RedhatPackageManager的缩写,是由Re原创 2017-05-07 12:58:10 · 7353 阅读 · 0 评论